Иhформациоhhая эhтропия кубика
Подсчитайте количество информации в ней, пользуясь приемами из п.9.
Подсчитанное таким образом количество информации является существенно завышенным ввиду осмысленности фразы и изменения информации, приходящейся на знак, в зависимости от его положения в слове. Для примера над последней, осмысленной фразой отмечены некоторые знаки, не несущие информации. Вдобавок, многие другие знаки несут информации меньше, чем соответствующие табличные значения. Обоснуйте приведенное рассуждение и оцените количество информации в составленной вами осмысленной фразе. Условно принимают, что один знак осмысленного текста несет информацию H 2 бита.
Резюме
Теория информации позволяет устанавливать информационную емкость организованных систем и сравнивать ее с аналогичными показателями неорганизованных систем. Тем самым обеспечивается возможность количественно характеризовать уровень организации конкретной системы.
Контрольные вопросы
Почему логарифмическая мера количества информации является наиболее рациональной?
Применима ли формула
для равновероятных событий?Сколько информации содержится в реализации достоверного (вероятного на 100 %) события?
В каком тексте - прозаическом или поэтическом - содержится в среднем большее количество информации?
Литература
Седов Е. Одна формула и весь мир. М.: Знание, 1982. - 174 с.
Вильнер Б.Я., Пешес Л.Я. Очерки по биологической кибернетике. Минск: "Выcш. школа”, 1977. - С. 5-45.
Воробьев Е.И., Китов А.И. Введение в медицинскую кибернетику. М.: Медицина, 1977. - С. 9-22.
Практическая работа № 15
ИНФОРМАЦИОННЫЙ ПОДХОД В ЕСТЕСТВОЗНАНИИ
Часть 1
Раздел программы: Информационный подход в естествознании.
Необходимые предварительные знания: Материал практической работы “Элементы теории информации”.
Теоретическая часть
Информационные методы широко применяются в естествознании, хотя степень их проникновения в разные науки неодинакова. Из фундаментальных естественных наук - физики, химии, биологии - последняя использует теорию информации в наибольшей степени. Это объясняется тем, что живые организмы являются целенаправленными, саморегулирующимися и самоуправляющимися системами. Любое управление (так же как и регулирование, и целесообразное поведение) невозможны без получения необходимой информации. Основоположник кибернетики H.Винер определил ее как “науку об управлении и связи в животном и машине”, подчеркнув этим важность кибернетики в биологии. Поэтому в решении задач биокибернетики информационный подход является необходимым компонентом. В меньшей степени информационный подход проник в химию. Здесь он используется главным образом для оценки информационной емкости сложных молекулярных систем. В физику информационный подход только начинает проникать. Однако в ней находят обширное применение не только расчеты, но и теоретические описания, и законы, базирующиеся на фундаментальном научном понятии - энтропии. Фактически, после главного понятия физики и всего естествознания - энергии, понятие энтропии является вторым по значению. В то же время известно, что энтропия и информация рассчитываются по сходным формулам, количественно они различаются только коэффициентами и единицами измерения. Поэтому и в физике информационный подход в скрытом виде давно и широко представлен. Достаточно эффективно используется теория информации в космологии, геологии, психофизиологии и других науках, в том числе - гуманитарных. Это применение все расширяется, ожидается резкий скачок такого использования, когда будет, в дополнение к количественной теории информации, окончательно создана качественная информационная теория.