Контрольные вопросы:

1. Подходы к оценке количественных характеристик информации. Единицы измерения информации.

2. Понятие энтропии источника. Свойства энтропии. Доказать:

а) свойство неотрицательности;

б) свойство ограниченности.

3. Докажите утверждение (**).

4. Пусть дано 3^N монет. Используя понятие энтропии, определить минимальное число взвешиваний на равноплечих весах, чтобы найти среди них одну фальшивую (более легкую).

5. Составить алгоритм решения задачи 4.

Ответы на контрольные вопросы:

1. Количество информации – это количество сведений, содержащихся в том или ином информационном элементе (в символе кода или сообщении).

Единица количества информации – двоичная единица информации или бит.

В статистической теории информации в качестве меры количества информации используют энтропию.

Подходы:

Синтаксический – связан только со способом передачи информации; Синтаксис – это свойство, определяющее способ представления информации на носителе (в сигнале). Примеры синтаксиса: стиль, цвет, размеры шрифта, междустрочный интервал, другие параметры представления информации.

Семантический – отражает смысловое содержание информации; Семантика – свойство, определяющее смысл информации как соответствие сигнала реальному миру. Например, именно семантику сигналов изучает начинающий автомобилист, штудирующий правила дорожного движения, познавая дорожные знаки (в этом случае сигналами выступают сами знаки). Семантику слов (сигналов) познаёт обучаемый какому-либо иностранному языку.

Прагматический – отражает потребительские свойства информации; Прагматика – свойство, определяющее влияние информации на поведение потребителя.

Единицы измерения:

1 Б (байт)=8 Бит;

1Кб (Килобайт)=1024 Байт1;

Мб (Мегабайт)=1024 Килобайт;

1 Гб (Гигабайт)=1024 Мегабайт;

1 Тб (Терабайт)=1024 Гигабайт;

1 Пб (Петабайт)*=1024 Терабайт;

1 Эксабайт=1024 Петабайт;

1 Зеттабайт=1024 Эксабайт;

1Йоттабайт=1024 Зеттабайт.

2. Энтропия – мера неопределенности состояния системы.

Энтропия сообщения (или энтропия источника сообщений) – это количество информации, в среднем приходящееся на каждое из М сообщений с вероятностями (i=1, 2,…,M).

Энтропия источника символов – это количество информации, в среднем приходящееся на каждый из К символов, появляющихся на выходе кодирующего устройства с вероятностями ( – i-тый символ алфавита, i=1, 2,…,K).

Энтропия ансамбля из N событий, имеющих вероятности (i=1, 2,…,N), равна:

Указанная величина обладает следующими основными свойствами:

Энтропия является вещественной и неотрицательной величиной;

Энтропия – величина ограниченная;

Энтропия обращается в нуль, только если вероятность одного из состояний равна единице. При этом вероятности всех остальных состояний будут равны нулю;

Максимального значения энтропия достигает при равновероятных событиях. При этом она равна:

Энтропия объединения нескольких статистически независимых источников информации равна сумме энтропий исходных источников.

3. Если в источнике может быть реализовано N равновероятных состояний, то вероятность каждого из них равна . Информация единичного сообщения по Хартли в этом случае имеет вид: (1).

Если считать вероятности событий различными, то можно по аналогии характеризовать неопределенность, приходящуюся на конкретное состояние источника (неопределенность, устраняемую единичным сообщением), величиной . Эта величина является дискретной случайной величиной с математическим ожиданием (2).

Очевидно, что выражения (1) и (2) совпадают, поэтому можно сказать, что мера Шеннона определяет среднее количество информации, приходящееся на единичное сообщение источника, то есть является обобщением меры Хартли на случай ансамбля с неравновероятными состояниями.

4. Пусть имеется 3 монеты, одна из которых фальшивая и легче двух остальных. Одно взвешивание любой пары монет на равноплечих весах позволяет полностью устранить неопределенность и найти фальшивую монету. Таким образом, выполнение взвешивания позволяет получить информацию равную 1 троичной единице.

Если имеется два независимых источника с числом равновероятных состояний N и M, которые рассматриваются как один источник, реализующий пары состояний , то для количества информации Хартли выполняется условие аддитивности: .

7