6. Методы оценки количества информации.

Пусть ожидается наступление события, исход которого заранее не известен. Можно сказать, что существует некоторая неопределенность H, зависящая от числа n возможных исходов. Когда событие наступает, неопределенность снимается, и мы получаем информацию I о его фактическом исходе.

Например, бросается игральная кость (n = 6), или монета (n = 2), поступает очередной символ сообщения из алфавита объемом n.

В общем случае после наступления события некоторая неопределенность может сохраниться (например, издалека трудно различить, выпало на кости 4 или 6) Количество полученной информации в этом случае очевидно равняется разнице величин неопределенности до опыта (априорной) Нpr и после опыта (апостериорной) Нps Полное количество возможных исходов в результате l опытов (поступления l символов сообщения) составляет:

Q = nl  (2.1)

Например, в результате двух бросаний игральных костей, возможны 62 = 36 исходов.

Удобно задать функцию Н таким образом, чтобы она была пропорциональной количеству опытов (например, неопределенность при трех бросаниях костей втрое больше, чем одной). Такое свойство называют аддитивностью. Ему отвечает логарифмическая функция

 (2.2)

При  l =1 (одно событие или один символ сообщения, несущий информацию) получим

(2.3)  Один бит соответствует элементарному двоичному выбору.

Формулы (2.2) и (2.3) исходят из равноправности различных исходов. В такой ситуации вероятность p каждого из n исходов одинакова. Формулы (2.2), (2.3) соответствуют частному (но важному) случаю, когда все вероятности pi одинаковы и неопределенность максимальна. В этом смысле (2.2) характеризует максимальное количество информации, которое может быть получено в результате L опытов с n исходами (или при поступлении сообщения длиной L символов из алфавита объёмом n). Формулы (2.2) - (2.3) предложены ученым Хартли и их называют “хартлиевой” мерой количества информации. Поскольку значения  L и n определяют структуру сообщения (его габариты), используется также другой термин: структурная мера информации. Еще раз напомним, что в случае, когда неопределенность после опыта (получения символа сообщения) отсутствует, количество информации I = H и (2.3) можно записать в виде  (2.4)

Статистическая мера количества информации. Предложенная Хартли формула (2.4) для определения количества информации характеризует ситуацию, которая соответствует событию с n возможными исходными (например, поступлению символа сообщения из алфавита объемом n)  Однако при этом все исходы считаются равноправными (равновероятными). В таком случае вероятность каждого из них   и (2.4) можно представить в виде  (2.5) Рассмотрим ситуацию различных значений вероятностей символов pi. В этом случае неопределенность и количество информации, которое несет каждый символ различно для разных символов алфавита

 (2.6) Из формулы 2.6 видно, что количество информации об исходе события велико, когда вероятность этого исхода мала (это вполне соответствует интуитивным представлениям: для нас информативно то, чего мы не ожидаем). Важно оценить среднюю информативность одного события (или символа сообщения). Усредняя значения Hi с учетом соответствующих вероятностей,  получим формулу

 (2.7) Эту величину называют  энтропией.  Нетрудно видеть, что энтропия обладает следующими свойствами:

• она не отрицательна;

• она достигает максимума при одинаковых вероятностях исходов ( ). В этом случае 

• она минимальна и равна нулю при   и