3.1. Измерение количества информации

3.1.1. Измерение количества информации через неопределённость знаний

Поскольку информация уменьшает неопределённость знаний, то для измерения её количества можно воспользоваться мерой неопределённости – информационной энтропией, введённой К.Шенноном. Если до получения информации энтропия была равна H₁, а после получения сообщения стала равной H₂, то количество полученной информации можно измерить разностью энтропий: I = H₁ – H₂.

Поясним это на примере собаки И.П.Павлова. Пусть собаку кормили (событие B) в интервале времени от 17 до 20 часов, причем обычно после звукового сигнала (событие А). Пусть, например, P(A/B) = 0.9, т.е. событие A предшествовало событию B в 9 случаях из 10. В то же время, звуковой сигнал в этом интервале времени иногда звучал и в тех случаях, когда собаку не кормили (событие ). Пусть, например, вероятность сигнала в таких случаях равна 0.05, т.е. P(A/) = 0.05. В этой ситуации около 17:00 собака уже считает, что шансы получить еду (событие B) в ближайшее время и еще не получить ее (событие ) практически равны. Поэтому априорные вероятности (звукового сигнала еще не было) событий B и в этот период времени примерно одинаковы:

P(B) = 0.5, P( ) = 0.5.

Пусть теперь прозвучал сигнал (событие A), и, следовательно, по формуле Байеса [ 5 ] можно рассчитать апостериорную вероятность (после опыта) событий В и :

Формула Байеса, по-видимому, довольно точно моделирует процесс принятия решений мыслящими существами при поступлении новой информации. Получив сигнал, собака обрела уверенность в том, что сейчас ее накормят (вероятность этого равна 0.947), и у нее начала выделяться слюна – а это уже безусловный рефлекс, точно такой же, как у человека.

Оценим теперь количество информации, которое получила собака, когда прозвучал сигнал. В нашем примере до звукового сигнала энтропия

H₁ = – P(B)Log₂ P(B) – P( )Log₂ P( ) = 1.

Другими словами, до звукового сигнала энтропия, являющаяся мерой информационной неопределенности, была максимальна, так как оба возможных события B и были равновероятны. После сигнала вероятности событий B/A и /A стали существенно отличаться друг от друга, и энтропия соответственно уменьшилась:

H₂ = – P(B/A)Log₂ P(B/A) – P( /A)Log₂ P( /A) = 0.296.

Следовательно, количество информации, которое получила собака, услышав звуковой сигнал, равно I = H₁ – H₂ = 0.704.

3.1.2. Количество информации в сообщении о том, что произошло одно из n равновероятных событий

Количество информации в сообщении о том, что произошло одно из N равновероятных событий, рассчитывается по формуле Хартли: I = log₂N. Смысл этой формулы становится понятным из простого примера: чтобы узнать, на какой из 8 полок находится требуемая книга, надо получить ответ «да» или «нет» на 3 вопроса:

1. Книга на одной из четырёх верхних полок? Допустим, получен ответ «нет». Заметим, что в этом ответе 1 бит информации.

2. Книга на одной из двух самых нижних полок? Пусть получен ответ «да». В этом ответе также 1 бит информации.

3. Книга на нижней полке? Если получен ответ «нет», а это ещё один бит информации, то ясно, что книга находится на второй снизу полке.

Таким образом, задав три вопроса, мы узнали, что книга находится на второй снизу полке из 8. Поэтому в сообщении «книга на второй из 8 полок» содержится I = log₂8 = 3 бита информации.

Также заметим, что за единицу количества информации (1 бит) принимается такое её количество, которое содержится в информационном сообщении, уменьшающем неопределенность знания в два раза.