§ 5.7. Количество информации

В основе всей теории информации лежит открытие, что информация допускает количественную оценку. В простейшей форме эта идея была выдвинута еще в 1928 г. Хартли, но завершенный и общий вид придал ей Шэннон в 1948 г. [9]. Не останавливаясь на том, как развивалось и обобщалось понятие количества информации, дадим сразу его современное толкование.

КОЛИЧЕСТВО ИНФОРМАЦИИ КАК МЕРА СНЯТОЙ НЕОПРЕДЕЛЕННОСТИ

Процесс получения информации можно интерпретировать как изменение неопределенности в результате приема сигнала. Проиллюстрируем эту идею на примере достаточно простого случая, когда передача сигнала происходит при следующих условиях: 1) полезный (от­прав­ля­е­мый) сигнал является последовательностью статистически не­за­ви­си­мых символов с вероятностями р(х_i), ; 2) принимаемый сигнал является последовательностью символову_k того же алфавита; 3) если шумы (ис­ка­жения) отсутствуют, то принимаемый сигнал совпадает с отправляемым у_k = х_i; 4) если шум имеется, то его действие приводит к тому, что данный символ может либо остаться прежним (i-м), либо быть подмененным любым другим (k-м) символом, вероятность этого равна р(у_k | х_i); 5) искажение очередного символа является событием, статистически независимым от того, что произошло с предыдущими символами. Конечно, можно рассматривать ситуацию и со стороны передатчика, используя вероятности р(х_i | у_k) (рис. 5.4). В этих условиях энтропия процесса есть энтропия одного символа, и все сводится к рассмотрению посимвольного приема.

Итак, до получения очередного символа ситуация характеризуется неопределенностью того, какой символ будет отправлен, т.е. априорной энтропией Н(Х). После получения символа у_k неопределенность относительно того, какой символ был отправлен, меняется: в случае отсутствия шума она вообще исчезает (апостериорная энтропия равна нулю, поскольку точно известно, что был передан символ х_k = у_k), а при наличии шума мы не можем быть уверены, что полученный нами символ и есть отправленный, и возникает неопределенность, характеризуемая апостериорной энтропией Н(Х | у_k) = Н({р(х_i | у_k)}) > 0. В среднем после получения очередного символа энтропия Н(Х | Y) = M_yН(Х | у_k).

Определим теперь количество информации как меру снятой неопределенности: числовое значение количества информации о некотором объекте равно разности априорной и апостериорной энтропий этого объекта, т.е.

I(Х, Y) = Н(Х) – Н(X | Y). (1)

Использовав равенство (2) § 5.6, легко получить, что

I(Х, Y) =Н(Y) – Н(Y | Х). (2)

В явной форме равенство (1) запишется так:

5.4 ————— Схема “вееров неопределенности” при наличии шума в канале

(3)

а для равенства (2) имеем

(4)

КОЛИЧЕСТВО ИНФОРМАЦИИ КАК МЕРА СООТВЕТСТВИЯ СЛУЧАЙНЫХ ОБЪЕКТОВ

Этим формулам легко придать полную симметричность: умножив и разделив логарифмируемое выражение в (3) на р(у_k), а в (4) на р(х_i), сразу получим, что

(5)

Эту симметрию можно интерпретировать так: количество информации в объекте Х об объекте Y равно количеству информации в объекте Y об объекте Х. Таким образом, количество информации является не характеристикой одного из объектов, а характеристикой их связи, соответствия между их состояниями. Подчеркивая это, можно сформулировать еще одно определение: среднее количество информации, вычисляемое по формуле (5), есть мера соответствия двух случайных объектов.

Это определение позволяет прояснить связь понятий информации и количества информации. Информация есть отражение одного объекта другим, проявляющееся в соответствии их состояний. Один объект может быть отражен с помощью нескольких других, часто какими-то лучше, чем остальными. Среднее количество информации и есть числовая характеристика степени отражения, степени соответствия. Подчеркнем, что при таком описании как отражаемый, так и отражающий объекты выступают совершенно равноправно. С одной стороны, это подчеркивает обоюдность отражения: каждый из них содержит информацию друг о друге. Это представляется естественным, поскольку отражение есть результат взаимодействия, т.е. взаимного, обоюдного изменения состояний. С другой стороны, фактически одно явление (или объект) всегда выступает как причина, другой – как следствие; это никак не учитывается при введенном количественном описании информации.

Формула (5) обобщается на непрерывные случайные величины, если в соотношения (1) и (2) вместо Н подставить дифференциальную энтропию h; при этом исчезает зависимость от стандарта Е и, значит, количество информации в непрерывном случае является столь же безотносительным к единицам измерения, как и в дискретном:

(6)

где р(х), р(y) и р(х, y) – соответствующие плотности вероятностей.

Свойства КОЛИЧЕСТВА ИНФОРМАЦИИ

Отметим некоторые важные свойства количества информации.

1⁰. Количество информации в случайном объекте Х относительно объекта Y равно количеству информации в Y относительно Х:

I(Х, Y) = I(Y, Х). (7)

2⁰. Количество информации неотрицательно:

I(Х, Y)  0. (8)

Это можно доказать по-разному. Например, варьированием р(х, y) при фиксированных р(х) и р(y) можно показать, что минимум I, равный нулю, достигается при р(х, у) = p(х)p(y).

3⁰. Для дискретных Х справедливо равенство

I(Х, Х) = Н(Х).

4⁰. Преобразование ?(·) одной случайной величины не может увеличить содержание в ней информации о другой, связанной с ней, величине:

I(? (Х), Y)  I(Х, Y) (9)

5⁰. Для независимых пар величин количество информации аддитивно:

I({X_i, Y_i}) = I(X_i, Y_i). (10)