Теория Информации / 05 Энтропия, количество информации
.pdf21 |
|
связанного |
|
I(X, Y) = H(X) − H(X Y), |
(5.30) |
где H(X) – априорная энтропия ансамбля {X}; H(X Y) – энтропия ансамбля {X}, оставшаяся после получения сообщения об ансамбле {Y}.
Выражение (5.30) называется полным количеством информации об ансамбле {X}, содержащимся в ансамбле {Y}. Можно показать, что количество информации, содержащееся в ансамбле {Y} относительно {X}, такое же, как и в ансамбле {X} относительно {Y}
I(X, Y) = I(Y, X) = H(X) – H(X Y) = H(Y) – H(Y X). |
(5.31) |
Количество информации, определяемое формулами (5.30) и (5.31) как разность априорной и апостериорной энтропий ансамбля событий, называется количеством полной взаимной информации, содержащейся в
ансамблях {X}и {Y}. |
|
Итак, количество информации определяем |
как меру снятой |
неопределенности: числовое значение количества информации о некотором
объекте равно разности |
априорной и апостериорной энтропии этого |
|||||||||||||||||
объекта. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
В явной форме равенство (5.30) запишется так: |
|
|||||||||||||||||
I(X, Y) = H(X) – H(X | Y) = − ∑m |
p(xi )log p(xi )+ |
|
||||||||||||||||
|
|
|
|
|
|
i=1 |
|
|
|
|
|
|
|
|
|
|
|
|
+ ∑m |
p(yk )∑m |
p(xi |
|
yk |
)log p(xi |
|
yk )= |
|
||||||||||
|
|
|
||||||||||||||||
k =1 |
i=1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
= −∑∑ p(xi , yk )log p(xi )+ ∑∑ p(xi , yk )log p(xi |
|
yk )= |
(5.32) |
|||||||||||||||
|
||||||||||||||||||
k i |
|
|
|
|
i |
k |
|
|
|
|
|
|
|
|
|
|
|
|
= ∑ ∑ p(xi , yk )log p(xi |
yk ), |
|
||||||||||||||||
|
m m |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
i=1k =1 |
|
|
|
|
|
p(xi ) |
|
||||||||||
а для равенства (5.31) имеем |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
H(X ,Y )= ∑m ∑m |
p(xi , yk )log |
p(yk |
|
xi ) |
. |
(5.33) |
||||||||||||
|
||||||||||||||||||
|
||||||||||||||||||
|
|
|
||||||||||||||||
|
i=1k =1 |
|
|
|
|
|
|
p(yk ) |
|
|||||||||
Этим формулам легко придать полную симметричность: умножив и разделив логарифмируемое выражение в (5.32) на р(уk), а в (5.33) на p(xi), сразу получим, что
m m |
p(xi , yk ) |
|
|
|
I(X ,Y) = ∑ ∑ p(xi , yk )log |
. |
(5.34) |
||
|
||||
i=1k =1 |
p(xi )p(yk ) |
|
||
Эту симметрию можно интерпретировать так: количество информации в объекте X об объекте Y равно количеству информации в
22
объекте Y об объекте X. Таким образом, количество информации является не характеристикой одного из объектов, а характеристикой их связи, соответствия между их состояниями. Подчеркивая это, можно сформулировать еще одно определение: среднее количество информации, вычисляемое по формуле (5.34), есть мера соответствия двух случайных объектов.
Это определение позволяет прояснить связь понятий информации и количества информации. Информация есть отражение одного объекта другим, проявляющееся в соответствии их состояний. Один объект может быть отражен с помощью нескольких других, часто какими-то лучше, чем остальными. Среднее количество информации и есть числовая характеристика степени отражения, степени соответствия. Подчеркнем, что при таком описании как отражаемый, так и отражающий объекты выступают совершенно равноправно. С одной стороны, это подчеркивает обоюдность отражения: каждый из них содержит информацию друг о друге. Это представляется естественным, поскольку отражение есть результат взаимодействия, т.е. взаимного, обоюдного изменения состояний. С другой стороны, фактически одно явление (или объект) всегда выступает как причина, другой – как следствие; это никак не учитывается при введенном количественном описании информации.
Для однозначного определения единицы измерения энтропии необходимо конкретизировать число m состояний объекта и основание логарифма. Возьмем для определенности наименьшее число возможных состояний, при котором объект еще остается случайным, т.е. m = 2, и в качестве основания логарифма также возьмем число 2. Тогда из равенства – p1log2p1 – p2log2р2 = 1 вытекает, что р, p1= р2 = 1/2. Следовательно, единицей неопределенности служит энтропия объекта с двумя равновероятными состояниями. Эта единица получила название «бит». Бросание монеты дает количество информации в один бит. Другая единица («нит») получается, если использовать натуральные логарифмы, обычно она употребляется для непрерывных величин.
Следует отметить, что введенная количественная мера информации совершенно не учитывает полезность, ценность или важность сообщений. Так, сообщение об оценке, полученной в школе учеником, неопределенность априорной информации о которой может быть достаточно большой, при использовании этой меры может содержать большее количество информации, чем сообщение о состоянии здоровья ребенка. Именно абстрагирование от качественных характеристик сообщения позволила создать строгий и изящный математический аппарат для характеристики информации. Однако в некоторых областях применения (в частности, в теории массового обслуживания), где учет полезности и важности информации существен, эта особенность меры информации, введенной Шенноном, создает определенные затруднения в использовании аппарата теории информации. Этот недостаток обычно исправляют разделением сообщений на категории с введением соответствующих приоритетов или весовых коэффициентов.