1.4.2. Свойства энтропии источника дискретных сообщений

Перечислим основные свойства энтропии:

1. энтропия неотрицательна;

2. энтропия равна нулю для вырожденного ансамбля, когда одно сообщение передается с вероятностью 1, а остальные имеют нулевую вероятность;

3. энтропия аддитивна (смысл этого свойства рассмотрен выше);

4. если ансамбль содержит N различных сообщений, то

H(U) logN, (1.8)

причем равенство имеет место только тогда, когда все сообщения передаются равновероятно и независимо (P(u_i)=1/N; i=1, …, N).

Для доказательства последнего свойства воспользуемся неравенством

ln w≤ (w-1). (1.9)

Рассмотрим разность функций, стоящих в левой и правой частях неравенства (1.8). Путем несложных преобразований ее можно представить в виде:

H(U)- logN= P_i log(1/P_i) -  P_i logN= P_i log(1/NP_i), (1.10)

причем суммирование ведется по i=1, …, N.

Чтобы воспользоваться неравенством (1.9), перейдем в последнем выражении к натуральному основанию логарифма:

H(U)- logN= P_i log(1/NP_i)= log e  P_i ln(1/NP_i). (1.11)

Используя (1.9), преобразуем выражение (1.11). Получим:

H(U)- logN= log e  P_i ln(1/NP_i) ≤ log e P_i[1/NP_i-1]=

=log e (1/N-P_i)=0. (1.12)

Знак равенства в (1.8) имеет место тогда, когда в неравенстве (1.9) w=1. Так как в нашем случае w=1/NP_i, то условие w=1 эквивалентно P_i=1/N; i=1, …, N. То есть, H(U)= logN в случае, когда все элементы алфавита появляются на выходе источника равновероятно. Свойство (1.8) доказано.

Анализируя свойство (1.8), можно прийти к выводу, что чем больше объем алфавита источника дискретных сообщений, тем большее количество информации содержится в среднем в одном символе этого алфавита (при условии, что все элементы алфавита появляются на выходе источника равновероятно). Казалось бы, рассмотренный выше алфавит {0,1}, который широко применяется на практике, следует безоговорочно заменить алфавитами с N»2. Однако следует иметь ввиду, что в реальных условиях различение сигналов, которые могут принимать количество значений N»2, осуществить на фоне помех гораздо сложнее, чем в случае, когда сигналы могут принимать только два значения – 0 и 1.

Пример 2.

В теории информации доказывается, что энтропия источника зависимых сообщений всегда меньше энтропии источника независимых сообщений при том же объеме алфавита и тех же безусловных вероятностях сообщений.

Пусть, например, источник выдает последовательность букв из алфавита объемом N=32. Если буквы выбираются равновероятно и независимо друг от друга, то энтропия источника

H(U)= log32=5 [бит].

Однако смысловое содержание такой последовательности букв вряд ли удовлетворит получателя сообщения. Если буквы передаются не хаотически, а составляют связный текст, например, на русском языке, то они оказываются неравновероятными и, главное, зависимыми (так, после гласных не может появиться «ь»; мала вероятность появления 3 гласных или согласных подряд и т.д.). В качестве примера приведем относительные частоты использования некоторых букв русского алфавита в текстах ( в порядке убывания) [4]:

«о» - 0,090;

«е», «ё» - 0,072

«а», «и» - 0,062

«н», «т» - 0,053

…………………

«ц» - 0,004

«щ», «э» - 0,003

«ф» - 0,002.

Как видно из этих данных, различие в частоте появления букв в текстах достигает 45 раз!

Если рассматривать ансамбль текстов русской художественной прозы, то энтропия оказывается меньше 1,5 бит на букву. Еще меньше, около 1 бит на букву, энтропия ансамбля поэтических произведений, так как в них имеются дополнительные вероятностные связи, обусловленные ритмом и рифмами [3].