книги из ГПНТБ / Бовбель, Е. И. Элементы теории информации

Подставляя выражения (2.6) и (2.7) в (2.3), получаем

у источника столько характерных состоянии, сколько име­ ется различных пар (xit х п). Таких пар, очевидно, /г2. Ве­ роятность состояния

Число таких переходов равно п. Подставляя в (2.3) вы­ ражения (2.8) и (2.9), будем иметь

В случае в) может быть получена энтропия эргодического источника третьего порядка:

Задача 5. Источник сообщений вырабатывает три раз­ личных символа X\t Хо, х3 с соответственными вероятно­ стями 0,4; 0,5; 0,1.

50

Вероятности появления пар заданы табл. 6. Опреде­ лить энтропию и сравнить ее с энтропией источника, у ко­ торого отсутствуют вероятностные связи.

Т â б л и ц а б

Р е ш е н и е. Энтропию найдем по формуле

Подставляя полученные значения вероятностей Р(хі, xj)

и P(xjx}) в (2.10), получаем Н\(Х) = 1,086 (бит).

Энтропия источника, у которого вероятностные связи между символами отсутствуют,

Щ Х ) = - 2 р (хі) 1оь р (хі) = 1,36 (бит).

Энтропия источника с независимым появлением равно­ вероятных символов, очевидно, равна

Н з ( Х ) = lo g 3 = 1,58 (бит).

Сравнивая энтропии Н\(Х), Н2(Х) и Н3(Х), заключа­ ем, что при одинаковом числе различных символов коли­ чество информации, приходящееся на один символ источ­ ника, существенно зависит от его вероятностных характе­ ристик: энтропия источника , максимальна и равна 1,58 бит, если вероятности символов одинаковы; неопре­ деленность в получении того или иного символа падает до 1,36 бит, если* известно, что символы Х\ и х2 выраба­

51

тываются чаще, чем символ л'3; и, наконец, энтропия упа­ ла до 1,086 бит, если известно, что символы х2 и л:3, напри­ мер, никогда не появляются за символом х3 (см. табл. 7). Если вероятностную связь распространить на большее число символов, энтропия станет еще меньше.-Однако ее уменьшение необходимо имеет предел, на что указывает фундаментальное свойство энтропии эргодических источ­ ников, к рассмотрению которого мы перейдем.

§ 2. Фундаментальное свойство энтропии дискретных эргодических источников

Теорема 1. Для любых s > 0 и о > 0 можно найти такое М0, при котором эргодические последовательности С длиной М>М'о распадаются на два класса: 1) нетипич­ ные, сумма вероятностей которых меньше, б ; 2) типич­

ные, вероятности которых удовлетворяют следующему неравенству:

(2. 11)

где Н(Х) — энтропия эргодического источника.

Д о к а з а т е л ь с т в о . Согласно теореме Бернулли, выбрав М достаточно большим, можно получить суммар­ ную вероятность нетипичных последовательностей, мень­ шую, чем заданное число е.

Так как в типичной последовательности содержится вся информация о вероятностных закономерностях, при­ сущих источнику, количество случаев нахождения источ­ ника в состоянии Sk в последовательности длиной М рав­ но Mp(Sk). Число переходов из состояния Sk в состояние St пропорционально количеству случаев нахождения ис­ точника в состоянии Sk и вероятности перехода из состо­ яния Sk в состояние S/:

щ т о р ( З Д ) ' ± ^ ] -

Вероятность того, что в последовательности длиной п произойдет M[P(SkjP(SjSk) ± Д]] таких переходов, рав­ на по теореме умножения вероятностей

P(S;/Sfe)/WlP(5*) Р(5і/5а)±’і,<

52

Вероятность конкретной последовательности С определим как вероятность всевозможных переходов:*

Р(с) = п П P{S,/Skyv'lP{S!‘] P{Sl,Sn)- r‘1.

к=\ 1,к

Логарифмируя последнее равенство, получаем

Р(с)

М =•• - 2 , 2 Я(5/ - )1о§ ± Л’=11 Пк

тгп

±- n % y i \ogP{Slisly].

l' Ilk

Первая сумма в правой части равенства есть энтропия эргодического источника (см. 2.3) приМ -^со, л/)-»0. Поэтому

что и требовалось доказать.

Следствие 1. Типичные последовательности приблизи­ тельно равновероятны.

Из (2.12) видно, что все последовательности С равнове­

МЩХ)

роятны и число ІІХ

Следствие 2. При больших М множество типичных по­ следовательностей охнатынает ничтожную долю всех воз­ можных последовательностей, вырабатываемых эргодическим источником. Исключение составляет случай эрго­ дического источника с равновероятными и независимыми символами.

Общее число всевозможных последовательностей дли­ ны М, вырабатываемых источником,

П/Wlog п

53

Вероятность того, что в выработанной источником после­ довательности длиной М содержится п Лсимволов А, опре­

делится из биномиального закона

так как по условию задачи Р ( А ) —р = 1/2 и Р(В) = q —

= 1/ 2.

Рассмотрим подробнее работу данного источника, про­ анализировав механизм появления последовательностей

Из табл. 8 видно, что источник чаще вырабатывает последовательности, содержащие одинаковое число сим­ волов А и В.

2-й с л у ч а й . М = 20. Тогда УѴ=220,= 1048476 и'вы­ писывание возможных сообщений бессмысленно. Поэтому приведем табл. 9.

Г5

Из таблицы видно, что'в 184756 последовательностях из 1048476 всех возможных символы А и В появляются с равной вероятностью (по 10 символов). С небольшой ошибкой к высоковероятной (типичные последовательно­ сти) группе можно отнести последовательности под номе­ рами 9— 13, суммарная вероятность появления которых равна 0,736.

3-й с л уч а й. Аналогично табл. 9 заполнена табл. 10 для случая Л4 = 30. Можно предположить, что при возра­ стании М на выходе источника все чаще будут появляться последовательности, в которых число символов А и В бу­ дет одинаковым, а суммарная вероятность нетипичных последовательностей как угодно мала.

Задана 3. Доказать теорему 1 для эргодического ис­ точника, у которого вероятностные связи между символа­

56

На основании теоремы Бернулли, в достаточно длин­ ной последовательности (длиной М) с вероятностью,, близкой к единице, число символов Х\ равно МР(хі), чи­ сло символов х2 равно МР(х2) и т. д. Следовательно, ти­ пичные последовательности имеют вероятности, близкие к

P(c)SÉ [/5(а-,)]л,Я('',).[Р(-А'2)]'ѴІР(д'з) ... [Р (*„)]ИР(Ч

Логарифмируя последнее равенство, получаем

57

откуда

)

что и доказывает теорему 1 в этом простейшем случае.

§ 3. Избыточность и поток информации источника сообщений

Как мы знаем, энтропия характеризует среднее коли­ чество информации, несомое одним символом источника. Она максимальна, когда символы вырабатываются источ­ ником с равной вероятностью. Если же некоторые симво­ лы появляются чаще других, энтропия уменьшается, а при появлении дополнительных вероятностных связей между символами становится еще меньшей. Чем меньше энтропия источника отличается от максимальной, тем ра­ циональнее он работает, тем большее количество инфор­ мации несут его символы.

Предположим, что мы получили одно и то же количе­ ство информации /0 от реального и оптимального источ­ ников. Тогда число символов п, затраченных на передачи

И

^tnin

П

-Из этих соотношений можно заключить, что избыточность увеличивает время передачи и поэтому нежелательна. Однако 'при передаче сообщений при наличии помех из-

58

г

дельные символы появляются через некоторые промежут­ ки времени; в этом смысле мы можем говорить о длитель­

Очевидно, поток Информации зависит от количества р аз­ личных символов, вырабатываемых источником, их дли-

• телы-юсти и вероятностных свойств источника. К примеру, если длительности всех символов одинаковы и равны ^о, то < т > = т0 и поток информации максимален, ког­ да энтропия источника максимальна, а длительность минимальна.

. Задача 1. Считая, что среднее количество информации, несомое одной буквой русского смыслового текста, при­ мерно равно 2,5 бит, показать, что равномерный пятизнач­

ных символов: х \— есть сигнал; х2— нет сигнала. Каждая кодовая комбинация содержит пять символов. Всего та­ ких комбинаций N = 25 = 32. (Если не различать буквы «е» и «ё», а также мягкий и твердый знаки, то в русском алфавите всего 31 буква; к ним нужно добавить еще про­ бел между словами, так что всего получается 32 сим­ вола.)

Максимальная энтропия источника, использующего для передачи русского алфавита пятизначный код Бодо, равна # max = log225 = 5 (бит). Избыточность такого представления сообщений источника с энтропией 2,5 бит (русского текста) R = ( 5—2,5) :5= 0,5. Таким образом, при передаче русского текста 50% сообщений Бодо явля­ ются лишними.

59