1.5. Энтропия на сообщение дискретного стационарного источника

Рассмотрим дискретный стационарный источник, выбирающий сообщения из множества . Для удобства мы будем обозначать через ансамбль сообщения в i-й момент времени, хотя множества { } в каждый момент времени совпадают между собой и совпадают с множеством . Для стационарных источников n-мерные распределения вероятностей n=1,2,… не зависят от сдвига по оси времени. Следовательно, любые величины, зависящие только от n-мерных распределений вероятностей, одинаковы для всех сдвигов по оси времени. В частности, энтропия , где , не зависят от выбора числа i, указывающего расположение n последовательным моментов времени на оси времени. Поэтому всюду при рассмотрении стационарных источников мы будем опускать этот индекс i из обозначения энтропии.

Пусть и два ансамбля последовательностей длины n-1 и n соответственно и

, - условная энтропия ансамбля относительно ансамбля .

Теорема 1.5.1. Для всякого дискретного стационарного источника последовательность

, т=1,2,…, имеет предел:

. (1.5.2)

Доказательство. Покажем в начале, что последовательность

,… (1.5.3)

не возрастает. Хотя эта последовательность есть последовательность энтропий с возрастающим числом условий, непосредственно применить неравенство (1.4.15) нельзя, так как (1.5.3) есть последовательность энтропий различных ансамблей, а не одного ансамбля, как в (1.4.15). Однако в случае стационарных источников для всех целых i, j, n

, (1.5.4)

поскольку левая и правая части этого равенства определяются только i+1- мерными распределениями вероятностей. Применяя теперь неравенство (1.4.15), получим, что последовательность (1.5.3) не возрастает.

С другой стороны, все члены этой последовательности ограничены снизу нулём. Любая не возрастающая последовательность, ограниченная снизу, имеет предел. Обозначая этот предел через , получим утверждение теоремы.

Рассмотрим теперь последовательность

, n=1,2,… (1.5.5)

Если эта последовательность имеет предел при , то этот предел представляет собой среднее количество информации, порождаемое источником в единицу времени, и называется энтропией стационарного источника на сообщение.

Теорема 1.5.2. Для всякого дискретного стационарного источника последовательность (1.5.5) имеет предел, причём

. (1.5.6)

Доказательство. Покажем вначале, что последовательность , n=1,2,…, не возрастает. Рассмотрим энтропию , где - ансамбль последовательностей сообщений длины n+1. Используя свойство аддитивности энтропии, можно записать

, (1.5.7)

где второе есть следствие стационарности (см. 1.5.4), а равенство- следствие неравенства (1.4.15). Используя (1.4.21) и (1.4.15), можно получить

. (1.5.8)

Неравенства (1.5.7) и (1.5.8) совместно дают

.

Деля обе части этого неравенства на n+1, получим

, (1.5.9)

т. е. рассматриваемая последовательность энтропий не возрастает.

Поскольку последовательность (1.5.5) не возрастает и каждый её член ограничен снизу нулём, то она имеет предел. Покажем теперь, что этот предел совпадает с .

Можно записать

, (1.5.10)

где . Выберем таким, чтобы для заданного положительного выполнялось неравенство

. (1.5.11)

Это всегда можно сделать, так как последовательность , имеет предел и стремиться к нему, не возрастая. По выбранному определим N так, чтобы для всех

. (1.5.12)

Тогда получим, что для любого всегда найдётся такое N, что для всех

. (1.5.13)

С другой стороны,

. (1.5.14)

Так как - произвольное положительное число, то из (1.5.13) и (1.5.14) следует, что является пределом последовательности Теорема доказана.