4.2.2 Свойства эргодических последовательностей знаков [1 и др.].

Характер последовательностей, формируемых реальным источником сообщений, зависит от существующих ограничений на выбор знаков. Они выражаются в том, что вероятности реализации знаков различны и между ними существуют корреляционные связи. Эти ограничения приводят к тому, что вероятности формируемых последовательностей существенно различаются.

Пусть, например, эргодический источник без памяти последовательно выдает знаки z₁, z₂, z₃ в соответствии с вероятностями 0,1; 0,3; 0,6. Тогда в образованной им достаточно длинной последовательности знаков мы ожидаем встретить в среднем на один знак z₁ три знака z₂ и шесть знаков z₃. Однако при ограниченном числе знаков в последовательности существуют вероятности того, что она будет содержать;

только знаки z₁ (либо z₂, либо z₃);

только знаки z₁ и один знак z₂ или z₃;

только знаки z₂ и один знак z₁ или z₃;

только знаки z₃ и один знак z₁ или z₂;

только знаки z₁ и два знака z₂ или z₃ и т.д.

С увеличением числа знаков вероятности появления таких последовательностей уменьшается.

Фундаментальные свойства длинных последовательностей знаков, создаваемых эргодическим источником сообщений, отражает следующая теорема: как бы ни малы были два числа δ>0 и μ>0 при достаточно большом N, все последовательности могут быть разбиты на две группы.

Одну группу составляет подавляющее большинство последовательностей, каждая из которых имеет настолько ничтожную вероятность, что даже суммарная вероятность таких последовательностей очень мала и при достаточно большом N будет меньше сколь угодно малого числа δ. Эти последовательности называют нетипичными.

Вторая группа включает типичные последовательности, которые при достаточно большом N отличаются тем, что вероятности их появления практически одинаковы, причем вероятность p любой такой последовательности удовлетворяет неравенству

(4.1)

где H(Z) – энтропия источника сообщений.

Соотношение (4.1) называют также свойством асимптотической равномерности длинных последовательностей. Рассмотрим его подробнее.

Поскольку при N→∞ источник сообщений с вероятностью, сколь угодно близкой к единице, выдает только типичные последовательности, принимаемое во внимание число последовательностей равно 1/р. Неопределенность создания каждой такой последовательности с учетом их равновероятности составляет log(1/p). Тогда величина log(1/p)/N представляет собой неопределенность, приходящуюся в среднем на один знак. Конечно, эта величина практически не должна отличатся от энтропии источника, что и констатируется соотношением (4.1).

Приведем доказательство теоремы для простейшего случая эргодического источника без памяти. Оно непосредственно вытекает из закона больших чисел, в соответствии с которым в длинной последовательности из N элементов l(z₁, z₂, …, z_l), имеющих вероятности появления p₁, p₂, …, p_l содержится Np₁ элементов z₁, Np₂ элементов z₂ и т.д.

Тогда вероятность p реализации любой типичной последовательности близка к величине

(4.2)

Логарифмируя правую и левую части выражения (4.2), получаем

откуда (при очень больших N)

(4.3)

Для общего случая теорема доказывается с привлечением цепей Маркова.