3.2. Информационные характеристики источника дискретных сообщений

3.2.1. Модели источника дискретных сообщений

Математической моделью множества возможных реализаций источника является дискретная или непрерывная случайная величина (средняя неопределённость и среднее количество информации, приходящееся на одно состояние источника сообщений).

На практике нас чаще всего интересует не одно конкретное состояние источника, а дискретные или непрерывные последовательности состояний, реализуемых источником за длительный промежуток времени, например, телеграммы, видеосюжеты и т.д. Для описания таких сообщений используются математические модели в виде дискретных и случайных непрерывных процессов.

Для построения модели необходимо знать объём l алфавита знаков (z1, z2,…,zl), из которых источником формируются сообщения и вероятности создания им отдельных знаков с учётом возможной взаимосвязи между ними.

При доказательстве основных положений теории информации Шенноном использовалась модель, называемая эргодическим источником сообщений. Предполагается, что создаваемые им сообщения математически можно представить в виде случайной эргодической последовательности. Такая последовательность, как известно, удовлетворяет условиям стационарности и эргодичности. Первое означает, что вероятности отдельных знаков и их сочетаний не зависят от расположения последних по длине сообщения. Из второго следует , что статистические закономерности, полученные при исследовании одного достаточно длинного сообщения с вероятностью, близкой к единице, справедливы для всех сообщений, создаваемых источником . Из статистических характеристик в данном случае нас интересует средняя неопределённость в расчёте на один знак последовательности.

Стационарный источник сообщений, выбирающий каждый знак формируемой последовательности независимо от других знаков, всегда является эргодическим. Его также называют источником без памяти.

На практике, однако, чаще встречаются источники, у которых вероятность выбора одного знака сообщения зависит от того, какие знаки были выбраны источником до этого (источники с памятью). Поскольку такая связь, как правило, распространяется на ограниченное число предыдущих знаков, для описания функционирования источника целесообразно использовать цепи Маркова .

Цепь Маркова порядка n характеризует последовательность событий, вероятности которых зависят от того, какие n событий предшествовали данному.

. (32)

Эти n конкретных событий определяют состояние источника, в котором он находится при выдаче очередного знака. При объёме алфавита знаков l число R различных состояний источника не превышает l^n.

Обозначим эти состояния через S1…Sq…SR , а вероятности выбора в состоянии Sq знака zi – через pq(zi) . При определении вероятности pq(zi) естественно предположить, что к моменту выдачи источником очередного знака известны все знаки, созданные им ранее, а следовательно, и то , в каком состоянии находится источник .

Если источник находится в состоянии Sq , его частная энтропия Н(Sq) определяется соотношением

. (33)

Усредняя случайную величину Н(Sq) по всем возможным состояниям q=1,R , получаем энтропию источника сообщений.

Здесь p(Sq) – вероятность того, что источник сообщений находится в состоянии Sq .

Величина H(Z) характеризует неопределённость, приходящуюся в среднем на один знак, выдаваемый источником сообщений.