2 Кодирование сообщений источников

2.1 Модели дискретных источников сообщений

В первой главе мы рассмотрели информационные характеристики источника сообщений Х, приходящиеся на одно сообщение.

На практике интерес представляют информационные характеристики источника за длительный промежуток времени [1], когда состояния источника изменяются, образуя некоторую последовательность состояний. Для описания последовательности сообщений источника Х применяются математические модели в виде случайных процессов.

Рассмотрим дискретный источник X, сообщения которого образуют последовательность

.

Каждый из элементов последовательности может содержать одно изNсообщений

Такая последовательность может быть описана условной вероятностью вида

При этом существуют два определения.

1. Источник X обладает памятью порядка (l), если имеет место следующее равенство

P(x^(k+1)/x^(k)x^(k-1)…x^(k-l)…)=P(x^(k+1)/x^(k)x^(k-1)…x^(k-l))=P(x^(k)/x^(k-l))=P(x/x^l).

2. Источник X является стационарным, если

P(x^(k+1)/x^(k)…x^(k-l)…)=P(x^(k+M+1)/x^(k+M)x^(k+M-1)…x^(k+M-1))

для любого M.

Собственное количество информации, содержащееся в сообщении стационарного источника с памятью l^-гопорядка, определяется величиной

I(x/x^l )=- log P(x/x^l). (2.1)

Величина среднего количества информации, содержащейся в одном сообщении, будет определяться энтропиейl+1-го порядка

. (2.2)

Справедливы следующие свойства меры (2.2).

1. Если сообщения являются статистически независимыми (отсутствует память), то источник описывается безусловной энтропией

H_l(X)=H₁(X)=H(X).

2. При возрастании порядка памяти источника функция (2.2) является невозрастающей функцией его памяти

log N=H₀(X)>=H₁(X)>=...>=H_l(X)>=...,

где N - мощность источника X (количество сообщений источника Х).

Отсюда следует, что источники с памятью обладают информационной избыточностью вследствие наличия связи или неравномерности распределения вероятностей.

Для определения количественной меры информационнной избыточности Шенноном введен коэффициент информационной избыточности (2.3)

. (2.3)

Величина отлична от нуля ,если :

1)источник Х обладает памятью (l>0);

2)статистика источника Х носит неравномерный характерраспределение разностей сообщений источника Х отлична от равномерного.

Пример.

Определить энтропию и избыточность стационарного источникаXс памятью первого порядка, если условная вероятность появления сообщений описывается графом (рис.2.1)

Рис.2.1Граф состояний источника

На рис.2.1: x₁ ,x₂двоичные сообщения, а Р(x_i/x_j) - условные вероятности переходов.

Решение:

Из формулы полной вероятности при P(x₂)=1-P(x₁)

P(x₁)=Р(x₁)P(x₁/x₁)+[1-P(x₁)]P(x₁/x₂)=P(x₁)(1-P)+[1-P(x₁)]P;

P(x₁)(1-P)+P-P(x₁)P;

P(x₁)-P(x₁)P(1-P)+P(x₁)P=P;

p(x₁)[1-1+P+P]=P;

P(x₂)=1-P(x₁)=0.5;

P(x₁)==0.5.

По формуле (2.2) имеем

;

График зависимости избыточности стационарного источника Х с памятью первого порядка изображен на рис.2.2.

Рис.2.2Зависимость избыточности стационарного источника Х

с памятью первого порядка от вероятности перехода источника из одного состояния в другое