2.4 Предельная условная энтропия дискретных источников сообщений

В ряде реальных ситуаций источник дискретных сообщений обладает неограниченной памятью. Возникает проблема определения среднего количества информации, содержащейся в одном сообщении источника с бесконечной памятью. Поскольку условная энтропия H_k(X) источника X является положительной невозрастающей функцией памяти k-1 порядка, то существует предел, называемый условной предельной энтропией источника сообщений

(2.8)

такой, что

Величина (2.8) интерпретируется как среднее количество информации, содержащееся в одном сообщении блока сообщений бесконечной длины, т.е.

(2.9)

где . (2.10)

Теорема(о кодировании статистически зависимых сообщений дискретного источника).

При любом сколь угодно малом>0 последовательность статистически зависимых сообщений источника X мощности N может быть закодирована с помощью кодового ансамбля=M< N так, что средняя длина кодового слова, приходящаяся на сообщение X, будет лежать в пределах

. (2.11)

Разобьем последовательность сообщений источника X на блок состояний из L сообщений, при этом на основании предыдущей теоремы (о средней длине кодового слова ) при большем i будет иметь место неравенство

. (2.12)

При этом среднее количество кодовых символов, приходящееся на одно сообщение, будет находиться в пределах

. (2.13)

при получим (2.12).

2.5 Информативность непрерывных источников сообщений дискретного времени

Непрерывные сообщения дискретного времени могут быть описаны многомерной плотностью вероятностей вида

Для стационарной последовательности, порождаемой источником с конечной памятью (n-1) порядка, условная энтропия будет определяться выражением

. (2.14)

При этом взаимная информация между отдельными сообщениями будет равна

(2.15)

Эта характеристика является абсолютной.

При исследовании предельных информационных характеристик с целью проведения системного анализа информационных процессов, основной моделью является Гаусс-Марковская модель (источник с Гауссовским распределением, обладающий конечной памятью (n-1) порядка), которая представляется в виде

, (2.16)

где- определитель корреляционной матрицы источника X размерности nxn;

m_x– математическое ожидание;

B_ij– минор элемента ij определителя корреляционной матрицы.

Нетрудно определить, что условная энтропия Гауссовского источника с памятью (n-1) порядка определяется выражением

, (2.17)

где определитель нормированной корреляционной матрицы;

K₁₁– минор элемента 11 нормированной корреляционной матрицы.

Дифференциальная энтропия последовательности длиной nбудет

. (2.18)

Пример 1.

Определить информативность одного или пары сообщений, а также среднюю взаимную информацию сообщений стационарного Гауссовского источника с единичной памятью, если известна средняя мощность и коэффициент автокорреляции r.

.

Так как K₁₁=1, соответствующие информационные характеристики имеют вид:

1. 

2. 

3).

Пример 2.

Определить взаимную информацию между двумя Гауссовскими векторами

и

с корреляционными матрицами , если,где,аего корреляционная матрица имеет ненулевой детерминант, причемистатистически независимы.

.

При этом очевидно . Тогда

Замечание.Так как в общем случае координаты векторов коррелированны, то последнюю задачу можно свести к задаче с некоррелированными координатами путем ортогонального преобразования случайного вектора. Эта задача решается путем нахождения собственных чисел и собственных векторов корреляционных матриц векторов, так, дляего ортогональный образопределяется уравнением

,

где Q=-матрица собственных векторов корреляционной матрицы(), удовлетворяющих условию нормировки

обеспечивающему равенство

Причем матрица Q должна удовлетворять равенству

где - диагональная матрица, состоящая из собственных чисел корреляционной матрицы.

При этом собственные числа и собственные вектора определяются из уравнений

.