1.2.3 Средняя взаимная информация непрерывных источников сообщений

Рассмотрим систему передачи сообщений от источника Х через систему Р (рис. 1.7):

Рис.1.7Передача непрерывного сообщения источника Х

через систему передачи с оператором преобразования Р

Для определения меры взаимной информации конкретизируем оператор преобразования Р системы передачи. Наиболее простой моделью является аддитивная модель (рис.1.8):

Рис.1.8Аддитивная модель системы передачи:

n-помеха в системе передачи Р, y - сообщение на выходе системы передачи

Для такой системы можно записать

(1.18)

Если принять предположение о статистической независимости источников Х и N (реально зависимость между измеряемой величиной и погрешностью измерения всегда существует, однако практически ею пренебрегают), то

. (1.19)

Подставляя (2.19) в (2.18) получим

.

Этот интеграл имеет классический вид интеграла свертки. Определяя среднюю взаимную информацию источников Х и Y (1.14), имеем

(1.20)

Нетрудно заключить, что мера (1.20) является абсолютной, а не дифференциальной (относительной) характеристикой. Она описывает информацион-ное содержание связей источников Х и Y.

Мера информации (1.20) имеет свойства:

Симметрии - I(X;Y)=IY;X).

Выражается через энтропии источников

I(X;Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)=H(X)+H(Y)-H(XY).

Положительность - I(X;Y)0.

Аддитивность - I(X;YZ)=I(X;Y)+I(X;Z/Y).

Заметим, что, по сравнению с дискретными источниками, здесь нет свойства ограниченности “сверху”.

Рассмотрим пример, который иллюстрирует практически важный случай, когда W(x) и W(n) являются гауссовскими распределениями с дисперсиями и(на практике такое приближение является наиболее распространенным случаем).

Предположим также, что источники Х и N статистически независимы.

Тогда средняя взаимная информация будет равна:

. (1.21)

Представим (1.21.) через нормированный коэффициент корреляции между Х и Y, который для случая нулевых математических ожиданий Х и N будет равен:

.

(1.22)

1.2.4 Эпсилон-энтропия непрерывных источников сообщений

В процессе передачи информации от непрерывных источников по цифровым трактам (как и при измерении непрерывных величин) осуществляется преобразование непрерывной величины в совокупность дискретных отсчетов. Рассмотрим схему такого преобразования.

Рис.1.9 - Структурная схема преобразования

непррывной величины в дискретную

На рис. 1.9: И - источник;

K - квантователь, который осуществляет преобразование непрерывной случайной величины “х” в ее дискретный аналог (квантованный) “y” с мерой верности (близости) .

Под точностью преобразования будем понимать некоторый функционал J от меры верностисообщения “х” и результата квантования “y”

.

Минимальное среднее количество информации, которым можно закодировать источник Х, равно

, (1.23)

называется -энтропией источника Х.

Ставится задача определения минимального объема информации, с помощью которого источник информации Х может быть представлен его цифровым эквивалентом Y с погрешностью, не превышающей . Это означает, что минимум будет достигаться на границе оболочки, размером. Задача поиска минимума сводится к следующему:

Выбирается способ кодирования так, чтобы сообщения источника Х описывались минимальным количеством информации (1.23) При этом очевидно, что в силу симметрии I(X;Y), следует, что H_(X)=H_(Y)

Рассмотрим два частных случая определения -энтропии непрерывных источников в среднеквадратической и равномерной метриках.

В первом случае:

. (1.24)

Тогда с учетом (1.23.) можно записать:

(1.25)

Для оценки -энтропии в равномерной метрикеи

H_(X)=H(X) - log2, (1.26),

где log2_- максимальная дифференциальная энтропия шума квантования, которой обладает источник с равномерным распределением.

При этом -энтропии являются строго положительными величинами.

Пример 1. Определить -энтропию источника Х с распределением в метриках: а) среднеквадратической; б) равномерной. Решение. а) , где . б) .

Пример 2. Определить в среднеквадратической метрике -энтропию источника с гауссовским распределением и дисперсией. .