dxdy,

Эпсилон-энтропия

Общее определение эпсилон-энтропии может быть выражено сле­ дующим образом. Пусть wn(e) задает класс всех условных плотностей

Му | х), для которых средняя ошибка не превосходит е:

Тогда функция

(9.21)

где минимум разыскивается по всем значениям п и функциям w(y 1х) из w(j{e) называется эпсилон-энтропией непрерывного стационарного источника w(x) относительно критерия качества d(x,y).

Таким образом, эпсилон-энтропия представляет собой минималь­ ное количество информации, которое необходимо для того, чтобы ре­ ализация У с заданной точностью е воспроизводила исходную реали­ зацию X .

В частном случае стационарного источника без памяти эпсилонэнтропия определяется величиной

(9.22)

Эпсилон-энтропия гауссовского источника без памяти

Вычисление эпсилон-энтропии в общем случае представляет со­ бой сложную задачу. Простое решение имеется для гауссовского источ­ ника с независимыми отсчетами, когда можно ограничиться вычисле­ нием эпсилон-энтропии гауссовской случайной величины. Определим эпсилон-энтропию гауссовского непрерывного ансамбля {X, w(x)}, где

ч * ) = ( v V ^ 4 ^ехр (-*■ / 2а)), для случая квадратичного критерия качества.

Эпсилон-энтропия рассматриваемого источника определяется выражением (9.22), где Y - аппроксимирующая случайная вели­ чина, задаваемая функцией w(y \ х), и множество и’(е) состоит из всех тех функций распределения вероятностей w(ylx), для кото­ рых среднеквадратичная ошибка d„ = М{Х - Y)2 не превосходит е. Представим среднюю взаимную информацию I(X;Y) как разность относительных энтропии:

Относительная энтропия h(X) не зависит от выбора функции

w(y | х) и в соответствии с (9.16а) h(X) = ^ 2 %еа\ . Для вычисления максимума во втором слагаемом рассмотрим случайную величину Z, имеющую смысл «мощности шумов источника», определив ее равенс­ твом: X = Y + Z. Из этого равенства следует, что при заданном значе­ нии у е Y случайные величины X и Z однозначно определяют друг друга, т.е. при фиксированном значении у случайные величины Л"и Z отличаются только математическими ожиданиями и, следовательно, имеют одинаковые условные дифференциальные энтропии:

Максимум h(Z) в правой части (9.25) определяется исходя из того,

что для любой функции w(y | х) из w(e) математическое ожидание

2

M{Zr) = М ( Х - Y)2 < • Поскольку, наконец, для случайной величины с ограниченной дисперсией относительная энтропия не превосходит

log у]2леас2 , для эпсилон-энтропии (9.23) получим

Знак равенства здесь имеет место тогда, когда Y и Z являются статис­ тически независимыми гауссовскими случайными величинами (предпо­ лагается, что ). Таким образом, минимальное количество информации, которое необходимо передать в канал, обеспечивая среднеквадратичный

Контрольные вопросы

1.Дайте определение непрерывных ансамблей и источников.

2.Дайте определение средней взаимной информации между не­

прерывными ансамблями.

3.Опишите основные свойства дифференциальных энтропий.

4.Как определяют скорость передачи информации и пропускную

способность непрерывного канала?

5. Напишите и поясните выражение для пропускной способности гауссова канала.

6.Вычислите пропускную способность непрерывного канала без памяти с аддитивным белым гауссовским шумом.

7.Определите максимально возможную величину пропускной способности гауссовского канала при неограниченной полосе.