4.3. Простые примеры вычисления функции скорость-искажение

Все определения и утверждения в предыдущем параграфе приводились для непрерывного источника, но в равной степени могли быть записа­ны для дискретного ансамбля и соответственно подобранного критерия качества.

Пример. Двоичный источник.

161

Начнем с примера двоичного ансамбляX = {0,1} и вероятностного критерия качества. Вероятности символов положим равными . Источник порождает последовательности независимых одинаково распределенных двоичных символов. Эти по­следовательности аппроксимируются двоичными последовательностями так, чтобы при заданной скорости аппроксимирующего кода минимизировать среднюю ошибку

где -расстояние Хэмминга (число несовпадающих позиций вxи y.

В соответствии со свойством функцию скорость-искажение сле­дует искать по формуле

где условные вероятности задаются всего двумя числами, напри­мер и Хотя поиск условного экстремума по этим двум параметрам не кажется сверхсложной задачей, мы не пой­дем по этому прямолинейному пути. Вместо этого мы сначала найдем нижнюю оценку взаимной информации, а затем покажем, что эта оцен­ка достижима при некотором .

Введем обозначение для операции сложения по модулю два и за­метим, что

1,x =y.

Это означает, что ансамбль - ансамбль ошибок при аппроксимации источника Х символами из Y. При средней ошибке равной D взаимную информацию можно оценить следующим образом:

(4.2)

Здесь в (а) замена Х на при условии Y представляет собой детерминированное преобразование и поэтому не меняет энтропии. Нера­венство (b) имеет место потому, что условная энтропия не может быть больше безусловной, и - двоичная энтропия.

Рис. 4.2. Совместное распределение X и Y для двоичного источника

Предполагая, что получено правильное выражение для функции скорость-искажение, подберем к заданному ансамблю источника Х такой источник Y, для которого неравенства в можно заменить на точные равенство. Такая пара ансамблей показана на рисунке 4.2.

Положим вероятности аппроксимирующих символов равными . Вероятности символов известны: . Условные вероятности выбраны исходя из требований к ошибке: . Поэтому неизвестный параметр находим из уравнения

Решением является

Теперь заметим, что приD = min{p, 1 —p} правая часть обращается в нуль. Это легко объяснить. Среднюю ошибку, равную этой величине можно получить, всегда используя в качестве аппроксимиру­ющего символа один и тот же символ 0 либо 1, в зависимости от того, вероятность какого из них больше.

Итак, ансамбль, на котором достигается нижняя граница най­ден и тем самым найдена функция скорость-искажения. При этом мы так и не указали в явном виде функцию на которой достигается ми­нимум взаимной информации. При желании эту функцию можно легко получить, воспользовавшись рисунком 4.2.

Сформулируем полученный в этом примере результат в виде теоре­мы.

Теорема. Функция скорость-искажение двоичного источника независимых символов с вероятностью единицы равной р при вероятностной мере искажения равна

(4.3)

Типичный график H(D) для двоичного источника показан на рисунке 4.3.

Рис. 4.3. Функция скорость-искажение для двоичного источника

Пример. Гауссовский источник

Рассмотрим последовательность независимых одинаково распределен­ных гауссовских с.в. с нулевым математическим ожиданием и диспер­сией , т.е. с плотностью

и вычислим функцию скорость-искажение при квадратическом крите­рии качества. Как и в предыдущем примере, начнем с вывода нижней границы на взаимную информацию, а потом убедимся, что граница достижима. Итак, по аналогии с двоичным источником

(4.4)

Здесь использована формула дифференциальной энтропии гауссовско­го ансамбля из таблицы и то, что гауссовское распределение имеет наибольшую энтропию среди всех распределений с заданной дисперсией.

Чтобы доказать достижимость границы (4.4), введем с.в.Z =X — Yи будем считать ее гауссовской с нулевым математическим ожиданием и дисперсиейD. Посколь­ку сумма независимых гауссовских с.в. есть гауссовская с.в. с суммарной дисперсией, дисперсияX =Y +Z равна . Нетрудно видеть, что пара случайных величин X иY удовлетворяет (4.4) с равенством.

Приведенные рассуждения имеют смысл только при . Поскольку значение аппроксимирует значения с.в. Х со средней ошибкой , то при функция скорость-искажение тождественна равна нулю.

Теорема. Функция скорость-искажение источника независимых гауссовских с.в. с дисперсией при квадратическом критерии каче­ства равна

(4-28)

Иногда удобнее записывать в виде

(₄.₂9)

График функции скорость-искажение для гауссовского источника с единичной дисперсией показан на рис. 4.4.

Попутно с доказательством Теоремы нами установлена оценка снизу функции скорость-искажение произвольного стационарного источ­ника, порождающего независимые сообщения ). Эту оценку часто называют границей Шеннона.

Следствие (Граница Шеннона). Функция скорость-искажение источника независимых с. в. с дисперсией и дифференциальной эн­тропией h(X) при квадратическом критерии качества удовлетворяет неравенству

(4.30)

Рис. 4.4. Функция скорость-искажение для гауссовского источника