книги из ГПНТБ / Сакрисон, Д. Лекции об аналоговой связи

нием, быть может, пренебрежимо малой доли, должна быть покрыта изображаемыми областями. Следователь­ но, число М требуемых областей ограничено снизу:

площадь сферы сообщений = A Lr^~' ^

[площадь полярной шапки с диаметром основания 2Ж\\ (6.12)

здесь A l — площадь L -мерной сферы единичного радиу­ са, а число областей М связано со скоростью передачи R равенством М = 22L. Поскольку площадь поверхности

полярной шапки, очевидно, не превосходит площади сферы радиуса Ж, неравенство (6.12) можно заменить

более грубым неравенством

ALro~' < M A ^ l ~1= 2RLA Lg L~\

Так как г0 асимптотически совпадает с а, после про­

стых преобразований получаем

8 - ~ 0 -RLHL-\)

о

откуда при достаточно больших L следует, что

Это неравенство доказывает негативную часть теоремы кодирования.

При доказательстве позитивного утверждения теоре­ мы воспользуемся методом случайного кодирования. Суть метода состоит в том, что кодовые векторы выби­ раются случайным образом, причем так, что для любой фиксированной точки U вероятность не находиться вну­

три шара радиуса Ж с центром в одной из М = 2RL кодо­

вых точек пренебрежимо мала, если Ж > \'rd(R).

Учитывая сделанные выше замечания относительно вида оптимальных областей и оптимального расположе­

ния кодовых векторов, выберем М — 2RL точек иь иг,

. . . , им независимо друг от друга в соответствии с рав­ номерным распределением на сфере радиуса У г\— Ж2.

122 Гл. 6. Кодирование случайных источников сообщений

Рассмотрим произвольную точку ир, полученную про­

Р и с . 6.4. Иллюстрация построений, используемых для вычисления

Р*-

Обозначим эту вероятность через Pg. Для удобства вве­ дем обозначения

VL — объем L -мерного шара единичного радиуса,

Аь — площадь ((L — 1)-мерный объем) L -мерный

сферы единичного радиуса.

На рис 6.4 показаны произвольное спроектированное сообщение ир и сфера радиуса & с центром в точке ир.

Из этого рисунка и из вида распределения, с которым выбираются кодовые векторы, ясно, что

Далее, как видно из рис. 6.4, площадь сферической

124 Гл. 6. Кодирование случайных источников сообщений

Пусть

аг = (і + в)-£іП Щ .

Тогда, согласно (6.11),

Итак, вероятность данной точке, лежащей на сфере сообщений, не попасть внутрь шара радиуса <§ с центром в одной из кодовых точек стремится к нулю, если S

определяется соотношением (6.21) с е > 0 .

Посмотрим теперь, в какой мере мы использовали предположение о гауссовости распределения случайного вектора U. При доказательстве негативного утверждения теоремы мы воспользовались сферической симметрией распределения U, и, следовательно, предположение о гауссовости здесь оказалось существенным. При доказа­ тельстве позитивной части теоремы мы опирались лишь на тот факт, что можно пренебречь ошибкой, связанной с проектированием вектора сообщений на сферу радиуса г0. Таким образом, здесь нам понадобилось лишь выпол­ нение неравенства (6.9).

Если распределение случайной величины U не яв­

ляется гауссовским, то соотношение (6.10) можно заме­ нить оценкой

Й ^ Е І І і и р - и / і Н + У + ггоУ72,

где

^= Е {(IIU II — г0)2},

аг0 — среднее значение ||U||, отвечающее по-прежнему

гауссовскому распределению. Следовательно, среднеквэ-

дратической ошибкой, вызванной проектированием век­ тора U на сферу радиуса г0, можно пренебречь, если V

стремится к нулю при L —> оо.

З а д а ч а 6.2. Показать, что lim Ѵ = 0 для любой

оо

случайной величины U с конечной дисперсией.

Теперь мы можем сформулировать следующее утвер­ ждение для случая передачи сообщений, имеющих конеч­ ную дисперсию.

Т е о р е м а 6.2. Пусть некоторая случайная величина имеет дисперсию о2. Рассмотрим блоковую передачу не­ зависимых случайных величин с тем же распределением, т. е. передачу вектора

U = (£ /,, U2, . . . , UL).

Тогда если L достаточно велико, то при скорости пере­ дачи R бит на случайную величину возможна блоковая передача со среднеквадратической ошибкой, сколь угод­ но близкой к a22~2R.

Таким образом, среди всех распределений с конечной дисперсией а2 гауссовское распределение будет «наихуд­

шим» в том смысле, что скорость передачи при заданном искажении для гауссовских случайных величин служит верхней границей скорости при заданном искажении, от­ вечающей произвольному распределению с конечной дис­ персией. Это свойство, связанное со сферической симме­ трией гауссовского распределения, впервые было отме­ чено Шенноном [2] в 1948 г.

6.2. СВ О Й СТ В А ВЗАИ М Н О Й И Н Ф О РМ А Ц И И

Для нахождения функции скорости при заданном ис­ кажении в случае произвольного источника сообщений нам понадобятся некоторые определения теории инфор­ мации. Часть необходимых сведений мы постараемся вкратце изложить в этом разделе; читателю, интересую­ щемуся более полным обсуждением, мы предлагаем оз­ накомиться с книгами Галлагера [3, гл. 2] ң Пинскера

[8, гл. 2, 3].

128 Гл. 6. Кодирование случайных источников сообщений

Отметим, что если X — скалярная случайная величина,

а Рі и Р2 определяются своими функциями плотности fi(x) и f2(x), то

Л (х) = dР, (.у) _ fi (.ѵ) dP2 (х) ?г(х)

b, ß, относительно той же меры при b = 0. Эти два част­

ных случая более привычны, и читателю полезно убе­ диться в том, что определение Л в этих случаях совпа­ дает с общим определением Л, данным выше.

Хотя мы не требуем от читателя свободного владения понятием производной Радона — Никодима, нам при­ дется, к сожалению, пользоваться им в этом и в следую­ щем разделах. Тем, для кого это понятие ново, можно посоветовать при чтении этих разделов понимать под величиной Л отношение двух вероятностных плотностей. С подробным обсуждением относящихся сюда результа­ тов читатель может ознакомиться по любой книге, посвя­ щенной теории меры, или же по книге Лоэва [9, часть 1].

Рассмотрим теперь две векторные случайные вели­ чины X и У с совместным распределением Рду, опреде­

ленным в пространстве соответствующих им значений. Пусть Е и F — произвольные события соответственно в

где Рд и Ру — маргинальные распределения, соответ­ ствующие X и У. В том случае, когда распределение слу­ чайных величин X и У характеризуется совместной плот­ ностью вероятностей fxY{x,y), введенное нами произве­

дение мер определяется плотностью /д(д:)/у (г/), где fx(x) и fr (у) — маргинальные плотности, получающиеся интегрированием fxY{x,y) соответственно по у или по х.