9. ИНФОРМАЦИОННЫЕ ХАРАКТЕРИСТИКИ СИСТЕМ, РАБОТАЮЩИХ С НЕПРЕРЫВНЫМИ СИГНАЛАМИ

9.1. Непрерывные ансамбли и источники

Непрерывные ансамбли и источники являются информационными моделями непрерывных сообщений, типичными примерами которых служат речевые сообщения и высокочастотные колебания, где исполь­ зуются аналоговые методы модуляции. В общем случае такие сигналы моделируются непрерывными случайными процессами.

Прежде чем воспользоваться методами теории непрерывных случай­ ных величин и процессов для описания непрерывных ансамблей и источ­ ников, обратим внимание, что в практике связи все более широкое приме­ нение находят методы дискретизации непрерывных сигналов во времени и квантования уровня их интенсивности, для которых полностью приме­ нимы все исследованные информационные характеристики дискретных ансамблей и источников. Достаточно строгим аналитическим обоснова­ нием процесса дискретизации непрерывного сигнала является теорема Котельникова, существо которой изложено в главе 5.

Изложение основных вопросов кодирования в непрерывных кана­ лах с дискретным и непрерывным временем существенно различно.

Естественно, что формулировка и доказательство теорем кодирова­ ния в непрерывных каналах с дискретным временем оказываются более близкими к исследованию соответствующих вопросов применительно к дискретным каналам. Основная роль, как и в дискретном канале, прина­ длежит средней взаимной информации между выходом и входом канала с последующим определением пропускной способности канала, которая в случае непрерывных каналов может быть сделана сколь угодно большой. При кодировании в непрерывных каналах возникает определенная специ­ фика, связанная с практической необходимостью учета использования при передаче ограниченной мощности сигнала.

При исследовании непрерывных каналов с непрерывным временем помимо ограничения на мощность передатчика также вводится ограниче­ ние на используемый частотный интервал. Во всех случаях рассматрива­ ется модель каналов с аддитивным белым гауссовским шумом.

При исследовании вопросов передачи информации от источников непрерывных сообщений (сигналов) целесообразно ввести понятие непрерывного ансамбля. Непрерывным ансамблем, задаваемым плот-

ностью распределения вероятностей w(x), называют пару {X, w(x)}, где X — числовая ось и распределение вероятностей на X задается функцией w{x). Соответственно {XY, w(x, у)} называют системой двух совместно заданных непрерывных ансамблей.

Обобщим понятие количества информации на объекты с контину­ умом возможных состояний. Переход от дискретного случая к непре­ рывному естественно вести через понятие относительной (дифферен­ циальной) энтропии.

Пусть оба отражающих друг от друга объекта {х} и {у} непре­ рывны. Снятая неопределенность измеряется теперь разностью апри­ орной и апостериорной относительных энтропий одного из объектов:

I(x,y) = /г(х) - Mh(x/y) = h(y) - Mh(y/x) =—J/?(JC) log p(x)dx - log e +

+ W ) [ Ip(x/y) logp(x/y) dx + log e ] dy = JJp(x,y) log PJ \ -’y) dxdy. (9.1)

Полученная формула является обобщением формулы (5.30) для количества информации в дискретном случае.

Введенное ранее (см. § 5.3) понятие относительной энтропии мо­ жет служить достаточным основанием для получения конечной вели­ чины взаимной информации 1{Х; Y). Введем определение меры коли­ чества информации между сообщениями непрерывных ансамблей.

Количеством взаимной информации между сообщениями х е Х, y e Y непрерывного ансамбля {XYt w(x, у)} называется величина

определенная для всех пар (х, у) таких, что w(x) Ф 0, w(y) Ф 0.

Для остальных пар х и у i(x; у) доопределяется произвольно. Основанием для этого определения служит рассуждение, так­

же основанное на дискретизации непрерывных сигналов и после­ дующем предельном переходе. Пусть (х0, хо+Дх) и (у0, у0+Лу) — ин­ тервалы на осях х и у и p(x0, уО) ~ w(x, у)АхАу, p(x0) ~ w{x)Ax, p(y0) ~ w{y)Ay — соответствующие этим интервалам вероятности. С каждым интервалом можно связать событие из некоторого диск­ ретного множества; например, х0 и у0 - события, состоящие в том, что значения сигналов из х и у находятся в интервалах (хо,хо + Дх) и (у0,у0 + Ау) соответственно. На основании (IV.4) между этими событиями определена взаимная информация

i(x0,y0)= log р (*о>Уо) Р(.хо)р(Уо)'

Переходя к пределу, получим

Д>’-> 0

Количество информации, определяемое соотношением (9.3), представляет случайную величину на соответствующем непрерывном ансамбле.

Математическое ожидание

называется средней взаимной информацией между непрерывными ан­ самблями X и Y.

Используя условные плотности распределения вероятностей (в предположении, что они существуют), значение 1{Х; Y) можно запи­ сать и так:

Используя введенное выше обозначение относительных энтропии А(Л), h(Y) и вводя дополнительно обозначения условных дифференци­ альных энтропии

h ( X \ Y ) = - \ x [rw{x.y)\ogw{x\y)dxdy\

h(Y \Х ) = ~ \х I w(x y)logw(y | x)dxdy, ^

для средней взаимной информации между непрерывными ансамблями получим выражение

по форме совпадающее с выражением для средней взаимной информа­ ции между дискретными ансамблями. Нетрудно показать, что дифферен­ циальные энтропии, как и энтропии дискретных ансамблей, обладают свойством аддитивности; для непрерывных ансамблей Х и У справедливо соотношение h{Y\X)< h(Y), где равенство имеет место только в том слу­

и очевидном условии

Согласно изопсриметричсской задаче вариационного исчисления,, составим функцию

Ф [У(х)J = -w’(x)logH'(x)+A .lx Jw'(x)+A2w(x),

где X, и X,— постоянные неопределенные множители Лагранжа. Иско­ мая функция определяется из уравнения Эйлера:

Найденная плотность вероятности доставляет энтропии h{X) мак­ симум, так как Э2Ф/Э2<в(х) = -1/со(х) 1п2 < 0

Подставив (9.10) в (9.8) и (9.9), определим значения постоянных множителей:

X, то максимальной неопределенностью обладает гауссовское или нор­ мальное распределение вероятностей. Другими словами, при задан­ ном среднеквадратическом разбросе та из случайных величин «ведет себя наиболее хаотически», которая распределена по закону (9.10).

Уместно здесь же сформулировать еще одну важную задачу, которая является частным случаем решенной. Предположим, чш имеется множест­ во случайных величин со всевозможными законами распределения вероят­ ностей и с различными среднеквадрагическими разбросами относительно среднего, равного нулю. Какое распределение вероятностей обладает в этом случае наибольшей неопределенностью (наименьшей предсказуемостью)?

В точной постановке задача определяется иак: найти такую функ­ цию М х\ которая доставляет максимум энтропии h(X) при одном дополни­ тельном условии (9.8), ограничивающем возможный выбор функций о>(х).

В этом случае искомой плотностью вероятности будет функция (9.10), если в ней положить А,'= 0, т. е:

Итак, если дисперсия случайной величины X не ограничена, ее наблюдаемые значения обладают наибольшей информативностью, когда она имеет равномерное распределение вероятностей (9.12).

9.3. Н епрерывные каналы с шумами. Формула Ш еннона

Рассмотрим информационные характеристики системы с не­ прерывными сигналами в наиболее простом случае - когда в вы­ сокой степени точности выполняется предположение об ограни­ ченности частотного спектра рассматриваемых сигналов. В этом случае, согласно теореме Котельникова, любой сигнал полностью определится на всей оси времени, если задать его отсчеты через 1/2F секунд, где F - граничная частота спектра. Поэтому можно считать, что сигнал дискретен во времени и непрерывен лишь по информационному параметру.

Если отсчеты независимы, то скорость передачи информации по каналу, (в котором х(/) - входной, ау(0 - выходной сигналы) определим как

(9.13)

Чтобы исчислять скорость передачи в единицах информации на единицу времени (секунду), интеграл в правой части (9.12) нужно ум­ ножить на число отсчетов в единице времени (2F B секунду).

Пропускная способность непрерывного канала выражается как

(9.14)

где максимум находится по всевозможным распределениям вход­ ной величины х при ограничениях, которые накладывает данный канал. В силу свойства количества информации (см. [7]: «никакое преобразование случайной величины не может увеличить содер­ жание в ней информации относительно другой, связанной с ней величины») как бы принятый сигнал у ни обрабатывался впоследс­ твии, это не может увеличить пропускную способность канала С.

Докажем полезную для всего дальнейшего изложения теорему.

Теорема. Если 1) сигнал x(t) и шум n(t) независимы и 2) принима­ емый cuzHany(t) является их суммой, y(t) = x(t) + n(t), то количество информации на один отсчет может быть вычислено по формуле

1(х,у) = Н(у)-Н(п), (9.15) где Н(у) и Н(п) —соответственно дифференциальные энтропии прини­ маемого сигнала и шума.

Доказательство следует из того, что

В качестве одного из следствий этой теоремы можно сформу­ лировать следующее утверждение: при аддитивном независимом от сигнала шуме максимизация скорости передачи достигается при шах Н (у). Этим можно пользоваться при вычислении пропускной

способности соответствующих каналов.

Итак, под пропускной способностью непрерывного канала связи будем понимать максимально возможную скорость пере­ дачи информации по каналу при заданных технических характе­ ристиках канала: полосе пропускания Fk, отношении сигнал/шум А,2 = Рс / Рш. Так же, как и в случае дискретных сообщений, ско­ рость передачи непрерывных сообщений зависит от выбора ансам­ бля входных сигналов. М аксимальная скорость передачи реализу­ ется при максимальной скорости поступления информации на вход канала, которая соответствует выбору ансамбля входных сигналов с максимальной энтропией. Для непрерывных сообщений x(t) с за­

данной средней мощностью Р

| x2w(x)dx = а 2 = Рс = co n st,

энтропия достигает максимума при нормальном распределении

Заменяя разность энтропий разностью соответствующих диффе­ ренциальных энтропий, получаем

I(y,x) = h(y) - h(y/x),

или, принимая во внимание, что h(y/x) = й(£), имеем

1{у /х)= log, ^2пе(а] +<т*) - log, yj2neo* = log, ^1 + = log,

Для пропускной способности непрерывного канала связи (ИКС)

теперь можем записать

I

С1ШС= uKI(y,x) = uK\og

всоответствии с теоремой Котельникова ое =2FK, поэтому

С тс = 2FKlog f l +■

ш /

Полученное соотношение часто называют формулой Шеннона для пропускной способности гауссовского непрерывного канала без памя­ ти. Ее высокая значимость в теории информации определяется тем, что здесь пропускная способность непрерывного канала в явной фор­ ме связана с основными техническими характеристиками канала - его шириной полосы пропускания частот и отношением сигнал/шум. При нулевых значениях той или иной характеристики пропускная способ-

ность равна нулю и с возрастанием их неограниченно увеличивается. Формула Шеннона указывает на возможность обмена занимаемой по­ лосы частот на мощность сигнала и, наоборот.

Из этой формулы видно, что сокращение полосы частот, занимаемой сигналом, за счет увеличения его мощности невыгодно, поскольку про­ пускная способность канала зависит от характеристики F линейно, а от отношения сигнап/шум - по логарифмическому закону. Обратный обмен мощности сигнала на полосу частот является более эффективным.

Зависимость пропускной способности Снкс от отношения

ной способности С от полосы пропускания канала. Если положить в

График зависимости СНКС от полосы пропускания канала FK

представлен на рис. 9.2.

При увеличении FKпропускная способность Снкс сначала быстро возрастает, а затем асимптотически стремится к пределу

Замедление роста Снкс/ FKпо мере увеличения F J Ffl обусловлено увеличением шума за счет расширения FK, что проявляется как явле­ ние порога в широкополосных системах модуляции.

Таким образом, мы не только определили пропускную способ­ ность, но и заодно показали, что она реализуется, если полезный сигнал закодировать так, чтобы его спектр был равномерным в пред­ ставленной полосе частот, а распределение' мгновенных значений - нормальным.

9.4. Передача сообщений с заданным критерием верности

Во многих практических приложениях при обработке информа­ ции целесообразно отказаться от абсолютно точной передачи сообще­ ний от заданного источника, обеспечивая требуемую гарантированную точность воспроизведения на выходе канала передачи. Такая ситуация возникает при передаче сообщений от дискретных источников (в час­ тности, при передаче факсимильных и телевизионных сообщений). Однако особенно актуальной эта задача становится при передаче со­ общений от непрерывных источников.

Следует напомнить, что любая реализация случайного сооб­ щения на выходе непрерывного источника имеет нулевую вероят­ ность; для точного воспроизведения такого сообщения на выходе системы передачи необходимо иметь канал, имеющий бесконечно большую информационную емкость. В действительности это ока­ зывается не только невыполнимым, но и не нужным. Практика по­ казывает, что разумное ограничение полосы частот канала по отно­ шению к ширине спектра сигнала, отображающего сообщение, не приводит к потере его смыслового содержания или художествен­ ного восприятия. Точно так же квантование уровней непрерывного сигнала и последующая его оцифровка, обработка такого сигнала средствами вычислительной техники убеждают нас в отсутствии необходимости абсолютно точного воспроизведения формируемо­ го на входе системы сообщения.