книги / Теория информации
..pdfВ этом случае искомой плотностью вероятности будет функция (9.10), если в ней положить А,'= 0, т. е:
w (х ) = exp (k2 - 1)= const. |
(9.12) |
Итак, если дисперсия случайной величины X не ограничена, ее наблюдаемые значения обладают наибольшей информативностью, когда она имеет равномерное распределение вероятностей (9.12).
9.3. Н епрерывные каналы с шумами. Формула Ш еннона
Рассмотрим информационные характеристики системы с не прерывными сигналами в наиболее простом случае - когда в вы сокой степени точности выполняется предположение об ограни ченности частотного спектра рассматриваемых сигналов. В этом случае, согласно теореме Котельникова, любой сигнал полностью определится на всей оси времени, если задать его отсчеты через 1/2F секунд, где F - граничная частота спектра. Поэтому можно считать, что сигнал дискретен во времени и непрерывен лишь по информационному параметру.
Если отсчеты независимы, то скорость передачи информации по каналу, (в котором х(/) - входной, ау(0 - выходной сигналы) определим как
(9.13)
Чтобы исчислять скорость передачи в единицах информации на единицу времени (секунду), интеграл в правой части (9.12) нужно ум ножить на число отсчетов в единице времени (2F B секунду).
Пропускная способность непрерывного канала выражается как
(9.14)
где максимум находится по всевозможным распределениям вход ной величины х при ограничениях, которые накладывает данный канал. В силу свойства количества информации (см. [7]: «никакое преобразование случайной величины не может увеличить содер жание в ней информации относительно другой, связанной с ней величины») как бы принятый сигнал у ни обрабатывался впоследс твии, это не может увеличить пропускную способность канала С.
Докажем полезную для всего дальнейшего изложения теорему.
Теорема. Если 1) сигнал x(t) и шум n(t) независимы и 2) принима емый cuzHany(t) является их суммой, y(t) = x(t) + n(t), то количество информации на один отсчет может быть вычислено по формуле
1(х,у) = Н(у)-Н(п), (9.15) где Н(у) и Н(п) —соответственно дифференциальные энтропии прини маемого сигнала и шума.
Доказательство следует из того, что
Их,у) = Щх) - Н(х/у) = Н(у) - |
Н(у/х), |
а так как у = х + п и х статистически не зависит от п, то |
|
Н(у/х) = Н(х + п/х) = Н(п), |
(9.16) |
откуда и следует (9.16). |
|
В качестве одного из следствий этой теоремы можно сформу лировать следующее утверждение: при аддитивном независимом от сигнала шуме максимизация скорости передачи достигается при шах Н (у). Этим можно пользоваться при вычислении пропускной
способности соответствующих каналов.
Итак, под пропускной способностью непрерывного канала связи будем понимать максимально возможную скорость пере дачи информации по каналу при заданных технических характе ристиках канала: полосе пропускания Fk, отношении сигнал/шум А,2 = Рс / Рш. Так же, как и в случае дискретных сообщений, ско рость передачи непрерывных сообщений зависит от выбора ансам бля входных сигналов. М аксимальная скорость передачи реализу ется при максимальной скорости поступления информации на вход канала, которая соответствует выбору ансамбля входных сигналов с максимальной энтропией. Для непрерывных сообщений x(t) с за
данной средней мощностью Р
| x2w(x)dx = а 2 = Рс = co n st,
энтропия достигает максимума при нормальном распределении
*(*) = |
2о‘ |
|
и становится равной |
|
|
|
|
h(x) = [og^2neal |
(9.16 |
а) |
Шум в канале х(/) будем считать стационарным аддитивным бе |
|||
лым гауссовым шумом, его дифференциальная энтропия |
|
|
|
|
h(%) = log2 p in e a l. |
(9.16 |
б) |
Принимаемый сигнал имеет вид |
|
|
|
|
* 0=*0 + 4(0, |
|
|
а его дифференциальная энтропия |
|
|
|
Ну) = lo g , |
= log2 ^ 2 пе(а2х + o j) . |
|
|
Заменяя разность энтропий разностью соответствующих диффе ренциальных энтропий, получаем
I(y,x) = h(y) - h(y/x),
или, принимая во внимание, что h(y/x) = й(£), имеем
1{у /х)= log, ^2пе(а] +<т*) - log, yj2neo* = log, ^1 + = log,
Для пропускной способности непрерывного канала связи (ИКС)
теперь можем записать
I
С1ШС= uKI(y,x) = uK\og
всоответствии с теоремой Котельникова ое =2FK, поэтому
С тс = 2FKlog f l +■
или, окончательно получим |
|
CL = FK log 1 + Pc |
(9.16в) |
ш /
Полученное соотношение часто называют формулой Шеннона для пропускной способности гауссовского непрерывного канала без памя ти. Ее высокая значимость в теории информации определяется тем, что здесь пропускная способность непрерывного канала в явной фор ме связана с основными техническими характеристиками канала - его шириной полосы пропускания частот и отношением сигнал/шум. При нулевых значениях той или иной характеристики пропускная способ-
ность равна нулю и с возрастанием их неограниченно увеличивается. Формула Шеннона указывает на возможность обмена занимаемой по лосы частот на мощность сигнала и, наоборот.
Снкс |
Сл«с |
Рис. 9.1. Зависимость |
|
Снкс от отношения h\ = Рс / Рш |
лосы пропускания канала Fk |
Из этой формулы видно, что сокращение полосы частот, занимаемой сигналом, за счет увеличения его мощности невыгодно, поскольку про пускная способность канала зависит от характеристики F линейно, а от отношения сигнап/шум - по логарифмическому закону. Обратный обмен мощности сигнала на полосу частот является более эффективным.
Зависимость пропускной способности Снкс от отношения
представлена на рис. 9.1. |
1 Р |
|
|
Обратим внимание на важную особенность зависимости пропуск |
ной способности С от полосы пропускания канала. Если положить в
(9.16 в), что Рш = GaFk, Рс= GQFQ(G0- |
спектральная плотность мощ |
||
ности шума; F0- некоторая эквивалентная полоса частот), то |
|||
|
( |
G F |
^ |
Cmc = FK\og 1 |
ЧТО |
|
|
+ ^ |
|
||
или |
|
GQFK J |
|
|
|
|
|
= ~ ~ log |
1+ |
(9.17) |
График зависимости СНКС от полосы пропускания канала FK
представлен на рис. 9.2.
При увеличении FKпропускная способность Снкс сначала быстро возрастает, а затем асимптотически стремится к пределу
R |
loge * |
R |
1,443 бит/с. |
"H K C |
G0FK |
||
3 , Fк |
|
|
Замедление роста Снкс/ FKпо мере увеличения F J Ffl обусловлено увеличением шума за счет расширения FK, что проявляется как явле ние порога в широкополосных системах модуляции.
Таким образом, мы не только определили пропускную способ ность, но и заодно показали, что она реализуется, если полезный сигнал закодировать так, чтобы его спектр был равномерным в пред ставленной полосе частот, а распределение' мгновенных значений - нормальным.
9.4. Передача сообщений с заданным критерием верности
Во многих практических приложениях при обработке информа ции целесообразно отказаться от абсолютно точной передачи сообще ний от заданного источника, обеспечивая требуемую гарантированную точность воспроизведения на выходе канала передачи. Такая ситуация возникает при передаче сообщений от дискретных источников (в час тности, при передаче факсимильных и телевизионных сообщений). Однако особенно актуальной эта задача становится при передаче со общений от непрерывных источников.
Следует напомнить, что любая реализация случайного сооб щения на выходе непрерывного источника имеет нулевую вероят ность; для точного воспроизведения такого сообщения на выходе системы передачи необходимо иметь канал, имеющий бесконечно большую информационную емкость. В действительности это ока зывается не только невыполнимым, но и не нужным. Практика по казывает, что разумное ограничение полосы частот канала по отно шению к ширине спектра сигнала, отображающего сообщение, не приводит к потере его смыслового содержания или художествен ного восприятия. Точно так же квантование уровней непрерывного сигнала и последующая его оцифровка, обработка такого сигнала средствами вычислительной техники убеждают нас в отсутствии необходимости абсолютно точного воспроизведения формируемо го на входе системы сообщения.
К ритерий качества. Полагая, как и ранее, что источник со общения в каждый момент времени выбирает сообщение из мно жества X (которое может быть и дискретным) и X ' представляет собой множество последовательностей сообщ енийх = (хи>,..., х(л)), будем аппроксимировать последовательность х с помощью после довательности ~у = (у( / Уп)) из элементов того же (или другого) множества У. Для каждой пары х0>, у (0 введем в рассмотрение неко торую неотрицательную функцию d(x(i), у 0)), задающую величину ошибки аппроксимации элемента и определяющую критерией ка чества следующим образом:
dn х , у |
(9.18) |
Вслучае, когда и X, и Y являются непрерывными множествами
ипоследовательности х, у являются случайными, так что при за данном {X, w(x)} и известной w(x) аппроксимирующая последова тельность может быть определена условной плотностью распреде ления вероятностей w{y\ х), математическое ожидание случайной
функции dn{x, у ), определяемое интегрированием
d,,= |
J |
|
Л (-Л ( -Л |
|||
J d*\x,y |
|
|
у |х dxdy = |
|||
%п |
у п |
v У |
|
|
J |
|
|
|
|
|
|
Л |
|
= |
| |
\ |
d i x , } |
W |
Х,У |
dxdy, |
|
Х п |
у п |
\ |
J |
V |
J |
называется средней ошибкой аппроксимации.
В качестве примера может быть рассмотрен критерий абсолютно
го значения отклонения |
|
d(x,y) = \x -y\. |
(9-19) |
Широко используется квадратический критерий качества, когда |
|
d(x,y) = (х - у ) 2. |
(9.20) |
Такой критерий представляет особенный интерес, когда при аппроксимации особенно нежелательны большие ошибки. Мате матическое ожидание d{x, у) = (х - у ) 2является средним квадратом ошибки. Соответствующая средняя ошибка dn называется средне
квадратической.
Эпсилон-энтропия
Общее определение эпсилон-энтропии может быть выражено сле дующим образом. Пусть wn(e) задает класс всех условных плотностей
Му | х), для которых средняя ошибка не превосходит е:
Тогда функция
(9.21)
где минимум разыскивается по всем значениям п и функциям w(y 1х) из w(j{e) называется эпсилон-энтропией непрерывного стационарного источника w(x) относительно критерия качества d(x,y).
Таким образом, эпсилон-энтропия представляет собой минималь ное количество информации, которое необходимо для того, чтобы ре ализация У с заданной точностью е воспроизводила исходную реали зацию X .
В частном случае стационарного источника без памяти эпсилонэнтропия определяется величиной
(9.22)
Эпсилон-энтропия гауссовского источника без памяти
Вычисление эпсилон-энтропии в общем случае представляет со бой сложную задачу. Простое решение имеется для гауссовского источ ника с независимыми отсчетами, когда можно ограничиться вычисле нием эпсилон-энтропии гауссовской случайной величины. Определим эпсилон-энтропию гауссовского непрерывного ансамбля {X, w(x)}, где
ч * ) = ( v V ^ 4 ^ехр (-*■ / 2а)), для случая квадратичного критерия качества.
Эпсилон-энтропия рассматриваемого источника определяется выражением (9.22), где Y - аппроксимирующая случайная вели чина, задаваемая функцией w(y \ х), и множество и’(е) состоит из всех тех функций распределения вероятностей w(ylx), для кото рых среднеквадратичная ошибка d„ = М{Х - Y)2 не превосходит е. Представим среднюю взаимную информацию I(X;Y) как разность относительных энтропии:
Относительная энтропия h(X) не зависит от выбора функции
w(y | х) и в соответствии с (9.16а) h(X) = ^ 2 %еа\ . Для вычисления максимума во втором слагаемом рассмотрим случайную величину Z, имеющую смысл «мощности шумов источника», определив ее равенс твом: X = Y + Z. Из этого равенства следует, что при заданном значе нии у е Y случайные величины X и Z однозначно определяют друг друга, т.е. при фиксированном значении у случайные величины Л"и Z отличаются только математическими ожиданиями и, следовательно, имеют одинаковые условные дифференциальные энтропии:
h(Z\Y) = h(X\Y). |
(9.24) |
|
Поскольку h(Z | У) < h(Z), из выражения (9.23) следует |
|
|
Нг(Х) > h( X) - m axA (Z ). |
(9.25) |
|
»v(c) |
v |
7 |
Максимум h(Z) в правой части (9.25) определяется исходя из того,
что для любой функции w(y | х) из w(e) математическое ожидание
2
M{Zr) = М ( Х - Y)2 < • Поскольку, наконец, для случайной величины с ограниченной дисперсией относительная энтропия не превосходит
log у]2леас2 , для эпсилон-энтропии (9.23) получим
Н С(Х) > log \]2neo2s - log yj2neal = ^ -log^ -. |
(9.26) |
Знак равенства здесь имеет место тогда, когда Y и Z являются статис тически независимыми гауссовскими случайными величинами (предпо лагается, что ). Таким образом, минимальное количество информации, которое необходимо передать в канал, обеспечивая среднеквадратичный
критерий качества, не превосходящий е, определяется величиной |
|
Н С( Х ) = log(aJ/ ас). |
(9.27) |
Контрольные вопросы
1.Дайте определение непрерывных ансамблей и источников.
2.Дайте определение средней взаимной информации между не
прерывными ансамблями.
3.Опишите основные свойства дифференциальных энтропий.
4.Как определяют скорость передачи информации и пропускную
способность непрерывного канала?
5. Напишите и поясните выражение для пропускной способности гауссова канала.
6.Вычислите пропускную способность непрерывного канала без памяти с аддитивным белым гауссовским шумом.
7.Определите максимально возможную величину пропускной способности гауссовского канала при неограниченной полосе.
10.ЭФФЕКТИВНОСТЬ ИНФОРМАЦИОННЫХ СИСТЕМ
10.1.Критерии оценки эффективности информационных систем
Под эффективностью в широком смысле понимают степень ис пользования каких-то материалов, средств, ресурсов, времени и т.д. В системах связи основными ресурсами можно считать пропускную способность канала С, ширину полосы частот F , мощность сигнала Р . Для оценки степени их использования удобно сравнивать сх со ско ростью передачи информации R.
Так, при проектировании системы передачи информации естест венно стремиться к тому, чтобы при ее функционировании были на иболее полно реализованы потенциальные возможности ее составных частей и в первую очередь возможности канала связи.
Для этого, как правило, требуется согласование физических и ста тистических характеристик источника сообщений и канала связи, ка нала связи и приемного устройства.
Например, при заданной верности передачи информации полоса частот сообщения не должна превосходить полосы пропускания кана ла связи, производительность источника сообщений не должна быть больше пропускной способности канала передачи и т. д.
Наиболее общей оценкой эффективности системы связи является
коэффищент использования пропускной способности канала
( > = £ • о с п
который называется информационной эффективностью. В реальных каналах значение коэффициента эффективности передачи изменяется
впределах 0 < р < 1.
Сцелью повышения эффективности передачи информации проводит
ся согласование источника сообщений с каналом связи. О качестве согла сования можно судить по степени близости коэффициента р к единице. ф В системах с ограниченной полосой, например кабельных, важ ной характеристикой является коэффициент использования ширины
полосы частот канала F
у = Л/ F , |
(10.2) |
который называют частотной эффективностью.