книги из ГПНТБ / Вулконский Б.М. Теория автоматического управления учебное пособие

Средняя информация на сигнал длительности Т, передаваемая по такому каналу, равна

/ — Н (у) — TFrIn 2neN.

Тогда для скорости передачи информации по каналу со слу­

Определим пропускную способность канала с шумом как мак­ симально достижимую скорость передачи информации и найдем ее аналитическое выражение.

Ранее отмечалось, что при линейном сложении некогерентных сигналов их квадратичные эффекты обладают свойством аддитив­ ности. Поэтому, если средняя мощность сигнала есть Р, а шума N, то средняя мощность смеси сигнала и шума равна Р + N. Далее, мы показали, что при заданной средней мощности сигнала энтро­ пия Н{уи у2, ... , г/2тгг ) максимальна, если функция распределения

вероятности сигнала в каждой точке отсчета совпадает с функцией распределения вероятности случайного шума. Поэтому Г макси­ мально, если р{у) есть распределение вероятности случайного шума.

Результирующий сигнал может обладать распределением слу­ чайного шума только при линейной суперпозиции случайных шу­ мов. Следовательно, Г максимально, если распределение р(х) есть распределение случайного шума.

Никакой сигнал, обладающий средней мощностью Р, не дает большего /' чем случайный шум. Таким образом, для пропускной способности канала со случайным шумом можно записать

Для того чтобы достичь такой скорости передачи информации, необходимо придать сигналу свойства случайного шума.

Ниже мы покажем, что при правильном кодировании передача со скоростью близкой к С теоретически возможна. Причем процент ошибок в передаче будет исчезающе мал.

П р и п р о и з в о л ь н о м шу ме . Предположим, что канал как и прежде линеен. Пусть Р — средняя мощность сигнала;

N — средняя мощность шума; N — энтропийная мощность шума. Тогда средняя мощность принимаемого сигнала равна Р + N. При­ чем предполагается, что передаваемый сигнал, шум и принимае­ мый сигнал нормированы.

80

Энтропия в единицу времени у принимаемого сигнала не мо­ жет превосходить величины

Fr \ n 2 w { P - + N ) .

'Это значение, как мы знаем, достигается лишь тогда, когда си­ гнал обладает свойствами случайного шума. По определению эн­ тропийной мощности, энтропия произвольного шума в единицу времени

Г-\. I п 2тгеЛЛ

Поэтому для максимальной скорости передачи информации или пропускной способности капала можно записать

С < FrIn 2~е (Р -|~N) — Fr \п2те N =

N

С другой стороны, согласно (111), результирующая энтропий­ ная мощность двух одинаковых ансамблей (мы считаем, что сигнал имеет характеристики случайного шума и, следовательно, Р экви­ валентно энтропийной мощности) не меньше суммы составляющих энтропийных мощностей. Поэтому

пропускной способности канала с произвольным шумом для сигна­ лов заданной средней мощности.

Фактическое значение С в настоящее время определено только применительно к случайному шуму [формула (119)] и гауссов­ скому шуму. Однако если средняя мощность сигнала велика по

что справедливо для любого шума.

Из (122), в частности, следует, что при заданной средней мощ­ ности в заданной полосе частот наиболее вредным является случай­ ный шум, так как он обладает наибольшей энтр'опийной мощностью и в наибольшей степени снижает пропускную способность канала.

Пусть функция спектральной плотности мощности полезного

где Р — полная средняя мощность сигнала.

Пусть функция спектральной плотности мощности шума есть

где /V — полная средняя мощность шума.

Разделим весь частотный диапазон на узкие полоски Дш так, чтобы в пределах каждой полоски функция £2 (ш) была примерно постоянной.

Гауссовский шум характеризуется нормальным распределени­ ем вероятностей и отсутствием взаимных связей по точкам отсчета. Для того чтобы скорость передачи информации была максималь­ ной, полезный сигнал также должен иметь нормальное распреде­ ление вероятностей и быть свободным от взаимных связей. При выполнении этих условий энтропию смеси полезного сигнала и шума в узкой полоске Дш можно .записать в виде

Н (у)дш = ^ Г In 2ъе [S (ш) Дш -]- 2 (ш) Дш],

J/'TZ

а энтропию только шума как

Дш ИЛУ) Лео * П п 2тее [2 (ш) Дш].

2

Следовательно, скорость передачи информации в полосе состав­ ляет '

Поскольку связи между значениями сигнала в отдельных точ­ ках отсчета отсутствуют, то полная скорость передачи информации

находится суммированием ГАш по всем Дш.

)

(Од

82

Пропускная способность канала определится как максимум интеграла (125). Для отыскания максимума применим, метод, ко­ торый использовался нами при отыскании распределений, обла­ дающих максимальной энтропией.

Согласно (93) максимум интеграла (125) имеет место при

Значение Л| находится из условия (123) I

Из (126) следует, что максимально возможная скорость пере­ дачи информации при заданном Q(a>) достигается тогда, когда спектр мощности полезного сигнала такой, что величина 5(ш) + Q(u)) не зависит от частоты. В соответствии с этим выра­ жение для пропускной способности канала при гауссовском шум‘е запишется в виде:

83

Первое слагаемое квадратной скобки (127) есть константа, за­ висящая только от <о2 — с о и не зависящая от спектрального распределения Q(w). Следовательно, наихудшим является-случаи такого гауссовского шума, при котором интеграл

“'а

Таким образом, мы убеждаемся еще раз, что наиболее вред­ ным шумом является белый гауссовский, пли случайный шум.

2. Сигналы с ограниченной пиковой мощностью

/

а) М а к с и м а л ь н а я э н т р о п и я а н с а м б л я с и г н а л о в с о г р а н и ч е н н о й п и к о'в о й м о щ н о с т ь ю в т о ч к а х

о т с ч е т а ' .

Если пиковая мощность ансамбля сигналов не пре­ восходит z во всех точках отсчета, то согласно выводам § 16, А. энтропия максимальна, когда функция распределения вероятно-

стеи в точках отсчета постоянна и равна-----1т=-■ Для этого слу- 2 у z

чая энтропия в каждой точке Отсчета

h = — In 4г .

Чтобы полная энтропия ансамбля была максимальна, распре­ деления вероятностей в различных точках отсчета должны быть независимы, что влечет-.за собой аддитивность энтропии.

В интервале Т имеется 2TFr точек отсчета. Следовательно, максимальная энтропия ансамбля сигна'лов в единицу времени равна

84

б) Э н т р о п и я а н с а м б л я с и г н а л о в с п и к о в о й м о щ ­ н о с т ь ю , о г р а н и ч е н н о й во в с е м и н т е р в а л е Т.

Из теории линейных фильтров известно, что ансамбль сигналов с ограниченной пиковой мощностью в точках отсчета; пропущен-

F

ный через фильтр с передаточной функцией вида K{F) .= 1-----

*Г

(рис. 6 ), превращается в ансамбль сигналов с пиковой мощностью, ограниченной во всем интервале Т. Для такого ансамбля энтропия в единицу времени

пиковым значением только в точках отсчета.

Легко понять, что энтропия ансамбля, в котором пиковая мощ­ ность ограничена при всех t, не может превосходить энтропию, определяемую формулой (128). Следовательно, максимальная энтропия ансамбля с ограниченной пиковой мощностью при всех t лежит где-то между (128) и (129).

в) С к о р о с т ь п е р е д а ч и и ф о р м а ц и и и п р о п у с к н а я с п о с о б н о с т ь к а н а л а .

Мы знаем, что если канал линеен и если единственным ограни­ чением, наложенным на сигнал, является то, что его пиковая мощность не превосходит z, то энтропия ансамбля в единицу вре­

85

Если энтропийная мощность шума составляет /Vlu, то согласно ( 1 1 1 ) энтропийная мощность принимаемого результирующего ансамбля (смеси сигнала и шума) не может быть меньше

—4z _

что соответствует энтропии в единицу времени, равной

Мич-ш) > F In 2-е ^ 2^ :| Н- 7VJ.

Следовательно, пропускная способность такого канала может по меньшей мере составлять

2-e']N„

Аналогичные методы оценки можно использовать при исследо­ вании вопросов передачи конкретных сигналов с ограниченной пи­ ковой мощностью. Энтропия конкретного ансамбля может быть оценена как величина, лежащая между значениями (128) и (129). Зная энтропийную мощность шума, можно всегда, если не рассчи­ тать точно, то определить интервал возможных значений пропуск­ ной способности канала для конкретных условий задачи.

Пр и м е р ы .

15.Ансамбль сигналов, проходя через усилительный трак ограничивается по амплитуде на уровне ± 5 в.

Определить:

—максимальную энтропию на точку отсчета ансамбля;

—максимальную энтропию ансамбля в единицу времени, если

ширина полосы пропускания усилителя составляет 1 0 0 гц и частот­ ная характеристика усилителя прямоугольна;

— минимальную энтропию ансамбля в единицу времени, если частотная характеристнкз/усилителя треугольна/

Максимальная энтропия ансамбля в единицу времени, считая частотную характеристику усилителя прямоугольной,

Fft = 2&Fh = Д/Пп 4 ■z — 100 In 100 = 460

нат. ед. сек

. 86

Минимальная энтропия в единицу времени при треугольной частотной характеристике усилителя

16. Дан ансамбль сигналов, у которых связи между значени ми в точках отсчета отсутствуют, а функция распределения вероят­ ностей в каждой точке отсчета имеет вид

Первое слагаемое при подстановке х = 0 равно нулю, а при

дает неопределенность. Воспользуемся предельным пере-

87

Для отыскания предела перейдем к повой переменной —

х = - т - ¥ -

Для вычисления последнего предела используем правило Лопиталя.

17. Дан ансамбль сигналов, в котором взаимные связи отсут вуют, мгновенные значения сигналов могут принимать только по­ ложительные значения, а среднее значение постоянно и равно К.

Найти функцию распределения вероятностей р(х), которая при указанных ограничениях обеспечивает ансамблю максимальную энтропию. Найти энтропию на точку отсчета.

Р е ш е н и е .

h — — j" р (х) Inр (х) dx .

о

88

Ограничивающие условия записываются в виде:

| х р (х) dx = К ;

6

I" р {х) dx = 1 .

6

Определяем вид р(л:), обеспечивающий максимум энтропии:

'р (х) = е>'-'[е>^.

Найдем значения Х| и Хг.

Ой

89