книги из ГПНТБ / Вулконский Б.М. Теория автоматического управления учебное пособие
.pdfВ пределе второе слагаемое обращается в бесконечность. Это может навести на мысль о непригодности понятия энтропии для непрерывных распределений. Однако это* не так. Во всех форму лах теории информации одно и то же бесконечное слагаемое фи гурирует дважды, один раз со знаком ( + ), другой — со знаком (—), таким образом, эти слагаемые всегда исключаются. Поэтому
энтропию непрерывного распределения можно записать |
просто |
в виде |
|
Н — — j р {х) log р (л) dx , |
(87) |
или для случая п переменных |
|
Н = — , .j Р ( х и х 2>. . . х п) \ogp (а-,, х 2.. .хп) d x xdx2... d x n. |
(8 8 ) |
Применительно к ансамблям функций с ограниченным спект ром удобно пользоваться понятием энтропии на степень свободы, а также энтропии в единицу времени. Энтропия на степень сво боды ансамбля определится как
h = lim 1 _ |
р(Х^Х2 Х „ ) log р (.£|Х |
x n)dxldx 2 . . . dл'п, |
(89) |
|
П -* ео п Я |
|
|
|
|
где Х \ , х 2............. |
х а — значения сигнала |
в точках отсчета. |
|
|
Энтропия в единицу времени |
|
|
|
|
|
nh |
2FTh, |
(90) |
|
|
Т |
|||
поскольку п = 2 |
|
|
|
|
TFr . |
|
|
|
|
§ 16. РАСПРЕДЕЛЕНИЯ, ОБЛАДАЮЩИЕ МАКСИМАЛЬНОЙ ЭНТРОПИЕЙ
В случае дискретных сообщений мы убедились, что максималь ной энтропией обладают схемы равновероятных событий. Теперь наша задача заключается в отыскании непрерывных распределе ний вероятностей, которые при заданных условиях имеют макси мальную энтропию. Другими словами, требуется разыскать функ цию р ( х ) , которая при данных условиях обеспечивает максимум выражения
h — — J р (л) logр (х) dx.
Эта задача рассматривается в вариационном исчислении и в общем виде сводится к отысканию функции р { х ) , при которой ин теграл
.ь |
|
J ЧГ (л:, .р) dx |
(91) |
U |
|
70
принимает экстремальное значение при условии, что
ь
j ф! (х: р) d x - ^ k x\
j (X. р) dx = К ; |
(92) |
ь
<Рп (X, р) dx = k,
а
где k\, k2, . .., k n — заданные константы.
Соответствующая теорема вариационного исчисления утверж дает, что функция р(х), обеспечивающая экстремум интеграла
(91), |
находится |
решением |
уравнения |
д<р„ |
|
|
|
|
dW |
+ V др |
+ ^ ' 2 |
дъ |
■О, |
(93) |
|
|
др |
др |
др |
||||
|
|
|
|||||
где |
Л2, ... , |
Хп — константы, |
которые |
находятся подстановкой |
|||
р(х), удовлетворяющей уравнению (93), в равенство (92).
Метод решения этой задачи станет ясен в ходе рассмотрения
конкретных примеров.
В практике передачи непрерывных сообщений наиболее часто встречаются случаи, когда сигналы ограничены либо по пиковой мощности, либо по средней мощности. К рассмотрению этих кон кретных случаев мы и перейдем.
А. Ансамбли функций с ограниченной пиковой мощностью (ограниченным мгновенным квадратичным значением)
Это случай, когда величина х2 не |
превосходит z. |
Как видно, |
||
при этом х заключено между —У~г |
и + V z и выражение для |
|||
энтропии примет вид |
|
|
|
|
+ |
V |
ъ |
|
|
h = — |
j |
p ( x ) \ n p ( x ) d x . |
(94») |
|
—Y г |
|
|
||
По условию нормировки вероятностей имеем |
|
|||
+ Y7 |
|
|
|
(95) |
ji_ |
|
p { x ) d x = |
1, |
|
-Vz*
*В дальнейшем удобнее пользоваться натуральными логарифмами.
71
следовательно,
^ (■*> р) = — р (a) Inр (а*) ;
dW |
— [ 1 + ln/»(jc)]; . |
= |
|
<Pi |
С*. р ) = р (а) ; |
|
др |
и уравнение (93) принимает вид
[ 1 + Inр (а)] -]- X, — О,
т. е. р(а), соответствующее максимальному значению h, будет равно
|
|
Р (■*) = |
ех-->. |
|
(96) |
|
Подставляя найденное значение в (95), получим |
||||||
+ V J |
+ YT |
|
|
|
||
|
J |
d x — |
j |
d x = ex'~xcl |
y/~z = 1 |
|
- V T |
- Y T |
|
|
|
||
и, следовательно, |
|
|
|
|
|
|
|
|
p (.*) = el'~l = |
2 ^ 2 |
|
(97) |
|
|
|
|
|
|
|
|
Итак, в данном случае энтропия максимальна, если распреде |
||||||
ление вероятностей |
равномерно и равно |
*___ Численная вели |
||||
чина энтропии при этом составляет |
2 У z |
|
||||
|
|
|
||||
+ |
V z |
|
|
|
|
|
h = — |
р (а) \ п р (a) d x = |
--------\ = r |
I n — |
h=^-2V~z = |
||
|
J |
|
|
2 У z |
|
2 У z |
- Y г. |
|
|
|
|
|
|
|
|
= In 2 V z |
= |
In 4z. |
(98) |
|
Б. Ансамбли функций с заданной средней мощностью (с заданным средним мгновенным квадратичным значением)
Это случай, когда |
|
j a2 /j(a) dx = о3, |
(99) |
где о — заданная константа.
72
Выражение для энтропии в этом случае приобретает вид
+~ |
|
/ г = — J р ( х )\ п р (х) dx, |
(1 0 0 ) |
—00
аусловия, которые должны быть выполнены, это (99) и нормиру
ющее условие |
|
’ |
|
|
|
|
|
|
- f 00 |
|
|
|
|
|
|
J |
p ( x ) d x = |
1 . |
|
(101) |
Итак: |
|
l 1, (х , р ) = — р ( х )\ п р (х)\ |
|
|
||
|
|
|
|
|||
|
|
dW |
= — [1 + |
In/?(*)]; |
|
|
|
|
~ д— |
|
|
||
|
|
(х,Р)=Р(х)-, |
|
|
|
|
|
|
<tyi |
= 1 ; |
|
|
|
|
|
др |
|
|
|
|
|
|
<?2{х,р) |
= х 2р{х)\ |
|
|
|
|
|
д?2 |
_ . „ 3 |
|
|
|
Тогда |
|
— р |
|
|
|
|
— [ 1 -j- In р (*)] -(- X, -}- \ 2х г = |
0; |
|
||||
|
|
|||||
|
р |
( j c ) = е х-^'1+г'~ 1 - |
е ' - > - |
|
( 102) |
|
Подставим найденное значение р(х) в (101) |
|
|
||||
+~ |
|
|
|
|
|
|
p ( x ) d x |
= 2 е'," ) jI e'<*--^dx = |
4 - | |
/ |
- 1 , (Ю З ) |
||
I |
|
|
|
|
|
|
откуда |
|
- = / -г*-- |
|
|
||
|
|
|
(104) |
|||
|
|
|
|
|
|
|
Заметим, что Хг должно быть отрицательным, в противном |
||||||
случае интеграл (103) не существует. |
|
|
|
|||
Подставим |
(102) |
и (104) |
в (99). |
|
|
|
|
-j-so |
|
|
оо |
|
|
з2 = j* х~р (л*)dx — 2 |
j* jcV*** dx — |
следовательно,
1
Х2 —
2а2
'И
. А ~ Г | / 2 *а2 •
Подставляя найденные величины в (102), получим
р ( х ) —
1 |
р |
2аа . |
(105) |
у2тса2
Последнее выражение определяет гауссовский закон распре деления вероятностей. Значит, при заданной средней мощности максимальной энтропией обладает гауссовское рарпределение ве роятностей. Энтропия в данном случае определится как
со |
|
|
|
|
|
h = j* р {х) \ п У 2тга2 d x |
-)■ |
|
|
|
|
- СО |
|
|
|
|
|
= |
In У 2тсз2 -J- - i - . |
|
|
(Ю 6) |
|
поскольку |
|
|
х 2 |
|
|
Inр (х) |
== — In |/ |
2из2 |
|
||
2 |
а2 |
|
|||
|
|
|
|
||
или |
|
е — In У |
______ |
|
|
/г = In У" |
2тга2 - ( - In У |
2кев2 . |
(107) |
||
При использовании формул (106) и (107) следует помнить, что энтропия здесь имеет размерность в натуральных, а не в двоичных единицах.
§17. ЭНТРОПИЯ СЛУЧАЙНОГО шума
ИЭНТРОПИЙНАЯ МОЩНОСТЬ
Покажем, что при любых Fr и Т среди сигналов заданной средней мощности наибольшей энтропией обладает случайный шум.
Дадим определение случайного шума и сформулируем его ос новные свойства. Случайный шум есть идеализированное пред ставление возмущений, имеющих место в современных каналах связи и обусловленных атомистическим строением материи и элек тричества. Случайный шум является случайной функцией времени и частоты. Мгновенное значение случайного шума в некоторый
74
момент времени случайно, т. е. не может быть предсказано зара нее. Однако в среднем за достаточно.длительное время квадратич ный эффект случайного шума является величиной постоянной, которая может быть точно определена.
Основными свойствами случайного шума являются:
1. Распределение вероятностей для мгновенных значений как функций времени подчиняется нормальному закону, то
есть/вероятность того, |
что мгновенное значение иш в неко |
|
торый момент времени |
заключено |
между иш и иш+ dum |
равна |
|
|
|
- |
А |
Р (иш) dum= |
1 |
2 з2 |
- j ~ = - е |
ш dum, |
|
|
У 2 1ИШ2 |
|
где аш 2 = ишг — среднеквадратичное значение шума, пропор циональное средней мощности.
Если случайный шум порождается системой с шириной по лосы частот дЕ и имеет длительность Т, то распределение вероятностей мгновенных значений шума в точках отсчета также подчиняется нормальному закону.
2. В случайном шуме, при 27’д/г ^>1 взаимные связи ме жду его значениями в различных точках отсчета отсутствуют.
3. Спектр случайного шума равномерен, начиная с нуле-
. вой частоты.
Кроме случайного шума, в практике приходится сталкиваться также с некоторыми специальными видами шумов. Основными из них являются белый и гауссовский шумы.
Белым шумом называется шум с равномерным частотным спектром, мгновенные значения которого подчиняются произволь ному закону распределения вероятностей. Примером может слу жить тепловой шум активных сопротивлений. Таким образом, слу чайный шум является белым, однако не всякий белый шум явля ется случайным.
Если случайный шум пропускается через линейную систему, об ладающую избирательными свойствами по спектру, то он сохра няет все свои свойства за исключением того, что его спектр ста новится неравномерным (произвольным) и не обязательно начи нается с нулевой частоты. Такой шум называется гауссовским.
Таким образом, случайный шум является гауссовским, но не всякий гауссовский шум является случайным. Следовательно, слу чайный шум есть белый гауссовский шум со спектром, начинаю щимся с нулевой частоты.
Возвращаясь к вопросу об энтропии случайного шума, отме тим следующее:
— как было установлено ранее, при заданной средней мощно сти наибольшей энтропией обладает ансамбль функций, значения
75
которых в точках отсчета распределены по гауссовскому (нор мальному) закону;
— любую функцию, удовлетворяющую условиям теоремы Ко тельникова, можно представить ее значениями в точках отсчета. В этом случае энтропию ансамбля можно представить как энтро пию сложного события при числе составляющих событий, равном числу точек отсчета.'
Согласно теории дискретных сообщений, энтропия сложного события равна
Н(а, р,. . . ) < Я ( а ) + Я ( Р ) + . . .
причем равенство имеет место лишь при независимости а, р . .. и
т. д. |
, |
. |
Следовательно, |
максимальной энтропией при заданных Fr, Т |
|
и средней мощности обладает ансамбль сигналов, для которых связи между значениями в различных точках отсчета отсутствуют, а распределение вероятностей значений в каждой точке отсчета нормальное. ■
Этим требованиям удовлетворяет лишь ансамбль сигналов, имеющий характеристики случайного шума.
В каждой точке отсчета случайный шум обладает нормальным распределением вероятностей, следовательно, в соответствии с (107) энтропия шума в одной точке отсчета
h = In V 2кеаш2 .
Обозначим зш 2 = N — средняя мощность случайного шума. По скольку для случайного шума энтропии в отдельных точках от счета обладают свойством аддитивности, можно записать энтро пию случайного шума в виде
H = 2TFr In V 2~eN = TFrIn (2neN)\ |
(108) |
Соответственно, энтропия случайного шума в единицу времени определится как
Ht = 2Frh = Fr In (2neN) |
(109) |
С помощью выражений (108) и (109) можно ввести понятие энтропийной мощности ансамбля.
Энтропийной мощностью N ансамбля называется средняя мощ ность случайного шума, который, имея ту же длительность и ши рину спектра, обладает такой же, как и данный ансамбль, энтро пией.
Таким образом, если в данном ансамбле энтропия на степень свободы составляет h, то энтропийная мощность такого ансамбля
JEt
N |
1 |
е2Ь |
1 |
е Гг |
(П 0 > |
|
2ке |
2хе |
|||||
|
|
|
|
76
Поскольку среди всех ансамблей заданной средней мощности наибольшем энтропией обладает случайный шум, то энтропийная мощность всякого другого ансамбля (сигналов или шумов) мень ше его фактической средней мощности. Энтропийная мощность случайного шума равна его средней мощности.
§ 18. ЭНТРОПИЯ СУММЫ ДВУХ АНСАМБЛЕЙ
При линейном сложении двух независимых ансамблей функ ций получается новый ансамбль. Причем энтропия результирую щего ансамбля оказывается больше или в крайнем случае равной сумме энтропий составляющих ансамбль. Это объясняется, повидимому, тем, что в результирующем ансамбле ослабляются ста тистические .связи, а распределение вероятностей в точках отсчета в соответствии с теоремой о. суперпозиции большого числа неза висимых случайных распределений стремится к нормальному. По этому можно записать
M + /V2 < /V a, |
(1 1 1 ) |
где N 1, N2, Nз — энтропийные мощности (исходных и результирую щего ансамблей.
С другой стороны, если средние мощности исходных ансамблей
равны N\ и N2 , то оказывается |
|
N x + N i > N z . |
(1 1 2 ) |
Строгое доказательство неравенств (111) и (112) в настоящее время отсутствует. Тем не менее они считаются справедливыми и широко используются при доказательстве фундаментальных поло жений теории непрерывных сообщений.
§19. И Н Ф О Р М А Ц И Я
Согласно выводам теории дискретных сообщений, информация, ’переданная по каналу связи, если переданный символ был g, а принятый /, составляет
I , |
, |
РЛё) |
l g->i — 10S |
р (g-) |
Заменим g на х, а / на у. Тогда по аналогии можно записать
ix~y = Hm log |
Р у ( * ) A * |
= log |
Р у ( * ) |
(113) |
|
р (х) кх |
р{х) |
||||
дл'-j-O |
|
|
77
где р ( х ) \ х — априорная вероятность того, |
что значение |
пере |
|||||||||
|
|
данного |
сигнала |
(по |
степени |
свободы |
х) заклю |
||||
ру (л*) Да* |
чено между х и х + Да'. |
что значение |
пере |
||||||||
— условная |
вероятность |
того, |
|||||||||
|
|
данного |
сигнала |
(по |
степени |
свободы |
х) |
лежит |
|||
|
|
между х и х + Да' после приема сигнала у. |
|
||||||||
Если переданный сигнал содержит п точек отсчета и имеет в |
|||||||||||
них значения Хь х2, . . . , |
хп, |
а принятый у\, у2.........уп, |
то инфор |
||||||||
мация в данном сигнале |
|
|
|
|
|
|
|
||||
Av„.va, . . . -V |
•у., |
у», • • |
» = |
log |
Pi'l. Уа, |
у „ {х{х.,, |
1 -*-п) |
(114) |
|||
х», |
|||||||||||
|
'11 |
ь |
|
Р (л-„ |
1 |
|
|
||||
|
|
|
|
|
|
|
|
• -^п) |
|
|
|
Для перехода от информации, содержащейся в данном значе нии сигнала в точке отсчета (по одной степени свободы), к сред ней информации на одну точку отсчета необходимо умножить пра вую часть (113) на априорную вероятность того, что переданное значение в точке отсчета будет лежать между х и х 4 - dx, а при нятое — между у и у + cly, и просуммировать полученный резуль тат по всем значениям х и у.
|
|
р ч {х) |
|
|
|
ЯР {х, У) log - |
~ d x d y . |
||
Или, так как |
|
|
|
|
то |
Р (ху) = р у (х ) Р (У) = р х {у) Р {х), |
|||
|
dx dy ~ JJр ^ |
logP(y)dxdy = |
||
1 = Ир ^ ]ogPx ^ |
||||
= |
j j Р (ху) logpx (у) dx dy — J logp (у ) [j“p {xy) dx ] dy — |
|||
= |
( [J Px(y) logp^r (y) dy ] p{x) dx — J |
(y) logp (y) dy |
||
и |
|
|
|
|
|
i = |
h(y) — hx {y). |
(115) |
|
Здесь |
h{y) — энтропия на одну точку отсчета (на одну сте |
|||
|
пень свободы) сигнала на выходе канала; |
|||
|
hx (у) — условная энтропия |
на |
одну точку отсчеуа на |
|
выходе канала.
При выводе (115) нами использована известная формула тео рии вероятностиI
I Р (ХУ) d x — p (у).
78
Величина условной энтропии |
' |
|
ЛЛ00 = — J [J>.v (у) logP.v(У) dy ] р (х) dx. |
(116) |
|
дает среднее по ансамблю (по всем возможным х для одной точки отсчета) значение интеграла
-J/My)logAr(y)rfy-
ипоскольку рх (у ) характеризует детальные шумовые свойства канала,, то Нх {у) характеризует общий эффект действия шумов.
Если шум, описываемый функцией рх {у), не зависит от сигнада и складывается с ним линейно, и если принимаемый сигнал нор
мирован* относительно входного, то рх (у) |
не зависит ни от х. ни |
||
от у, а зависит только от их комбинации |
(у — х). |
В этом случае |
|
можно записать: |
|
|
|
’ |
( у - * ) = * ; |
|
|
: v |
■ /?л (У) = <Р(г); |
|
|
• § Рх (у) logрл (у) dy = J? (2 ) log <p(z)n!z = |
const. |
||
Тогда |
|
|
|
М У ).= — f?(*)log«p (г) dz f р {х) dx — - |
Г рх (у) log рх (у) dz, |
||
где рх {у) — есть |
функция распределения' |
|
(117) |
вероятности того, что |
|||
шум имеет значение' { у — х).
Следовательно, в данно'м случае hx {у) есть энтропия собствен но шума.
§ 20. СКОРОСТЬ ПЕРЕДАЧИ ИНФОРМАЦИИ И ПРОПУСКНАЯ СПОСОБНОСТЬ КАНАЛА
1 . Сигналы с ограниченной средней мощностью
П ри с л у ч а й н о м шуме . Если канал подвержен дейст вию случайного шума- и если шум складывается с сигналом ли нейно, то согласно (108). .при сигнале длительности Т и полосы Fr имеем для энтропии шума
Нх (у) = TFTIn 2 тсeN.
* Под нормировкой понимается выравнивание масштабов измерения вход ного и выходного сигналов. Так, если сигнал пропускается через усилитель с коэффициентом усиления k, То нормировка состоит в том, что единица измере
ния выходного сигнала полагается в k раз большей чем входного.
79