книги из ГПНТБ / Вулконский Б.М. Теория автоматического управления учебное пособие
.pdfГ л а ва\ I
ПЕРЕДАЧА ДИСКРЕТНЫХ СООБЩЕНИЙ ПО КАНАЛАМ СВЯЗИ
§ 1. ЭНТРОПИЯ и ИНФОРМАЦИЯ
Теория информации рассматривает ситуацию с т возможными исходами. Эта начальная ситуация характеризуется некоторой неопределенностью, степень которой зависит от того, насколько точно может быть предсказан тот или иной исход до получения сообщения о действительном состоянии дел. Сообщение о дейст вительном состоянии дел уменьшает начальную неопределенность ситуации, если оно уменьшает число возможных1исходов, и пол ностью снимает имевшуюся неопределенность, если оно оставляет один единственный исход.
Информация есть тот объем сведений, который содержит со общение.
Количественно информацию естественно определить как меру уменьшения неопределенности, существовавшей в некоторой си туации, до того как было получено сообщение. В таком определе нии информация относится к неопределенности ситуации пример но так же, как разность потенциалов*к потенциалу электрического поля. Неопределенность является статистической характеристи кой ситуации (источника информации) и дает представление не о
/том, что несет в себе данное сообщение; а о том, что оно может нести.
Информация есть мера содержательности данного сообщения.
Iу
Вболее точном количественном определении, информация в
сообщении численно равна начальной неопределенности, если по следняя полностью снята этим сообщением, или же есть разность начальной и остаточной неопределенности, если после получения сообщения некоторая остаточная неопределенность относительно исхода ситуации все еще имеет место.
Таким образом, задача состоит в отыскании количественной меры неопределенности заданной ситуации или схемы исходов.
10 |
. |
/4|, |
Рассмотрим |
схему |
исходов |
а, в которой возможны |
исходы: |
|||
Аг, ■■■, |
А}, |
.. . , Ат. |
Исходы образуют |
полную группу собы |
||||
тий и являются независимыми и несовместными-!. |
|
|
||||||
... |
Обозначим вероятности исходов: Р(Л ,), |
Р(А2), ... PiAj), ... |
||||||
Р ( А т). |
Это означает, что |
в серии из G опытов |
со схемой а |
|||||
при достаточно большом числе G исход А} |
появится |
Nj = |
GP(j4j) |
|||||
раз, то есть |
|
|
|
|
|
|
|
|
|
|
|
|
Р(А |
= |
|
|
0 ) |
Рассмотрим новую схему исходов g, где в качестве исходов возьмем различные реализации серий из G опытов. Эти реализа ции отличаются одна от другой лишь распределением исходов
схемы а по номерам опытов, общее же число исходов N j в каж |
|
дой реализации |
(исходе схемы g) остается постоянным и опреде |
ляется формулой |
(1). По условию независимости исходов схемы а |
исходы схемы g равновероятны. |
|
^ Будем искать |
меру неопределенности схемы g как численную |
меру возможности предсказания некоторого исхода при общем числе М равновероятных исходов.
Мера неопределенности в этом случае есть функция числа М
H { g ) = f { M ) . |
(2) |
Для выбора функции f(M) предъявим к ней следующие тре бования:
1)при возрастании М эта функция должна возрастать, а при
М= 1 обращаться в нуль;
2)функция должна обладать свойством аддитивности для не зависимых схем исходов.
Оба эти требования хорошо согласуются с нашим обыденным представлением о неопределенности. Действительно, чем больше число возможных исходов (больше М), тем больше неопределен ность ситуации. При М =,1 исход вообще не является случайным, его появление предопределено заранее, и ситуация полностью определена. Неопределенность сложной ситуации, исход которой состоит в одновременной реализации исходов нескольких незави симых ситуаций, должна быть равна сумме неопределенностей составляющих ситуаций.
Можно показать, что единственной функцией аргумента М, которая удовлетворяет перечисленным требованиям, является
H(g) = k\ogM, |
(3) |
где k — некоторая постоянная.
Н \
Число исходов схемы g — М — есть общее число реализаций, которое можно получить, распределяя исходы схемы а случайным образом по номерам опытов серии G. Поскольку исход должен встречаться в серии /Vj раз, то общее число реализаций по фор муле перестановок
Подставляя значение М в формулу (3), получим
m
Н{ g) = * log G\ —- "У log TV! i=i
Если G и Л/j достаточно велики, то логарифма факториалов, на основании формулы Стирлинга, можно записать в виде:
log Q! |
Q (log Q — 1). |
( 6) |
||
Формула (6) дает, |
как известно, хорошее приближение |
для |
||
Q > 100. Таким образом, если |
G > 1 и |
1, то |
|
|
H{g) — k |б (log G' — 1) —^ |
jVj (log yVj— l)j |
(7 ) |
||
или, учитывая, что |
|
m |
|
|
|
|
|
( 8) |
|
4 |
|
J=1 |
|
|
|
|
|
||
получим |
|
|
|
|
tf(£ ) = |
£ |G lo g G — 3 > j log Л е |
(9) |
||
онова используя (8), |
имеем |
|
|
|
|
|
1,1 дг. |
л/. |
(10) |
H(g) = - k G ' 2 f g . l o g ^ - . |
||||
i=i
Подставляя (1) в (10), получим окончательно
Ш |
|
H{g) = - k G ^ P H j) log P И j) . |
(11) |
•j = i
Выражение (11) есть численная мера неопределенности каж дого исхода схемы g, и поскольку в схеме g все исходы равно вероятны, формула (11) может рассматриваться как мера неопре деленности схемы исходов g в целом.
12
Каждый исход схемы g состоит из G исходов схемы а. Следо вательно, разделив (11) на G, мы получим, неопределенность на один исход схемы а
1П |
(12) |
W W ^ - A V P ^ l o g P H j ) '. |
|
j=i |
|
Формула (12) дает численную меру неопределенности схемы, вероятности исходов которой различны.• Эта численная мера не определенности называется энтропией схемы исходов (источника информации). Следует заметить, что формула (12) есть средняя неопределенность на исход схемы а, и только в этом случае она характеризует неопределенность схемы в целом. Что касается не определенности, вносимой в схему каждым конкретным исходом,
то, как следует из |
(12), она равна — logP(/4j), т. е. зависит от |
|
вероятности данного |
исхода. |
то формула (12) прини |
Если исходы, схемы а равновероятны, |
||
мает вид формулы (3) |
|
|
|
Н (а) = — k log т. |
(13) |
В теории информации энтропию Я (а) |
принято рассматривать |
|
как безразмерную величину, а стало быть постоянная k есть от влеченное число.
Наиболее удобная система измерения энтропии основана на двоичных единицах.
Рассмотрим схему с т равновероятными исходами. Ра зобьем всю последовательность исходов на равные группы по т{2
исходов, затем |
каждую группу из т /2 исходов разделим на под |
группы по т /4 |
исходов и т. д. пока в каждой подгруппе не оста |
нется по одному исходу. Таким образом, нам удалось свести на чальную схему к п простым схемам, каждая из которых имеет всего два равновероятных исхода. В первой схеме решается вопрос, ка кая #з двух групп имеет место, во второй схеме — какая из двух подгрупп, в последней п-й схеме — какой из двух исходов.
По формуле (13) энтропия схемы с двумя равновероятными исходами равна —k\og2. Тогда, по условию независймости про стых двоичных схем можно записать Я (а) = — kn log 2.
Если принять в качестве единицы измерения энтропии энтро пию простейшей двоичной схемы равновероятных исходов, то по лучим
|
Н (а) = |
п = log2 т [двоичных единиц], |
(14) |
так как т = 2". |
|
|
|
|
Аналогично для общего случая — схемы с различными вероят |
||
ностями исходов |
га |
|
|
|
|
|
|
, |
4 Н (а) = |
^ Р (A) log2 Р (Aj) [дв. ед.] . |
(15) |
|
4 |
i=i |
|
13
В дальнейшем для сокращения записи мы будем опускать знак основания логарифма, имея в виду всюду логарифмы по ос нованию два.
Двоичная система единиц измерения энтропии нашла широкое применение в теории дискретных сообщений, однако она не явля ется единственной. В теории непрерывных сообщений, например, в ряде, случаев более удобной оказывается система единиц, ^ско ванная на натуральных логарифмах. Эти случаи будут замечены читателем, поскольку там будет( использоваться знак натураль ного логарифма.
Переход от одной системы единиц к другой сводится лишь к умножению энтропии на постоянный множитель (модуль пере хода), так как
log-, т — log-, е 1п т = 1,44 In т.
Возвращаясь к вопросу об информации в сообщении, мы те перь можем сказать, что если сообщение содержит сведения о каком-то исходе в заданной схеме исходов, то оно несет в себе количество информации, равное
i |
—log т [дв. ед.] |
|
(16) |
при схеме равновероятных исходов [формула |
(14)], |
или |
|
Ш |
|
|
|
* = — |
[дв- |
ел-]’ |
О?) |
j=i |
|
|
|
если исходы схемы не равновероятны.
Здесь необходимо отметить, что при одном и том же числе ис ходов (т) формула (16) всегда дает большее значение по срав нению с формулой (17). Это значит, что сообщение о реализации в схеме равновероятных событий содержит максимум информа ции. Так и должно быть, поскольку схема равновероятных исходов обладает максимальной начальной «неопределенностью (энтро пией).
Полученные результаты (14), (15), (16) и (17) относятся к случаю, когда сообщение полностью снимает начальную неопре деленность относительно исхода в схеме, т. е. к случаю, когда со общение содержит полную информацию о состоянии схемы, чи сленно равную энтропии схемы.
Перейдем к рассмотрению случая более общего и более близ кого к пра’ктике передачи сообщений, когда сообщение уменьшает начальную неопределенность схемы, но не снимает ее полностью. Информация в сообщении для этого случая, по определению, чи сленно равна уменьшению энтропии схемы после приема сооб щения.
Следуя принятой нами методике изложения, установим количест венную, меру уменьшения энтропии в результате приема сообщения.
14
Сформулируем постановку задачи. Дана схема с т возмож ными 'исходами. Вероятности отдельных исходов равны: Р{А\), P(A2) , . . . , P ( A - s) , . . . , P ( A m).
Над этой схемой а производятся опыты, однако непосредст |
||
венно фиксировать результаты опыта наблюдатель лишен воз |
||
можности. Результаты сообщает некто, кто может ошибаться. |
|
|
Исходы в схеме а.'по сообщению этого некто, образуют новую |
|
|
схему исходов р. Обозначим исходы схемы [3: |
В2,-■ |
|
Ви . . ., Вп. |
в схеме |
|
Поскольку после сообщения об исходе Ак (исход Вк |
|
|
■р) должна учитываться возможность ошибки, то есть возмож |
||
ность исходов с другими индексами Лк_ ь Лк+1 и т. д., то вероят |
||
ности исходов схемы (3 определяются по формуле полной вероят |
|
|
ности |
|
|
m |
(18) |
- |
Р ( Вк) = ^ Р ( А ^ Р ^ ( В к). |
||
j=i |
|
|
Спрашивается, на сколько уменьшилась энтропия схемы а после получения сообщения (после получения исхода в схеме |3)?
Как мы уже знаем, неопределенность некоторого исхода схе мы а может быть записана в виде
— logP(4j).
По аналогии, неопределенность этого же исхода после полу чения исхода Вк в схеме р можно представить как
— logPBk Hj).
Тогда уменьшение неопределенности исхода А.-} после получения исхода Вк
|
|
- l o g P H ^ + l o g /X H j) . |
(19) |
|
Усредним |
(19) по всем значениям / |
|
|
|
|
A |
ТП |
|
(20) |
|
^ = 2 P H j)(logPBkH j) - l o g P ^ j)) |
|||
Подставим |
в |
j=i |
|
|
(20) значение P{AS) по формуле полной вероят- |
||||
’ ности |
|
|
|
|
|
|
Я(Л:0 = 2 Р ( В к)Р вк (^ .), |
(21) |
|
I тогда |
|
к = 1 |
|
|
|
: |
|
|
|
ш -л |
|
|
ш |
|
л н = 2 2 |
р {Вк) Яв*(Л^ log Яв*{Ai) ~ |
2 я {Ai) 1о? я <л ^ = |
|
|
1=1 к= 1 |
|
]= 1 |
|
|
|
|
= Н (а) — Н$ (а) [дв. |
ед.]. |
(22) |
15
Выражение (22) есть среднее уменьшение энтропии схемы ц после получения исхода в схеме [3, усредненное по всем исходам
схемы (3. |
|
(22), равное |
|
|
Второе слагаемое формулы |
|
|||
|
n |
m |
|
|
Нр (а) = - |
(5к) 2 P“k W |
l°Z £ 4 H j) , |
(23) |
|
|
k = l ' |
j= l |
|
|
носит название условной энтропии схемы |
а. |
зависимость |
||
Условная энтропия |
Яр(а) |
отражает |
взаимную |
|
схем а и (3. Если схемы полностью зависимы, т. е. исход |3 пол ностью определяет исход а, то
Н? («) = о, |
|
(24) |
|
так как |
|
|
|
ЯвкИ ;) = |
1 при k = j\ |
|
|
^Bk(^j) = |
0 при |
k ф ] . |
|
Если схемы полностью независимы, т. е. исход |
(3 не зависит |
||
от исхода а, то |
|
|
|
tfp(a) = - 2 m ) l o g P ( A |
j ) = tf(« J, |
(25) |
|
j = i |
|
|
|
так как |
|
|
|
Рч (Аь) = Р(А$
и
2 ^ ( 5 k) = i .
к= 1 |
« |
Границы изменения условной энтропии свидетельствуют о том, что исход в схеме (3 может лишь уменьшить неопределенность схе мы а, при условии их зависимости, но никак не может ее увели чить.
Условная энтропия характеризует остаточную неопределен ность схемы исходов после получения сообщения. '
Информация в таком сообщении, согласно (22), численно равна
|
|
ш |
п |
|
т |
|
• |
г‘= |
- 2 ^ |
( л ^ 1ое /э (л 1 ) + 2 |
Я (5к)2 Явк(^ )1о&Рвк(л ^ |
1дв- ед-ь |
|
|
i=l |
k=l. |
j=l |
|
||
|
|
|
' |
|
• |
(26) |
16
Если исходы схем а и (5 равновероятны, а сообщение просто уменьшает число возможных исходов в схеме а, то есть число ис ходов схемы р меньше числа исходов схемы а, то
Ш
— V Р (Лл) log Р (i4j) = log т ;
|
и |
j=i |
m, |
|
|
|
|
|
|
|
|
||
|
- V |
р (Вк) ^ Рвк Hj) log Явк H j) = log ти |
|
|||
|
k=l |
|
j=l |
|
|
|
поскольку |
сообщение |
из т последовательности исходов схемы а |
||||
в качестве |
возможных |
оставляет только т.\ исходов. |
Тогда фор |
|||
мула (26) |
принимает вид |
|
|
|
||
|
|
i = |
log- т ~ log /га, |
[дв. |
ед.]. . . |
(27) |
Зависимости |
(22), |
(23), (26) и |
(27) |
являются более общими |
||
по сравнению с (14), (15), (16) и (17), так как последние выте кают из первых как частный случай.
Итак, мы рассмотрели вопросы, относящиеся к количествен ному определению меры информации. В заключение необходимо сделать некоторые замечания, чтобы показать пределы примени мости введенного определения.
Прежде всего, общее замечание вытекает непосредственно из определения информации как меры уменьшения начальной не определенности ситуации.
Любое ограничение, любое дополнительное условие, наклады ваемое на свободу выбора в начальной ситуации, уменьшает ее энтропию, а следовательно, ведет к уменьшению информации в сообщении.
Так, при' неодинаковых вероятностях 'исходов в схеме дейст вуют вероятностные ограничения, в силу которых одни исходы будут появляться чаще, другие — реже. По сравнению со схемой равновероятных событий состояние этой схемы может быть пред сказано точнее. Энтропия этой схемы меньше, и сообщение о не
котором исходе в ней несет меньше информации. |
, |
Вероятностные ограничения — не единственный |
вид ограниче |
ний, накладываемых на свободу выбора исходов в начальной си туации. Как мы увидим ниже, существуют и другие типы ограни чений, однако, независимо от их характера все они приводят к уменьшению информации в сообщении, так как сами по себе уже содержат некоторую предварительную информацию о состоянии схемы.
Введенное определение информации — определение статисти ческое. Оно весьма строго и практически полезно. Однако.чтобы его сделать, пришлось полностью игнорировать смысловую сто
рону информации, субъективную человеческую оценку 'ее. Так,
---------
17
если в качестве исходов рассматривать появление букв с их ве роятностями в осмысленном печатном тексте, то фраза в 100 букв из газетной хроники и из теоремы Эйнштейна имеют в точности одинаковое количество информации, хотя субъективная ценность информации в этих выборках текста бесспорно различна.
Определение не делает разницы между полезной и бесполез ной информацией. Оно основано исключительно на редкости. Если исход встречается редко, сообщение о нем содержит информа цию. Понятие ценности информации является субъективным и от носится не к передаче информации, а к возможности использова ния ее адресатом.
Далее, в соответствии с введенным определением, информация всегда положительна. С другой стороны, ценность информации в известных случаях должна считаться отрицательной. Если бы, например, изложение этого параграфа мы закончили словами: «Все, что было ранее сказано, не верно», то либо эта фраза долж на содержать отрицательную информацию, количественно рав ную всей предшествующей, либо предшествующая имела отри цательную ценность.
Затронутые проблемы выходят за рамки существующей в на стоящее время теории и ясно показывают ограниченность введен ного определения информации. Тем не менее это определение имеет большую практическую ценность. Оно в точности соответ ствует задаче инженера, проектирующего канал связи, — обеспе чить передачу всей информации, содержащейся в сообщении, в кратчайшее время, вне зависимости от ее ценности для адресата.
П р и м е р ы :
1. В аппаратуре управления возможен и равновероятен выход из строя двух элементов 4! н Л2.
Сколько информации содержится в сообщении о том, что вы шел из строя элемент А х?
Р е ш е н и е : / = log m; m = 2; i = log 2 = 1 дв. ед.
2. В радиолинии командного телеуправления возможна пере
дача |
следующих |
команд: по курсу — «вправо», «влево»; |
по тан |
|
гаж у— «вверх», |
«вниз». Каждая из |
команд имеет четыре града |
||
ции: |
0, 1, 2, 3. Команда передается |
на ракету указанием |
стороны |
|
и величины отклонения, например: <«Ьверх 2», «вправо 0». Направ ление команды на борту ракеты определяется частотным дискри^
минатором, величина — амплитудным |
дискриминатором. Все |
командные комбинации равновероятны. |
, |
Определить: |
—количество информации в команде линии телеуправления;
—потерю информации, если вышел из строя амплитудный
дискриминатор |
курса. |
а. |
|
Р е ш е н и е , |
i — log т. |
|
|
Общее число |
возможных командных |
комбинаций пг — 64 и |
|
i — log 64 = 6 дв. |
ед. |
|
|
18
Выход из строя амплитудного дискриминатора курса приводит к тому, что после получения команды остается еще четыре воз можности относительно градации команды по курсу т[ = 4.
Информация ^ команде для этого случая:
i — log т — log от,;
/ = log64 — log4 = 4 дв. ед.
Потеря .информации составляет 2 дв. ед.
3.Для условий примера 2 определить количество информаци
вкоманде линии телеуправления, если имеют место следующие вероятности появления градаций команд:
вероятность градации 0 — Р(0) |
= |
0,4; |
||||
вероятность |
градации |
1 |
— |
Р(1) |
= |
0,3; |
вероятность |
градации |
2 |
— |
Р(2) |
=0,2; |
|
вероятность градации 3 — Р{3) |
=0,1; |
|||||
|
Р е ш е н и е : |
|
га |
|
i=i |
, |
Каждая командная комбинация состоит из указания одного |
из |
четырех квадрантов координатной плоскости управления: |
«вправо—вверх», «влево—вверх»., «вправо—вниз», «влево—вниз»,
исочетания градаций по курсу и тангажу. Направление команды
иградации события независимые, поэтому вероятность команд ной комбинации
где |
Р^„ = 0,25— вероятность |
квадранта; |
по курсу |
и тангажу, |
||
|
Л-ь, Ргт— вероятность |
градации |
||||
|
Составим |
соответственно. |
|
|
||
|
таблицу Р(А^ |
с учетом возможных комбинаций в |
||||
одном квадранте (табл. 1). |
|
|
|
|
||
|
|
Т а б л и ц а 1 |
|
|
||
|
t |
0 |
|
1 |
2 |
3 |
|
0 |
0,04 |
0,0225 |
|
|
|
|
1 |
0,03 |
0,01 |
|
||
|
2 |
0,02 |
0,015 |
0,0025 |
||
|
3 |
0,01 |
0,0075 |
0,005 |
||
19