книги из ГПНТБ / Гойхман Э.Ш. Основы теории передачи информации в автоматизированных системах управления

Первый член равен нулю, так как logl=0.

Остальные члены также обращаются в нуль, поскольку

limplogp—0. /7-*0

4.Энтропия системы максимальна в случае равновероятност

событий, т. е. в случае, когда Pi=p? = ••■=PN— (приводится

без доказательства).

Рассмотрим, как меняется энтропия конечной системы из двух событий при распределении их вероятностен (Р и Q).

Учитывая, что P + Q = l, получим

H = — [P\ogP+(\ —Р) log(l —Р)}.

Как видно из графика, энтропия максимальна в случае рав­ ных вероятностей и равна нулю, когда одна из вероятностей равна единице.

П р и м е р 3.4. Рассчитать в рассмотренном ранее примере (3.3) значения энтропии для двух случаев: неравновероятпого и равно­ вероятного появления цели в различных секторах.

50

3.3.2.Энтропия объединенных систем

а) Объединение независимых систем

Пусть имеютея две независимые конечные системы событий

Zi,■— сложное событие новой объединенной системы Z—ХУ, которое заключается в том, что одновременно в системе X на­ ступает i-тое событие, а в системе К—/-тое событие. Здесь

Вероятность события Zy обозначим через p(xiyj). Тогда эн­ тропия совместной системы событий Z — X Y равна

Здесь каждое г-тое событие системы X комбинируется со всеми событиями системы К. Поскольку события систем X и У неза­ висимы, то

P^iyj)=p{xi)p{yj).

51

I огл,a

//(A'KJ= - ^ p ( X i ) p ( y j ) \ \ o g p ( X i ) + log/4y;.)| = u

Это выражение может быть обобщено па любое число незави­ симых систем.

Таким образом, при объединении независимых систем энтропия объединенной системы равна сумме энтропии каждой из входящих в нее систем.

Для определения энтропии объединенной системы, состоящей из зависимых систем, приходится вводить понятие условной эн­ тропии.

б) Условная энтропия

Рассмотрим объединенную систему, состоящую из двух в об­ щем случае зависимых систем X и Y. Пусть система X может при­ нимать m дискретных состояний, а система Y — п таких состояний Из-за наличия зависимости между системами при расчете средней неопределенности состояний одной системы следует при­ нимать во внимание состояние другой. Вначале определим энтро­

52

Для того, чтобы определить полную (обычно слово „полная" для сокращения опускают) условную энтропию системы Л' отно­ сительно системы Y, обозначаемую через H(XjY), необходимо величину H(xiyj) усреднить по всем возможным состояниям си­ стемы 'Y. Для этого каждое значение частной условной энтро­ пии нужно умножить на безусловную вероятность соответствую­ щего состояния системы Y и все полученные произведения сло­ жить:

/ f(X IY )= p (yl)H(x/y1)+p(y2)H(x:y2)-\ ... \-p(ym)/f{xlym) ^

Подставив в (3.8,а) значения /У(х'уД, получим

Учитывая, что по теореме умножения вероятно ей

у(уу)у(х/Ду)=у(х,,_уу),

выражение (3.9) можно также записать в виде

тп

Н(Х K)= - V Vy(x,-,yj)log/?(x, /y )=

- j —j <=■Ю' 1

причем

£/?(*/, yj)= 1-

Энтропия H\XjY) называется условной энтропией системы X относительно Y и характеризует степень неопределенности си­ стемы X после того, как состояние системы Y полностью опре­

делилось.

Пели системiii А'и Y независимы, то положив в (3.9) p(xi ;yJ}^= ~p(Xi) и учитывая, что У p(\'j) —Y получим

53

Чем больше зависимость между системами X ц Y, тем мень­ ше Н(Х Y). Наконец, если состояние одной из них (например Г) полностью определяет состояние другой (А''), то fi(XjY) = 0.

Это можно получить из (3.9), учитывая, что в данном случае

0 при i Ф j,

p(xi iyj)

1 при i—j.

При этом все входящие в выражение (3.9) для H(XjY) част­ ные условные энтропии обращаются в нуль и, следовательно,

H(X!Y)= 0.

Рассмотренные предельные случаи зависимости систем иллю­ стрируют следующее приводимое нами без доказательства поло­ жение: условная энтропия не может превосходить безусловную, т. е.

H{XiY)-"Ji{.X).

Смысл этого положения очевиден: от того, что становится из­ вестным состояние системы Y, степень неопределенности завися­ щей от нее системы X может только уменьшаться.

Следует, однако, указать, что частные условные энтропии мо­ гут быть как меньше, так и больше безусловной.

Г1 р и м е р 3.5. По каналу связи передаются сообщения a'i и х2. В случае правильного приема переданному сообщению лд соответ­ ствует у\, а сообщению х2 соответствует у2. Из-за наличия в канале связи помех возможны случаи, когда вместо у i будет приниматься у2 и наоборот.

Вероятности приема сообщений у\ и у2 равны

р(ух) - 0,4

Р(Уг)=0,6.

Соответствующие условные вероятности, характеризующие статистические связи между передаваемыми и принятыми сообще­ ниями, равны

/X-H/.Vi)“ 0>55; р(х21у1)=0,А5] p(xL!y2)=0.2; р(х.,1у2) = 0,8.

Определить частные и полную условные энтропии, а также безусловные энтропии Н(Х) и Я (У)-

Р е ш е н и е

Воспользуемся выражениями (3.8) и (3.8,а). Частные условные энтропии равны

H{x:y1) = - p ( x l!yl)\og2p(xl/y1) - p ( x 1ly1)\ogip(x2lyl)=

= -0,55 log20,55 —0,45 log20,45 0,99 Д Ц * ;

54

H(xly.2) = - p ( x ly.2)\og2p(xl,!y2) - p ( x 2'y.J\og2p(x2iy2)--

дв. ед.

=- 0 >21ogJ0.2-0,81ogt018=0,72- сообщ.

Полная условная энтропия равна

H(XIY)=p(yl)H(x/yi) +р{у2)Н{х'у2)= 0,83

Условная энтропия Н(Х Y) характеризует среднюю неопреде­ ленность в отношении того, какое сообщение фактически переда­ но, остающуюся после того, как станет известным, какое сообще­

P{xi)=P(yi)p(xiiyi)+P(yt)P(Xily.).

получим

Р(хi) = 0.34; /4^2)=l-/4^i')=0,06.

Тогда

/7(Af)=0,93 дв. ед.

сообщ.

Как н следовало ожидать, полная условная энтропия /ИХ }')

оказалась меньше безусловной Н{Х). Однако частная условная энтропия H(xjyl) превысила ЩХ).

в) Энтропия обьеОинсния двух зависимых систем

Энтропия объединенном системы может быть представлена в виде

55

Отсюда, учитывая (3.4),(3.9) и принимая но внимание, что

X /'(У/ '-*<)= •■ j

В соответствии с (3.12) и (3.13) можно считать доказанным следующее положение.

При объединении двух зависимых систем энтропия объединен­ ной систем!.! равна энтропии одной из входящих в ее состав си­ стем плюс условная энтропия втором системы относительно пер­ вой. Энтропия объединенном системы не может превышать суммы энтропий входящих в псе систем.

П р и м е р 3.6.- Для условий примера 3.5 вычислить энтропию объединенной системы XYч

г

Р е ш е н и е

Всоответствии с (3.13)

Н(Х, У)=Н( Г)+Н(X/ У) - 0,96-1- 0,83= 1 , 7 9 ^ g - -

Это меньше, чем

3.33. Энтропия и информация

Пусть рассматриваемая нами конечная система находится в од­ ном из возможных состояний. Сообщение, достоверно выясняющее это состояние и полностью снимающее существующую ранее неоп­ ределенность, содержит количество информации

Ixi= -'ogPi,

где /;( — вероятность пребывания системы в/-том состоянии. Эточаст­

ная информация, содержащаяся в отдельном сообщении. Посколь­ ку возможные состояния системы обладают в общем случае раз­ личными вероятностями, количества информации, содержащиеся в разных сообщениях, неодинаковы. Очевидно, что информационную содержательность сообщений для системы будеу характеризовать среднее количество информации (I х), приходящееся на одно сооб­ щение; оно равно математическому ожиданию величины / , т. е.

56

Это совпадает с выражением для энтропии источника сообщений Н(Х). Следовательно, энтропия системы равна математическому ожиданию количеств информации, содержащихся в абсолютно до­ стоверных сообщениях о всех возможных состояниях этой системы. Однако между Н(Х) и имеется принципиальная разница. Эн­ тропия, характеризующая среднюю неопределенность состояния си­ стемы, является свойством самой системы (или источника сообще­ ний об этих состояниях) и, если .известна статистика сообщений, может быть вычислена априорно, т. е. до получения сообщений.

Так, например, зная статистику появления отдельных букв и бук­ венных сочетаний, можно заранее вычислить энтропию русского алфавита.

Величина же 1х определяется апостериорно (послеопытно), т. е. после получения сообщений. Равенство (3.14) справедливо лишь в случае приема достоверных сообщений.

Более общим является случай, когда принятые сообщения по какой-либо причине (например, благодаря влиянию помех) не аб­ солютно достоверны и поэтому лишь частично снимают неопреде­ ленность, имевшуюся до их получения. В этом случае будем рас­ сматривать две конечные системы: систему передаваемых сооб­ щений (X) и систему принятых сообщений (Y).

Пусть вероятность того, что принятому у-тому сообщению

/(ля того чтобы получить среднее количество информации, при­ ходящееся на одно сообщение (/v), необходимо выражение (3.15) усреднить по всем возможным i и у. В результате усреднения получим

Отсюда следует, что среднее количество информации, приходя­ щееся на одно сообщение, равно разности безусловной энтропии Н(X), характеризующей начальную (априорную) неопределенность, и условной энтропии H(XjY), характеризующей остаточную (апо­ стериорную) неопределенность, т. с. в общем случае полученная информация равна уменьшению энтропии. В частном случае пере­ дачи'достоверных сообщений условная энтропия равна нулю и принятая информация полностью снимает начальную неопределен­ ность 1х = Н (Х )—0= Н(Х), т. е.. как указывалось ранее, в случае достоверных сообщений среднее количество информации, приходя­ щееся на одно сообщение, равйо энтропии источника сообщений.

?7

В соответствии с (3.16) I х может рассматриваться как количество инфор­ мации о системе X, получаемое в результате полного выяснения состояния си­ стемы Y.

С другой стороны, в соответствии с (3.17) 1 х может рассматриваться как количество информации о системе Y, содержащееся в системе X.

Из сопоставления (3.16) и (3.17) следует, что система X содержит столько же информации о системе Y, сколько последняя о системе X.

П р и м е р 3.7. С помощью радиолокационной станции определяются плос­ костные координаты цели. Точность определения координат составляет по ази­

от радиолокационной станции, равновероятно. Требуется определить количество информации, которое дает радиолокационная станция при отсутствии и при на­ личии помех.

Полагая появление цели в любой из ячеек равновероятным, получим, что коли­ чество информации, содержащееся в со­ общении о появлении цели в любой ячейке (которое в случае равновероятности со­ общений совпадает со средним количест­ вом информации, приходящимся на одно сообщение, и энтропией), равно

IX=H (}0 = log2yV=16 дв. ед.

сообщ

Рис. 3.3

б) При наличии помех для подсчета информации необходимо знать, какую неопределенность в измерении координат цели создают помехи. Предположим, что после получения информации от радиолокационной станции распределение, вероятностей нахождения цели в различных ячейках характеризуется следующей схемой (рис. 3.3).

Тогда неопределенность местоположения цели определится как условная эн­ тропия:

58

Среднее количество информации, содержащееся в одном сообщении., по­

нее количество информации, содержащееся в сообщении как при отсутствии, так и при наличии помех.

Р е ш е н и е

Применим рассмотренные выше понятия к передаче информа­ ции по каналам связи. Все сообщения, поступающие от источника, передаются в виде определенных сочетаний отдельных символов (элементарных сообщений). Такими символами могут быть, напри­ мер, буквы алфавита определенного языка, цифры и др.

Набор всех возможных символов данного источника называет­ ся его алфавитом. Речь может идти и об алфавите канальных сим­ волов; такими символами при передаче двоичных сигналов могут быть, например, положительные и отрицательные посылки, соот­ ветствующие передаче символов «1» и «0».

Понятие энтропии позволяет определить, какое количество ин­ формации несет в среднем каждое вырабатываемое источником элементарное сообщение (например, буква) или каждый каналь­ ный символ и оцепить, достаточно ли экономно используется при этом канал связи.

Рассмотрим в качестве -примера имеющий большое практиче­ ское значение случай, когда передаваемые от источника сообщения представляют собой сочетания букв, образующих текст определен­ ного содержания.

Энтропия источника сообщений максимальна (и, следователь­ но, он вырабатывает максимальное количество информации в сред­ нем на один символ), когда все символы данного алфавита равно­ вероятны и независимы.

В реальных языках эти условия.не соблюдаются по следующим

причинам:

1. Различные буквы встречаются с различной вероятностью (рис. 3.4). Последнее приводит к заметному уменьшению энтропии.

Так, если бы все 32 буквы русского алфавита были бы равно­ вероятны, то энтропия составляла бы

.. дв. ед.

#макс=1°£з32==5 буква '

59