книги из ГПНТБ / Бовбель, Е. И. Элементы теории информации

Подставляя сюда значения Р( хі, у/.) из табл. 2, получа­ ем табл. 3 точных неопределенностей Н(хі, у/):

Среднее количество неопределенности в любом сов­ местном наступлении событий x t и у/ равно, по опреде- ' леншо среднего значения, сумме произведений значений ’случайной величины Н(хі, у /) па вероятность этого зна­

чения:

в том или ином совместном наступлении события (хи У]) давались табл. 3, усреднением мы равномерно «размаза­ ли» эти разные количества неопределенностей по всем .со­ бытиям (xit У/), приписав каждому среднее количество

Найдем теперь точные значения неопределенностей в наступлении события уу при известном исходе некоторо­ го другого события х і . Для этого необходимо7 знать ус­ ловные вероятности Р(У]ІХі ) } а затем воспользоваться формулой

Н (У]Іхі) = — log P(yj,!XiX

2Д)

Наконец, по формуле умножения вероятностей вычис­ лим

Р(УіІХі) = Я'(лѵ, У ] ) / Р ( хі).

Из табл. 5 видно, что наибольшей неопределенностью исхода обладает событие tj2 при любом известном собы­

тии xt. При каждом заданном xi H ( y j / x i) является слу­ чайной величиной, значения которой появляются с веро­ ятностями P(yjlXi). Поэтому среднее значение H(yjj х() при заданном хі

Эти результаты образуют случайную величину, значения которой наступают с вероятностями Р(х.і). Поэтому только среднее H(Ylxi ), усредненное с весом Р(хі), не случайно, а именно:

Н ( У / Х )=% Н ( У / х 0 Р ( хс) =

/= I

личиной H(yjfxi). Среднее количество неопределенности в любом из yj при заданном хі определяется величиной H(Yjxi). Количество же неопределенности в среднем в

21

любом из yj при любом заданном x t — //(К Д ). Други­

q = 1—р. При каком р результат испытания обладает наи­ большей неопределенностью?

О т в е т : р = 0 ,5 , так как в этом случае Н(Х) = = Н тп(Х).

Задача 4. По цели может быть произведено п незави­ симых выстрелов; вероятность поражения цели при каж­ дом выстреле равна р. После k-vo выстрела производится разведка, сообщающая, поражена или не поражена цель. Если поражена, стрельба прекращается. Определить k из того условия, чтобы количество инфор­ мации, доставляемое разведкой, было максимальным.

Р е ш е н и е . Рассмотрим физическую систему Х к— цель после k-то выстрела. Возможные состояния систе­ мы Хк: Х\— цель поражена; х2— цель не поражена.

Вероятность непоражения цели после k выстрелов по теореме умножения независимых событий.

Р(х2) = (1 —р)к = <?*•

Тогда вероятность поражения цели будет равна вероят­ ности противоположного события:

Р(*і) = 1 - Р ( х 2) = 1 - ( 1 -/>)*.

Так как после опыта предполагается отсутствие неопре­ деленности (с вероятностью «единица» известно, после k выстрелов поражена цель или нет), то количество инфор­ мации, несомое разведкой, численно равно энтропии H(Xk )• А энтропия ансамбля Хамаксимальна тогда, ког­ да события, составляющие ансамбль, равновероятны, т. е.

(1 — ^ “ 1 — о

и

log (1 - р ) •

Отсюда видно, что если р<§Д, то

. Задача 5. Вероятность появления события А при од­ ном, испытании равна р. 'Испытания повторяются до пер-

22

вого появления'события А. Найти энтропию числа испы­ таний.

Р е ш е н и е . Определим распределение случайной ве­ личины X — числа испытаний. X может принимать зна­ чения от единицы до бесконечности. Вероятность полу­ чить событие А в первом испытании ( х = \ ) равна р, во втором (1— р)р, в k-u (1—р)к^1 р. Таким образом, опыт X выглядит так:

и его энтропия

со

где q = 1—p. Ряд, стоящий сомножителем в первом

слагаемом, есть геометрическая прогрессия. Поэтому

оо

(1Л7)

к=1

Продифференцировав тождество (1.17) по q и умножий обе его части на q, получим ряд, стоящий сомножителем во втором слагаемом (1.16). Подставив в (1.16) найден­ ные суммы рядов, получим

ЩХ) = — Р ]0gP + q ]0gq

При получении формулы для количества информации предполагалось, что после опыта неопределенности в его исходе нет. Однако можно привести множество приме­

23

ров, когда после получения информации у нас остается еще некоторая неопределенность. Вот два из них.

1. Пусть известно, что напряжение на клеммах не торого источника может изменяться в пределах 180— 230 вольт. Поэтому на вопрос, каково напряжение в дан­ ный момент времени с точностью до одного вольта, мож­ но высказать 51 предположение: 180, ..., 230 вольт. Пусть опыт заключается в измерении напряжения с точностью ,±'5 вольт. Произвели опыт. Напряжение оказалось рав­ ным 220 вольт. Значит, на самом деле истинное значение напряжения находится где-то между 215—225 вольтами.

с,чет того, что в результате опыта мы приобрели некото­ рое количество информаций, численно равное разности между количеством неопределенности до и после опыта. Вычислим его в предположении, что все значения напря­

действуют шумы, искажающие передаваемые по ней сиг-’ налы (рис. 2). По линии связи передаются сообщения, составленные по некоторому закону из п различных сиг­ налов хі . Сигналы, смешавшись с шумом, поступают на выход линии связи. Обозначим принимаемые сигналы буквой y j ( j = \ , 2, ..., m ). После приема сигнала у г мы не

можем достоверно сказать, какому из переданных сигна­ лов х і он соответствует, так как случайный шум может

из любого сигнала хі создать подобный ему сигнал у г.

24

В этом случае для принятия правильного решения необ­ ходимо использовать вероятности P(xijyj).

Если, к примеру,, они оказались такими, что любой сигнал хі (кроме.хг) со сколь угодно малой вероят­ ностью (раз в столетие) может превратиться в уг , то, приняв этот сигнал, мы с как угодно близкой к единице вероятностью можем утверждать, что был передан х п так как

Если бы дело обстояло так со всеми передаваемыми сиг­ налами х і (і= \ , 2, ..., п), мы могли бы считать, что в ка­ нале связи вообще отсутствуют шумы, и соотношение бы­ ло бы справедливо для всех сигналов л>*

Иначе говоря, после опыта (после приема какого-либо сигнала y j ) у нас нет никакой неопределенности в соот­ ветствии принятого у] переданному хі , и количество*ин­ формации,содержащееся в yj о хі, численно равно неоп­ ределенности принять в данный момент какой-либо сиг­ нал X і, т. е. энтропии ансамбля сигналов

1(Y, X) = Н(Х).

Однако наибольший интерес представляет другой крайний случай, когда искажения сигналов в линии свя­ зи таковы, что любой из сигналов хі может с равной ве­ роятностью перейти в любой из сигналов yj. Это соответ­ ствует случаю, когда сигналы yj и хі статистически не­ зависимы (см. задачу 2 §.2), т. е.

Тогда, наблюдая у\лмы не получаем никакой информации о х і . Что же необходимо предпринять при таком разру­ шающем действии шумов на передаваемую информацию? Имеется единственный выход— подобрать такое разли­ чие (вид модуляции) в передаваемых сигналах хі , чтобы вероятности искажений были как можно ближе к (1.18).

Подсчитаем количество информации, имеющееся (в среднем) в сигнале yj о сигнале хі при произвольной ста­ тистике искажений p(xi/yj).

25

Среднее количество неопределенности, которым мы обладали до опыта, равнялось Н(Х). Представим теперь, что мы примяли какой-то сигнал yj (к примеру, tjn) и оцениваем, какова неопределенность (после опыта) соот­ ветствия его некоторому переданному хі (к примеру, х\). Эта неопределенность равна

— log P(xi/yj) = Н{х,-:;У]).

Как видим, неопределенность этого соответствия яв­ ляется случайной величиной, значения которой при каж­ дом заданном у j наступают с вероятностями P(xi'yj). Поэтому среднее значение количества неопределенности

чений равны Р( уj). Тогда среднее значение H(X/yj) оп­ ределит среднее количество неопределенности соответст­

ленность ансамбля X после опыта.

Таким образом, мы установили, что неопределенность передачи некоторого сигнала X до опыта Н(Х), а после опыта H(X/Y). Поэтому количество информации, имею­

Эта мера количества информации получена нами на при­ мере передачи сообщений по каналу связи. Совершенно аналогичные рассуждения могут быть применены к слу­ чайным объектам произвольного вида и приведут нас к той же мере.

26

На основании свойств энтропии 4 и 6

M(Xt Y) = Н (Y) + Н (X/Y).

Подставляя этр выражение в (1.19), получаем

I(Y, X ) = H ( X ) + H ( Y ) - H ( X , Y).

Умножая первое и второе слагаемое правой части равен-

т

ства соответственно на единицы вида l = v P (lJjixi) ~

= 2 P(x'Jyj). 11 расписывая энтропии через вероятнос-

/=1

ти соответствующих событий, получаем

содержащееся в случайном объекте Y о случайном объ­ екте X, равно количеству информации, содержащемуся а

=0.

3.1 (X, Х ) = Н ( Х ), т. е. энтропия может быть истол­ кована как информация, содержащаяся в объектах от­ носительно самих себя. Из этого также непосредственно вытекает, что энтропия есть максимальное количество информации, которое можно получить об объекте:

27

Ф

лить среднее количество информации, которое может по­

ностью. Пусть Х\— случайное число студентов, сдавших зачет, Хо— не сдавших зачет; у \— случайное число подго­ товленных студентов; уч— не подготовленных студентов.

По условию задачи известны следующие вероятности:

Р(х1, Уі) а> Р(Х1 , Уі) — ß, Р(х2, уо) — ч,

Для определения искомого количества информации по формуле (1.20) необходимо найти соответствующие безусловные^вероятности. Их можно найти из формулы пол­ ной вероятности:

Подставляя в (1.22) соответствующие совместные веро­ ятности из (1.21), получаем:

_ Р(хі) — Р{хі* Уі) + Р(хі, Уъ) = а + ß;

4

ио из двух сообщений Х\ или х2 с вероятностями соответ­

Р{хи Уі) = Я *і)Ж Уі/* і)

Р(хг, у г) = р{х2) Р(у2/Х2) =рЬ;

Р(хи у2) = Р(Х,) Р(уг Хх) =-• р{ 1 — Д);

Ң х л, у,) = Р(х2) РІУі/Хг) = р ( \ — Ь).

Подставив в формулу полной вероятности

P(yj) = і Р(ХІ. yj)

/= 1

соответствующие вероятности P(xh yj), найдем вероят­ ности сообщений y j :

Р{Уі) == Р(хъ Уі) + Pix* У,) = р.Д + р(1 — В);

Р(Уі) = Р(Хі, уг) + Р(Х2, Уг) =р( 1— д) + р ь.

Наконец, среднее количество информации, содержащееся: в у о х:

-а