книги из ГПНТБ / Бездудный, В. Г. Техника безопасности в шахтном строительстве

Задачи к теме 3

2.Как определить количество информации в сообщении, если известно макси­ мально возможное количество сообщений? Как определить количество информации

всообщении, если известно количество качественных признаков (алфавит) сообще­ ний и количество символов в каждом сообщении? Привести примеры.

3.Символы алфавита обладают двумя качественными признаками. Какое ко­ личество сообщений можно получить, комбинируя по три, четыре, пять, шесть эле­ ментов в сообщении?

4.Сколькими способами можно передать положение фигур на шахматной дос­ ке? Чему равно количество информации в каждом случае?

5.В алфавите три буквы: А, В я С. Составить максимальное количество со­ общений, комбинируя по три буквы в сообщении.

6.Какое количество информации приходится на букву алфавита, состоящего из 16 букв, 25, 32?

7.Чему равно количество информации в сообщении, переданном в двоичном коде пятизначной комбинацией? Двумя пятизначными комбинациями?

8.Чему равно количество информации при получении восьми сообщений че­ тырехзначного троичного кода?

9.Чему равно количество информации о выходе из строя одного из восьми стан­ ков, полученных в одно и то же время с'одного и того же завода?

ЭНТРОПИЯ. СВОЙСТВА ЭНТРОПИИ

Как уже было сказано, понятие информация связано со снятием неоп­ ределенности, которая существовала до получения сообщения. И чем большая неопределенность была до передачи сообщения, тем большее количество информации содержится в принятом сообщении.

перемешиваем шары и повторяем процедуру. Вероятности получения сообщения о том, что вынут черный или белый шар, будут равны соот­

+ 0,01 log2 0,01) = 0,0143 -f- 0,0664 = 0,0807 бит/символ.

Следовательно заранее предсказать, какой будет вынут шар, не пред­ ставляет особого труда, так как мы почти уверены в результате опы­

20

та. Количество полученной информации мало. Если мы заранее уве­ рены в ответе, то ответ несет нулевую информацию.

Если в примере с шарами в урне было бы 50 черных и 50 белых, то трудно было бы предсказать содержание сообщения. В этом случае неопределенность максимальна, так как вероятности появления чер­ ного и белого шаров равны друг другу: рг = рг = 0,5.

Количество полученной информации при этом

/ = — (Pi log2 Pi + р2 1оЙ2 Рг> = — (°-5 log2 0-5 + 0,5 log2 0,5) =

= 1 бит/символ.

Чем больше априорная неопределенность, тем большее количество информации получается при снятии ее. В этом смысле величина, определяющая степень неопределенности, является удобной мерой оцен­ ки количества информации при исследовании ее свойств.

В теории информации мерой неопределенности является энтро­ пия — удельное количество информации, приходящееся на один эле­ мент сообщения. Для сообщения из п элементов эта величина равна

вается частной энтропией, характеризующей лишь г-е состояние. Как видим из выражения (10), сама энтропия Н есть среднее значение частных энтропий.

В случае одинаковой вероятности появления любого из т элемен­ тов сообщения

тт

При исследовании свойств энтропии наибольший интерес пред­ ставляет ее зависимость от числа т возможных признаков (качеств) и вероятности pt появления в сообщении элемента с t-м признаком.

Энтропия характеризует меру неопределенности совокупности

событий, составляющих полную группу (сумма вероятностей появления

т

= 1, т. е. передается сообщение с одним t-м признаком и вероятность его появления р{ = 1, то

Это очевидно, так как заранее известно, что будет передано сообщение с t-м признаком и при его получении ничего нового мы не узнаем, т. е.

21

равна нулю, то слагаемое с этим признаком принимает вид неопреде­ ленности типа нуль на бесконечность. Действительно,

Pi log •— = 0 • со.

Раскроем эту неопределенность, используя правило Лопиталя1. Для этого прежде всего неопределенность вида 0 • оо приводим к виду

о о /о о :

22

этого, как известно, необходимо найти точку, в которой производная исследуемой функции меняет свой знак, т. е.

dptd (— Pilogpt) ==— \\o g p c

= — log pi — log e = — log pte = 0,

к резкому уменьшению слагаемого p,log ри т. е. при малых значениях вероятности pt члены в выражении энтропии, содержащие pt, не игра­ ют существенной роли и часто могут быть опущены.

Из рис. 9 также видно, что наибольшие значения слагаемых ви­ да —Pflog pi принимаются при вероятностях появления импульса с i-м признаком, лежащих в области от 0,2 до 0,6. Это понятно, так как при малых вероятностях появления i-ro признака легко предсказать его отсутствие в сообщении и, наоборот, при больших вероятностях по­ явления i-ro признака легко предсказать его присутствие в сообщении. В обоих случаях величина неопределенности, существующей до по­ лучения сообщения, будет мала. Соответственно мало и количество ин­ формации при снятии этой неопределенности, что и иллюстрируется рис. 9.

23

пия бинарного сообщения изменяется от 0 до 1 и достигает максимума

и найдем его максимум. Обозначим предварительно каждое слагаемое под суммой через F*r

Максимум будет в точке перегиба, т. е'. в точке, где производная меняет знак:

Как видим, ни величина pit ни величина log рг не зависит от номе­ ра i-го признака, что может быть только при условии равенства ве­ роятностей появления любого из признаков в сообщении, т. е. рх =

24

Подставив значение Pi — — в выражение (10), найдем

Для любого количества символов среднее количество информации на один символ достигает максимума в том случае, когда все символы используются с равными вероятностями.

В заключение рассмотрим еще одно свойство энтропии: энтропия сообщения, состоящего из некоторых частных сообщений, равна сумме энтропий составляющих его сообщений.

Предположим, имеются сообщения А к В с энтропиями соответ­ ственно Я (Л) и Я (В). Необходимо доказать, что энтропия сообщения, состоящего из сообщений А и В,

Н(АВ) = Н(А) + Н(В).

Так как для независимых событий вероятность совместного со­ бытия АВ равна произведению вероятностей событий А к В, то, обо­ значив через р^ pj и р,л вероятности событий соответственно А, В и АВ и используя формулу для энтропии случайного события (10), выражение для энтропии сообщения АВ запишем следующим образом:

что и требовалось доказать.

Это свойство энтропии, или правило сложения энтропий, хорошо

согласуется со смыслом энтропии как меры неопределенности. Дей­ ствительно, неопределенность сообщения АВ должна быть больше

неопределенности отдельных сообщений Л и В. Правило сложения эн­ тропий распространяется и на п событий при п > 2. Доказательство

этого положения аналогично приведенному выше.

Выводы. 1. Если известно, что данное событие наверняка произой­ дет или не произойдет, то его энтропия минимальна и равна нулю.

2.Если событие с равной вероятностью может произойти либо не произойти, то его энтропия максимальна.

3.Энтропия — величина вещественная и положительная. Для

любого количества символов энтропия достигает максимума при рав­ ной вероятности появления их в сообщении.

25

Задачи к теме 4

1. Чему равна энтропия сообщений: «Сейчас Луна упадет на Землю», «Сейчас Луна не упадет на Землю»?

2.На вычислительном центре постоянная информация хранится в 32 768 стан­ дартных ячейках. Сколькими способами можно передать сведение о том, из какой ячейки необходимо извлечь информацию? Чему равно количество информации в каждом отдельном случае? Какое геометрическое расположение ячеек в хранилище позволит передавать эту информацию минимальным количеством качественных при­ знаков?

3.В плановом отделе работают три экономиста: два — опытные и один — не­

опытный. Опытные специалисты знают, что сводки типа А составляют 10% от обще-' го количества документов, поступающих в отдел. Определить, какое количество ин­ формации получит каждый специалист при получении сводок типа А?

Таблица 2

Таблица для вычисления энтропии украинского алфавита (без учета пропуска меж­ ду словами)

4. Определить, в каком из приведенных ниже текстов количество Информации больше и почему:

а) «Рара, ра, ра, ра, ра, ра»; б) «Соблюдайте правила техники безопасности. Не стой под краном! Не сорить!»

в) «Здравствуйте.— Да, Петров.— Идете в цех?— А накладные?— Хорошо, у диспетчерской»;

г) «Румяной ... Восток ... Огонек ... Спешат к пастухам...»

5. Для прибора Zдетали из кладовой отдела комплектации доставляет конвейер­ ная лента 1, для прибора Y — лента 2. В комплектующие изделия прибора 1 входят 10 конденсаторов, пять резисторов и пять триодов, а прибора Y — восемь конден­ саторов, восемь резисторов и четыре триода. В каком случае неопределенность того,

(набор из любых арабских цифр) трехзначными кодами. Чему равна энтропия сооб­ щения, состоящего из сообщений А и В?

26

7. Определить количество информации в произвольном украинском тексте, если известна энтропия украинского алфавита (табл. 2):

32

Я = - 2 Pi log Pl = 4,577179. i=i

8. В сообщении, составленном из пяти качественных, признаков, последние используются с разной частотой, т. е. вероятности их различны и равны соответствен^

но pi = 0,8, р2 = 0,15, рз = 0,03, р4 = 0,015 и рь = 0,005. Всего в сообщении при­ нято 20 знаков. Определить количества информации на букву сообщения и во всем сообщении. Каково было бы количество информации в данном сообщении, если бы все признаки имели равную вероятность?

До сих пор, оперируя понятием энтропия, мы имели в виду некоторое удельное количество информации, приходящееся на один элемент со­ общения. Такая энтропия была названа средней, а при ее вычислении использовали выражение

тт

висимы, т. е. с приходом одного символа распределение вероятностей последующих символов не изменяется. Так может быть, например, при передаче букв бесконечного алфавита, вынимаемых из кассы, либо при передаче букв конечного алфавита, но с обязательным услови­ ем, что после передачи каждой буквы она опять будет возвращена в кассу.

На практике же чаще всего встречаются взаимозависимые символы и сообщения. Если передавать не просто отдельные буквы алфавита, а смысловые сообщения, то можно убедиться, что существует взаимо­ зависимость передаваемых символов. Одни буквы встречаются чаще, другие реже, одни буквы и слова часто следуют за другими, другие ред­ ко и т. д. Например, в английском языке наиболее часто встречается бук­ ва е; во французском языке после буквы q почти наверняка следует буква и, если q, естественно, не стоит в конце слова; в советских га­ зетных сообщениях после слова «передовик» чаще всего следует слово «труда» или «производства»; появление в сообщении слов «передовик труда» дает, в свою очередь, информацию о характере сообщения, например, что это сообщение ближе к заводской, чем к театральной жизни и т. д.

В случае взаимозависимых символов удобно использовать среднее количество информации, приходящееся на один символ, с учетом вза­ имозависимости через условные вероятности. '

27

Предположим, получено сообщение АВ, в котором появление А зависит от В и наоборот. Обозначим через р(а£) вероятность появления г-го состояния события А, р (bf) — вероятность появления /-го со­ стояния события В, р (а{1Ь]) — условную вероятность t-го состояния со­ бытия А относительно /-го состояния события В, р (bj/ad — услов­ ную вероятность /-го состояния события В относительно i-ro состояния события А (например, появления /-го символа сообщения В после по­ явления i-гоюимвола сообщения А).

Согласно принципу умножения вероятностей, вероятность со­ вместного появления двух взаимозависимых событий равна произведе­ нию вероятности появления одного из событий на условную вероят­ ность другого события относительно первого:

тропия объекта В при условии, что реализовалосьi-e состояние объек­

и условной Н (В/А) энтропий. Это хорошо согласуется с общим поня­ тием условной энтропии в том смысле, что она представляет собой не­ которую добавочную энтропию, которую дает сообщение В, когда эн­ тропия сообщения Л уже известна.

Поменяв местами Л и В в выражении (21), нетрудно убедиться в том, что

Н (В ,А ) = Н(В) + Н(А/В).

28

При отсутствии статистической зависимости между сообщениями

А я В

Н(В, А) = Н(В) + Н(А).

При полной статистической зависимости, когда появление одного со­ бытия однозначно определяет информацию о другом событии, энтропия сообщений А я В

Н(А, В) = Н(А) = Н(В).

Если элементы источника сообщений принимают состояния аг,

а2, ..., щ , ..., ап с вероятностями соответственно р (%), р(а2).....р (а£), р(ап),

аэлементы адресата — состояния

а{, и, наоборот, принятый сигнал 6/ может появиться в результате отправления любого из сигналов щ (к этому вопросу мы еще вернемся в дальнейшем, при рассмотрении условий передачи сообщений в каналах связи под действием помех).

Формула условной энтропии отличается от классического выраже­

Ввиду того что для характеристики любого произвольного состояния адресата В выбран индекс /, при вычислении Н (bjla{) суммирование следует производить по /, в связи с тем, что именно энтропия bj нас интересует после отправления а£.

Так как для характеристики любого произвольного состояния ис­ точника А выбран индекс i, то при вычислении Н (a^bj) суммирование следует производить по t, поскольку именно оставшаяся энтропия множества отправленных символов нас интересует после получения символа bj:

29