Решение.

 – извлечение шара из I ящика; A₁ – извлекли белый шар; A₂ – извлекли черный шар; A₃ – извлекли красный шар; A₁ и A₂ – события равновероятны: p(А₁)= p (А₂ )=3/12=1/4=0,25; p( А₃ )=6/12=1/2.

H()=–0,25 log₂ 0,25–0,25 log₂ 0,25–0,5 log₂ 0,5 = 1,5 бит

 и  – независимые опыты. Вероятность извлечения шаров определенного цвета из II ящика – одинаковая, по формуле (5) при n = 3 H()=­ log₂ 3  1,585 бита.

H()=H()+H(). H() = 1,5+1,585=3,085 бита.

Пример 7: В ящике 2 белых, 4 черных и 6 красных шара. Из ящика извлекают последовательно 2 шара без возврата. Найти энтропию, связанную с первым и вторым извлечениями, а также энтропию обоих извлечений.

Решение.

Опыт  – извлекли I шар: А₁ – шар белого цвета, А₂ –шар черного цвета; А₃ –шар красного цвета события равновероятны p(А₁)= 1/6; p(А₂)= 1/3; p(А₃)=1/2, по теореме Шеннона при n=3:

H ()= – p(А₁) log₂ p(А₁) – p(А₂) log₂ p(А₂) – p(А₃) log₂ p(А₃) = .

Опыт  – извлекли II шар возможны исходы: В₁ – шар белого цвета; В₂ – шар черного цвета; В_{3_}– шар красного цвета.

,

аналогично, H_A2 ()= 1,43; H_A3 ()= 1,45

H_ () = p(А₁)H_A1 () + p(А₂)H_A2 () + p(А₃)H_A3 () =

= 0,17 1,32+0,331,43+0,51,45 = 0,22+0,47+0,73=1,42 бита.

Энтропия сложного опыта: H()=H ()+H_ ()= 1,46+1,42 = 2,88 бита.

Коэффициент содержательности С как мера семантической информации:

С = I_c / V (9)

Пример 8: Чему равен коэффициент содержательности информации, если из 100 страниц учебника студенту непонятно 20 страниц, а на 10 страницах находится информация, которая ему была уже известна?

Решение.

С=I_c / V , V = 100 страниц – общий объем учебника;

I_c = 100-20-10=70страниц семантической информации, которая для студента является новой и понятной, т.е. он может ее понять (интерпретировать).

Коэффициент содержательности информации учебника для этого студента составит: С=70/100=0,7.

Количественная мера прагматической информации:

(10)

p_o – вероятность достижения цели до получения информации;

p₁ – вероятность достижения цели после получения информации.

Пример 9: Водитель автомобиля нарушил правила, случайный свидетель смог лишь вспомнить, что все цифры номера нечетные и разные. Какое количество прагматической информации получено от случайного свидетеля?

Решение.

, вероятность определения номера до получения информации от свидетеля;

, вероятность определения номера после получения информации, тогда по формуле (9):

Задания для самостоятельного решения

1. Система оптического распознавания символов позволяет преобразо­вывать отсканированные изображения страниц документа в тексто­вый формат со скоростью 4 страницы в минуту и использует алфа­вит мощностью 65536 символов. Какое количество информации будет нести текстовый документ после 5 минут работы приложения, страницы которого содержат 40 строк по 50 символов?

2. Какова мощность алфавита, с помощью которого записано сообще­ние, содержащее 2048 символов, если его объем составляет 1/128 часть одного мегабайта?

3. При угадывании результата броска игральной кости задается вопрос «Выпало 3?». Какое количество информации содержит ответ?

4. Злой экзаменатор никогда не ставит пятерок по информатике. По причине своей зловредности он заранее определил количество отметок каждого вида и произвольно расставил их абитуриентам. Количество информации, содержащееся в сообщении «Абитуриент Иванов не провалился на экзамене», равно log₂3 бит. Информационный объем сообщения «Абитуриент Сидоров получил тройку» равен двум битам. 22 абитуриента получили двойку или тройку. Сколько абитуриентов сдавали информатику?

5. В некоторой местности имеется две близкорасположенные деревни: А и В. Известно, что жители А всегда говорят правду, а жители В – всегда лгут. Известно также, что жители обеих деревень любят ходить друг к другу в гости, поэтому в каждой деревни можно встретить жителя соседней деревни. Путешественник, сбившись ночью с пути, оказался в одной из двух деревень и, заговорив с первым встречным, захотел выяснить, в какой деревне он находится и откуда его собеседник. Какое минимальное количество вопросов с бинарными ответами требуется задать путешественнику?

Вопросы для самоконтроля

1. Какова связь между понятиями «энтропия» и «информация»?

2. Почему для измерения энтропии выбрана логарифмическая функция?

1. Почему за основание логарифма выбрали 2?

3. Приведите примеры независимых опытов.

4. Приведите примеры зависимых опытов.

Индивидуальные задания

1. В спартакиаде участвуют 215 учеников. Какое минимальное количество бит необходимо, чтобы закодировать номер каждого ученика?

2. Случайным образом вынимается карточка из стопки в 32 карточки. Какое количество информации требуется, чтобы угадать, что это за карточки?

3. Приветствие от марсиан записано с помощью всех символов марсианского алфавита: ТЕВИРП!КИ! Сколько информации оно содержит?

4. Какое количество информации несет сообщение о том, что нужная вам тетрадь находится в одном из восьми ящиков стола?

5. Считая, что каждый символ кодируется 16-ю битами, оцените информационный объем следующей пушкинской фразы в кодировке Unicode: «Привычка свыше нам дана: Замена счастью она.»

6. Световое табло из лампочек, каждая из которых может находиться в двух состояниях («включено» или «выключено»). Какое наименьшее количество лампочек должно находиться на табло, чтобы с его помощью можно было передать 299 разных сигналов?

7. Метеорологическая станция ведет наблюдение за влажностью воздуха. Результатом одного измерения является целое число от 0 до 100%, которое записывается при помощи минимально возможного количества бит. Станция сделала 80 измерений. Каков информационный объем результатов наблюдений?

8. Азбука Морзе позволяет кодировать символы для радиосвязи, задавая комбинацию точек и тире. Сколько различных символов (цифр, букв, знаков пунктуации и т.д.) можно закодировать, используя код Морзе длиной не менее 5 и не более 6 сигналов (точек и тире)?

9. Какое наименьшее число символов должно быть в алфавите, чтобы при помощи всевозмозможных трехбуквенных слов, состоящих из символов данного алфавита, можно было передать не менее 12 различных сообщений?

10. По выигранному гранту в школу поступила партия ноутбуков, принтеров и сканеров. Из них 27 ноутбуков. Для проверки качества поступившей аппаратуры заместитель директора по хозяйственной части случайным образом выбирает одну из коробок. Информационный объем сообщения «Для проверки выбран не ноутбук» равен 4-log₂7 бит. Количество собственной информации, содержащееся в сообщении «Для проверки выбран не принтер», равно log₂3-1 бит. Сколько сканеров поступило в школу?

11. Сколько секунд потребуется модему, передающему информацию со скоростью 64 000 бит/с, чтобы передать 16-цветное растровое изображение размером 1200800 пикселей при условии, что в одном байте закодировано максимально возможное число пикселей?

12. Метеорологическая станция ведет наблюдение за атмосферным давлением. Результатом одного измерения является целое число, принимающее значение от 720 до 780 мм ртутного столба, которое записывается при помощи минимально возможного количества бит. Станция сделала 120 измерений. Каков информационный объем в байтах результатов наблюдений?

4