Вопросы и задачи к главе

1.В студенческой группе 24 человека: 21 юношей и 3 девушки. Определить количество информации, содержащееся в сообщении, что староста группы – девушка.

–Pешение. Вероятность того, что староста группы – девушка, равна P = 3/24 = 1/8 (считаем, что решение о назначении старосты не зависит от пола студента). По

формуле (4) количество информации в таком сообщении равно

log2P = log21/8 = 3 (бита).

2.В лотерее N билетов, из них k выигрышных. Студент купил M билетов и после розыгрыша сообщил вам, что выиграл (но, возможно, и не на один билет). Какое количество информации вы получили?

3.Бросаются одновременно две игральные кости. Определить количество информации, содержащееся в сообщении о том, что произведение числа выпавших очков четно.

4.Два стрелка, для которых вероятности попадания в мишень равны соответственно 0.6 и 0.7, производят по одному выстрелу. В результате оказалось, что мишень поражена. Какое количество информации содержится в этом сообщении?

5.Имеются два ящика, в каждом из которых по 12 шаров. В первом – 3 белых, 3 черных и 6 красных; во втором – по 4 шара каждого цвета. Опыты состоят в вытаскивании по одному шару из каждого ящика. Каково количество информации, содержащееся в сообщении об

исходе опыта?

Решение. Вероятности исходов опыта для первого ящика: pбел=3/12, рчер=3/12, ркрас=6/12. Сообщение об исходе опыта содержит один символ, всего в алфавите источника сообщений 3 символа («белый», «черный», «красный»). Вероятности каждого символа равны вероятностям соответствующих исходов опыта. По формуле (6):

I1 = -3/12∙log2 3/12 – 3/12∙log2 3/12 – 6/12∙log2 6/12=1.5 (бит)

Вероятности исходов опыта для второго ящика: pбел=4/12, рчер=4/12, ркрас=4/12.

I2 = -4/12∙log2 4/12 – 4/12∙log2 4/12 – 4/12∙log2 4/12≈1.58 (бит)

•Какое количество информации требуется, чтобы узнать исход броска монеты?

•Решение. В данном случае n=2 и события равновероятны, т.е. p1=p2=0,5. Согласно (6):

•I = – 0,5•log2 0,5 – 0,5•log2 0,5 = 1 бит

•Игра «Угадайка–4». Некто задумал целое число в интервале от 0 до 3. Наш опыт состоит в угадывании этого числа. На наши вопросы Некто может отвечать лишь «Да» или «Нет». Какое количество информации мы должны получить, чтобы узнать задуманное число, т.е. полностью снять начальную неопределенность? Как правильно построить процесс угадывания?

•Решение. Исходами в данном случае являются: A1 – «задуман 0», A2 – «задумана 1», A3 – «задумана 2», A4 – «задумана 3». Конечно, предполагается, что вероятности быть задуманными у всех чисел одинаковы. Поскольку n = 4, следовательно,

•p(Ai)=1/4, log2 p(Ai)= –2 и I = 2 бит. Таким образом, для полного снятия неопределенности опыта (угадывания задуманного числа) нам необходимо 2 бит информации.

•Теперь выясним, какие вопросы необходимо задать, чтобы процесс угадывания был оптимальным, т.е. содержал минимальное их число. Здесь удобно воспользоваться так называемым выборочным каскадом:

Таким образом, для решения задачи оказалось достаточно двух вопросов независимо от того, какое число было задумано. Совпадение между количеством информации и числом вопросов с бинарными ответами неслучайно.

Количество информации численно равно числу вопросов с равновероятными бинарными вариантами ответов, которые необходимо задать, чтобы полностью снять неопределенность задачи.

•В Белгороде 28000 жителей. Какое минимальное количество вопросов, требующих ответа "да" или "нет", необходимо, чтобы однозначно найти одного жителя?

•Решение. Каждый житель – элемент случайной системы, количество элементов m = 280000. Ответ на один вопрос дает 1 бит информации,

следовательно, количество информации равно количеству вопросов. По формуле Хартли I=n∙log2m. I=log2280000≈18.4 (бит). Округляя в большую сторону, получаем ответ – 19 вопросов.

•Случайным образом вынимается карта из колоды в 32 карты. Какое количество информации требуется, чтобы угадать, что это за карта? Как построить угадывание?

•По формуле (5)

•I = n1∙log2m1+n2∙log2m2 = 8∙log21000+10∙log2500 ≈ 170 (бит)

•скорость передачи J=170 бит/ 2 с = 85 (бит/с)

•Для сравнения: скорость обычной речи – примерно 20 бит/с, муравьи обмениваются информацией со скоростью 0.1 бит/с.

•Эллочка-Людоедка знает 20 слов. В обычном состоянии она произносит в среднем 50 слов в минуту. Причем слова «мрак», «жуть», «хо-хо» и «парниша» она произносит в четыре раза чаще других слов. Какое количество информации получит от нее Остап Бендер в течение получасового общения?

•Решение. Мощность алфавита Эллочки m = 20. Символы алфавита неравновероятны. Найдем их. Пусть вероятности слов «мрак»,

«жуть», «хо-хо» и «парниша» - р1, вероятности остальных шестнадцати слов – р2. По условию задачи р1 = 4∙р2. По условию нормировки pi = 1.

•4∙р1+16∙р2 = 1; 16∙р2+16∙р2 = 1; 32∙р2 = 1; р2 =1/32; р1 = 1/8.

•За полчаса Эллочка произнесет 50∙30 = 1500 слов. Длина сообщения n=1500.

•По формуле (3.6) количество информации I = n∙ pi ∙log2pi =

=1500∙(4∙p1∙log2p1+16∙p2∙log2p2)= 1500∙( 4/8∙log28 – 16/32∙log232) =

=1500∙(3∙4/8+5∙16/32) = 1500∙4 = 6000 (бит)

•В буфере ИС ожидают обработки 6 заданий. 2 из них запрашивают дополнительный ресурс (например, принтер), 4 – не требуют ресурса. Последовательно в случайном порядке отправляются на обработку два задания. Найти энтропию запроса дополнительного ресурса.

•Решение. Будем считать сообщением А – посылку первого задания на выполнение.

Ресурс потребуется с вероятностью Р(А1)=2/6=1/3. Ресурс не потребуется с вероятностью Р(А2)=2/3. Энтропия сообщения А равна:

•Н(А)= - Р(А1)logР(А1) - Р(А2)logР(А2)= -1/3 log1/3 – 2/3 log 2/3 = 0.918 бит

•Сообщение В – посылка второго задания на выполнение. Вероятность того, что потребуется ресурс Р(В1), зависит от того, какое задание было послано первым.

•при А1: Р(В1|А1)=1/5, Р(В2| А1)=4/5; H(B|А1)= -1/5∙log1/5 – 4/5∙log4/5 = 0.722

•при А2: Р(В1|А2)=2/5, Р(В2|А2)=3/5; H(B|А2)= -2/5∙log2/5 – 3/5∙log3/5 = 0.971

•Следовательно, энтропия сообщения В равна

•H(B|A)= Р(А1)∙H(B|А1)+Р(А2)∙H(B|А2) = 1/3∙0.722 + 2/3∙0.971 = 0.888 бит

•Обратим внимание, что энтропия сообщения В оказалась меньше, чем сообщения А. Это естественно, так как, получив информацию об исходе А, у нас уменьшилась неопределенность относительно исхода В. Полная совместная энтропия получается по формуле (11):

•H(A,B)= 0.918 + 0.888 = 1.806 бит.