Задачи для самостоятельной работы Энтропия

Задачи на тему: «Количество информации»

См. лекция 1_СПД, и 1_СПД_дополнение

Пример 0. Рассмотрим школьные оценки, чтобы определить, какова вероятность получения каждой оценки, нужно посчитать общее количество разных оценок, полученных учеником за достаточно большой период времени, и определить, сколько из них двоек, троек, четвёрок и пятёрок.

Предположим, мы посчитали, что за два года ученик получил 100 оценок. Среди них: 60 – «5» вероятность пятёрки P₅=60/100=0,6 60% 25 – «4» P₄=25/100=0,25 25% 10 – «3» P₃=10/100=0,1 10% 5 – «2» P₂=5/100=0,05 5% Обозначение: N – это общее число возможных исходов какого-то процесса n – из них интересующее нас событие p=n/N Теперь, зная вероятности событий, можно определить количество информации в сообщении о каждом из них. Согласно теории информации, для этого нужно решить показательное уравнение

Отсюда получаем

I_i=log₂(1/p_i), бит

I ^«5»=log₂(1/0,6)=log₂(5/3)=0,737 бит I ^«4»=log₂(1/0,25)=log₂(4)=2 бита I ^«3»=log₂(1/0,1)=log₂(10)=3,322 бита I ^«2»=log₂(1/0,05)=log₂(20)=4,322 бита Чем меньше вероятность события, тем больше информации несёт сообщение о нём. Количество информации в сообщении о некотором событии зависит от вероятности этого события. Чем меньше вероятность, тем больше информации.

Пример 0. В алфавите три буквы А, В, С. а) Составить максимальное количество сообщений, комбинируя по три буквы в сообщении. б) Какое количество информации приходится на одно такое сообщение? в) Чему равно количество информации на символ первичного алфавита?

Решение. а) m₂=3; n =3; N ==3³=27

ААА BAA CAA

ААВ BAB CAB

ААС ВАС САС

ABA ВВА СВА

ABB ВВВ СВВ

ABC ВВС СВС

АСА ВСА ССА

АСВ ВСВ ССВ

АСС ВСС ССС

б) I = log₂ N= log₂27 = 4,75489 бит;

в) Н = log2 m1= log2N = log₂

Пример 1. Студент сдает зачет. Он может сдать зачет и не сдать с равной вероятностью. Определить количество информации, содержащееся в сообщении о том, что он сдал зачет. Так как события "сдал зачет" и "не сдал зачет" равновероятны, то используем формулу Хартли для равновероятных сообщений, и получаем, что сообщение содержит log₂2=1 бит информации.

Пример 2. Человек загадывает число в диапазоне от 0 до 15. Какое минимальное количество вопросов, требующих ответа "да" или "нет", необходимо, чтобы отгадать это число? Снова формула Хартли: I=log₂N, бит

log₂16=4 вопроса

Пример 3. В доме 16 квартир, в каждой проживает в среднем по 2 человека. Какое минимальное количество вопросов, требующих ответа "да" или "нет", необходимо, чтобы однозначно найти одного жителя?

Общее количество людей в доме 16*2=32.

Вопрос да/нет - 1 бит информации, то есть, используем логарифм по основанию 2.

По Формуле Хартли применяем log₂m логирифм числа состояний, которое равно 32.

Отсюда следует, что минимальное количество вопросов, которые нужно задать, чтобы найти 1 жителя вычисляется по формуле Хартли и равно log₂32=5

Пример 4. Бросаются одновременно две игральные кости. Определить количество информации, содержащееся в сообщении о том, что произведение числа выпавших очков нечетно.

Небходимо досчитать вероятность выпадения четного и нечетного произведений.

Всего граней на двух костях 36, нечетные события (1,3, 5) для двух купиков 3*3=9.

Вероятность нечетного произведения = 1/4. Четного 3/4

Используем формулу Шеннона

Получаем:

-0.25*log₂0.25-0.75*log₂0.75

Пример 5. Бросаются одновременно две игральные кости. Определить количество информации, содержащееся в сообщении о том, что сумма выпавших очков не равна 6.

Небходимо досчитать вероятность выпадения суммы равной 6.

{1,2,3,4,5,6} 1-5, 5-1, 2-4, 4-2, 3-3 Получаем p₁=5/36

Формула Шеннона,

-5/36*log₂5/36-31/36*log₂31/36

Пример 5.1. Сколькими способами можно передать положение фигур на шахматной доске? Чему равно количество информации в каждом случае?

Решение. Можно пронумеровать все клетки шахматной доски и передавать номер клетки. Для этого потребуется 64 качественных признака m = 64, но для передачи номера клетки достаточно буде одного сообщения.

При этом количество информации

Указать на доске необходимую клетку можно, передав ее координаты по горизонтали и вертикали. Для этого достаточно восьми качественных признаков (восемь номеров по горизонтали и восемь по вертикали), но передавать нужно будет два сообщения. При этом количество информации

Если номер по горизонтали и вертикали передавать двоичным кодом, потребуется два качественных признака, которые комбинируются по три элемента в сообщении. При этом количество информации

Пример 6. Какое количество информации (по Шеннону) получено, если стало известно точно на какое поле шахматной доски, какого цвета и какая фигура поставлена?

Черный король на поле h7.

Воспользуемся формулой: I = –log p, где

p_чкph7 – вероятность оказаться черному королю на поле h7. Эта вероятность получается от одновременного наступления трех событий: выбрали черные фигуры ( p_ч=¹⁄₂ ), короля ( p_кр=¹⁄₁₆ ) и поле h7 ( p_h7=¹⁄₆₄ ).

Так как события независимые, то p_чкрh7 = p_ч · p_кр · p_h7 и, следовательно,

бит.

Аналогично рассуждая можно подсчитать количество информации для любой фигуры, учитывая, что вероятность выбора пешки – 1\2; слона, ладьи и коня –1\8; а ферзя и короля –1\16.

Подсчитайте самостоятельно количество информации для разных фигур и среднее количество информации на одну фигуру.

Ответ должен получиться – 9,125[бит].

Пример 7. Алфавит состоит из букв А, В, С, D. Вероятности появления букв равны соответственно рА=рв=0,25; рс =0,34; рD=0,16. Определить количество информации на символ сообщения, составленного из такого алфавита.

Решение. Количество информации на символ алфавита есть энтропия данного алфавита. Так как символы алфавита неравновероятны, то энтропия равна

Задачи для самостоятельной работы ( к защите коллоквиума)

1. Загадана клетка на шахматной доске. Сколько вопросов, требующих ответа "да" или "нет", необходимо, чтобы отгадать эту клетку?

2. В доме 16 квартир, в каждой проживает в среднем по 2 человека. Какое минимальное количество вопросов, требующих ответа "да" или "нет", необходимо, чтобы однозначно найти одного жителя?

3. В доме 16 квартир, в каждой проживает ровно по 1 человеку. Какое минимальное количество вопросов, требующих ответа "да" или "нет", необходимо, чтобы однозначно найти одного жителя?

4. Бросаются одновременно две игральные кости. Определить количество информации, содержащееся в сообщении о том, что произведение числа выпавших очков четно.

5. Бросаются одновременно две игральные кости. Определить количество информации, содержащееся в сообщении о том, что сумма выпавших очков равна 6.

6. Бросаются одновременно две игральные кости. Определить количество информации, содержащееся в сообщении о том, что сумма выпавших очков не равна 6.

7. Бросаются одновременно две игральные кости. Определить количество информации, содержащееся в сообщении о том, что сумма выпавших очков не равна 6.

8. Бросаются одновременно две игральные кости. Определить количество информации, содержащееся в сообщении о том, что произведение числа выпавших очков нечетно.

9. Часы остановились и показывают 15:23. Определить количество информации в данном сообщении.

10. Источник генерирует знак z1 с вероятностью p1 и z2 с вероятностью p2. Определить среднее количество информации в сообщении из n символов данного алфавита, считая, что связь между последовательными символами отсутствует.

11. Источник генерирует знак z1 с вероятностью p1 и z2 с вероятностью p2. Какова энтропия источника?

12. Студент с равной вероятностью может получить любую оценку на экзамене. Определить количество информации, содержащееся в сообщении о том, что он сдал, но не на 5.

13. Студент с равной вероятностью может получить лубую оценку на экзамене. Определить количество информации, содержащееся в сообщении о том, что он сдал экзамен.

14. Студент с равной вероятностью может получить любую оценку на экзамене. Определить количество информации, содержащееся в сообщении о том, что он сдал на 4.

15. Студент сдает зачет. Он может сдать зачет и не сдать с равной вероятностью. Определить количество информации, содержащееся в сообщении о том, что он сдал зачет.

16. Студент сдает зачет. Вероятность сдать p1, не сдать - p2. Определить количество информации, содержащееся в сообщении о том, что он не сдал зачет.

17. Студент сдает зачет. Вероятность сдать p1, не сдать - p2. Определить количество информации, содержащееся в сообщении о том, что он сдал зачет.

18. Два стрелка, для которых вероятности попадания в мишень равны соответственно p1 и p2, производят по одному выстрелу. В результате оказалось, что мишень поражена. Какое количество информации содержится в этом сообщении?

19. Два стрелка, для которых вероятности попадания в мишень равны соответственно p1 и p2, производят по одному выстрелу. В результате оказалось, что мишень не была поражена. Какое количество информации содержится в этом сообщении?

20. Имеется n одинаковых монет, одна из которых легче. Сколько взвешиваний на чашечных весах необходимо и достаточно, чтобы ее найти?

21. Человек загадывает число в диапазоне от 0 до 15. Какое минимальное количество вопросов, требующих ответа "да" или "нет", необходимо, чтобы отгадать это число?

22. Человек загадывает число в диапазоне от 0 до 15. Известно, что загадывающий точно через раз дает то верный, то неверный ответ. Какое минимальное количество вопросов, требующих ответа "да" или "нет", необходимо, чтобы отгадать это число?

23. Задача 1.12. Чему равна энтропия системы, состояние которой описывается дискретной величиной со следующим распределением вероятностей:

24. Чему равно количество информации в сообщении, переданном в двоичном коде пятизначной комбинацией и двумя пятизначными комбинациями, если символы кодируемого алфавита равновероятны?

25. Чему равно количество информации при получении 8 сообщений равномерного четырехзначного троичного кода?