3. Количество информации и вероятность

Рассмотрим несколько примеров.

Пример 1. В коробке имеется 50 шаров. Из них 40 белых и 10 черных. Очевидно, вероятность того, что при вытаски­вании «не глядя» попадется белый шар больше, чем вероятность попадания черного.

Решение. Обозначим р_ч – вероятность попадания при вытаскивании черного шара, р_б – вероятность попада­ния белого шара. Тогда:

р_ч = 10/50 = 0,2; р₆ = 40/50 = 0,8.

Отсюда видно, что вероятность попадания белого шара в 4 раз больше, чем черного.

Пример 2. Сережа – лучший ученик в классе. Вероятность того, что за контрольную по математике Сережа получит «5» больше, чем вероятность получения двойки.

Решение. Представим себе, что мы изучили успевае­мость Сережи за несколько лет учебы. За это время он получил по математике 100 оценок. Из них: 60 пятерок, 30 четверок, 8 троек и 2 двойки. Допуская, что такое распре­деление оценок может сохраниться и в дальнейшем, вычислим вероятность получения каждой из оценок.

р₅ = 60/100 = 0,6; р₄ = 30/100 = 0,3;

р₃, = 8/100 = 0,08; р₂ = 2/100 = 0,02.

Пример 3. В пруду живут 8000 карасей, 2000 щук и 40 000 пескарей. Самая большая вероятность для рыбака – поймать в этом пруду пескаря, на втором месте – карась, на третьем – щука.

Решение. Всего в пруду обитают 50000 рыб. Из предыдущих примеров можно догадаться, что вероят­ность попадания на удочку каждого из видов рыб равна его доле в общем количестве. Отсюда: р_к = 8000/50000 = 0,16;

р_щ = 2000/50000 = 0,04;

р_п = 40000/50000 = 0,8.

Из рассмотренных примеров можно сделать вывод: если N – это общее число возможных исходов какого-то процесса (вытаскивание шара, получение оценки, ловля рыбы), и из них интересующее нас событие (вытаски­вание белого шара, получение пятерки, попадание щуки) может произойти К раз, то вероятность этого события равна K/N.

Вероятность выражается в долях единицы. В частном слу­чае, вероятность достоверного события равна 1 (из 50 белых шаров вытащен белый шар); вероятность невозможного собы­тия равна нулю (из 50 белых шаров вытащен черный шар).

Качественную связь между вероятностью события и коли­чеством информации в сообщении об этом событии можно вы­разить так: чем меньше вероятность некоторого события, тем больше информации содержит сообщение об этом событии.

Например, сообщение о том, что Сережа получил двойку по математике, содержит больше информации для тех, кто его знает, чем сообщение о пятерке. Сообщение, что рыбак поймал в пруду щуку, более информативно, чем сообщение о том, что на удочку попался пескарь. Количественная зависимость между вероятностью события (р) и количеством информации в сооб­щении о нем (i) выражается формулой:

.

Пример 4. В задаче о шарах определим количество ин­формации в сообщении о попадании белого шара и чер­ного шара:

i_б = log ₂ (l/0,8) = log ₂ (l,25) = 0,321928;

i_ч = log ₂ (l/0,2) = log ₂ 5 = 2,321928.

Вероятностный метод применим и для алфавитного под­хода к измерению информации, заключенной в тексте. Известно, что разные символы (буквы алфавита, знаки препинания и др.) встречаются в тексте с разной час­тотой и, следовательно, имеют разную вероятность. Значит, измерять информационный вес каждого символа в тексте так, как это делалось раньше (в предположении равновероятности), нельзя.

Пример 5. В алфавите племени МУМУ всего 4 буквы (А, У, М, К), один знак препинания (точка) и для разделения слов используется пробел. Подсчитали, что в популярном романе «Мумука» содержится всего 10000 знаков, из них: букв А – 4000, букв У – 1000, букв М – 2000, букв К – 1500, точек – 500, пробелов – 1000. Какой объем ин­формации содержит книга?

Решение. Поскольку объем книги достаточно большой, то можно до­пустить, что вычисленная по ней частота встречаемости в текс­те каждого из символов алфавита характерна для любого текста языке МУМУ. Подсчитаем частоту встречаемости каждого символа во всем тексте книги (т.е. вероятность) и информационные веса символов:

буква А: 4000/10000 = 0,4; i_A=log ₂ (1/0,4) = 1,321928;

буква У: 1000/10000 = 0,1; i_У=log ₂ (1/0,1) = 3,1928;

буква М: 2000/10000 = 0,2; i_М=log ₂ (1/0,2) = 2,321928;

буква К: 1500/10000 = 0,15; i_К=log ₂ (1/0,15) = 2,736966;

точка: 500/10000 = 0,05; i_точка=log ₂ (1/0,05) = 4,321928;

пробел: 1000/10000 = 0,1; i_пробел=log ₂ (1/0,1) = 3,321928.

Общий объем информации в книге вычислим как суму произведений информационного веса каждого символа на число повторений этого символа в книге:

I = i_А х n_А + i_У х n_У + i_М х n_М + i_К х n_К + i_точка х n_точка + i_пробел х n_пробел =

=1,321928х4000+3,1928х1000+2,321928х2000+2,736966х1500+4,321928х500+3,321928х100=22841,84 бита.

Задачи

№ 1. В корзине лежат 8 черных шаров и 24 белых. Сколько информации несет сообщение о том, что достали черный шар?

№ 2. В корзине лежат 32 клубка шерсти. Среди них – 4 красных. Сколько информации несет сообщение о том, что достали клубок красной шерсти?

№ 3. В коробке лежат 64 цветных карандаша. Сообщение о том, что достали белый карандаш, несет 4 бита информации. Сколько белых карандашей было в корзине?

№ 4. В ящике лежат перчатки (белые и черные). Среди них – 2 пари черных. Сообщение о том, что из ящика достали пару черных перчаток, несет 4 бита информации. Сколько всего пар перчаток было в ящике?

№ 5. В классе .30 человек. За контрольную работу по математике получено 6 пятерок, 15 четверок, 8 троек и 1 двойка. Какое количество информации в сообщении о том, что Иванов полу­чил четверку?

№ 6. Известно, что в ящике лежат 20 шаров. Из них 10 – черных, 5 – белых, 4 – желтых и 1 – красный. Какое количество информации несут сообщения о том, что из ящика случайным образом достали черный шар, белый шар, желтый шар, красный шар?

№ 7. За четверть ученик получил 100 оценок. Сообщение о том, что он получил четверку, несет 2 бита информации. Сколько четверок ученик получил за четверть?

№ 8. В корзине лежат белые и черные шары. Среди них 18 черных шаров. Сообщение о том, что из корзины достали белый шар, несет 2 бита информации. Сколько всего в корзине шаров?

№ 9. Частотный словарь русского языка – словарь вероятностей (частот) появления букв в произвольном тексте – приведен ниже. Определите, какое количество информации несет каждая буква этого словаря.

Символ	Частота	Символ	Частота	Символ	Частота	Символ	Частота
о	0.090	в	0.035	я	0.018	ж	0.007
е, ё	0.072	к	0.028	ы, з	0.016	ю, ш	0.006
а, и	0.062	м	0.026	ь, ъ, б	0.014	ц, щ, э	0.003
т,н	0.053	д	0.025	ч	0.013	ф	0.002
с	0.045	п	0.023	й	0.012
р	0.040	у	0.021	х	0.009

№ 10. Используя результат решения предыдущей задачи, определите количество информации в слове «ИНФОРМАТИКА».

№ 11. Используя решение задачи №10, определите количество информации в фразе «ПОВТОРЕНИЕ – МАТЬ УЧЕНИЯ».