Министерство образования Российской Федерации

Чайковский филиал

Пермский Государственный Технический Университет

Кафедра Информационных технологий

Практическая работа

«Количество информации и вероятность»

по дисциплине информатика

г.Чайковский

2002

Практическая работа «Количество информации и вероятность» по дисциплине информатика составила ст. преподаватель кафедры Информационных технологий Невоструева Т.В.

Практическая работа «Количество информации и вероятность» по дисциплине информатика обсуждены на заседании кафедры Информационных технологий «______» ______________ 2002 г.

Зав. кафедрой ________________________

Одобрено учебно-методическим отделом _______________________

______________________________________ «____» _______2002 г.

Директор учебно-методического отдела ________________________

Количество информации и вероятность

Рассмотрим несколько примеров.

1. В коробке имеется 50 шаров. Из них 40 белых и 10 черных. Очевидно, вероятность того, что при вытаскивании «не глядя» попадется белый шар больше, чем попадания черного.

2. Сережа — лучший ученик в классе. Вероятность того, за контрольную по математике Сережа получит «5» больше, вероятность получения двойки.

3. В пруду живут 8000 карасей, 2000 щук и 40 000 пескарей. «Самая большая вероятность для рыбака — поймать в этом пруду пескаря, на втором месте — карась, на третьем — щука.

Выше «сделаны качественные заключения о вероятностях событий, которые интуитивно понятны. Однако вероятность может быть выражена количественно.

Пример 1. Обозначим р_ч — вероятность попадания при вытаскивании черного шара, р_б — вероятность попадания белого шара. Тогда:

р_ч = 10/50 = 0,2; р_б = 40/50 = 0,8.

Отсюда видно, что вероятность попадания белого шара в 4 раза больше, чем черного.

Пример 2. Представим себе, что мы изучили успеваемость Сережи за несколько лет учебы. За это время он получил по математике 100 оценок. Из них: 60 пятерок, 30 четверок, 8 троек и 2 двойки. Допуская, что такое распределение оценок может сохраниться и в дальнейшем, вычислим вероятность получения каждой из оценок.

Р₅ = 60/100 = 0,6; Р₃= 8/100 = 0,08;

Р₄ = 30/100 = 0,3; Р₂ = 2/100 = 0,02.

Пример 3. Всего в пруду обитают 50000 рыб. Из предыдущих примеров можно догадаться, что вероятность попадания на удочку каждого из видов рыб равна его доле в общем количестве. Отсюда:

Р_к= 8000/50000 = 0,16;

Р_щ= 2000/50000 = 0,04;

Р_п= 40000/50000 = 0,8.

Из рассмотренных примеров можно сделать вывод: если N — это общее число возможных исходов какого-то процесса (вытаскивание шара, получение оценки, ловля рыбы), и из них интересующее нас событие (вытаскивание белого шара, получение пятерки, попадание щуки) может произойти К раз, то вероятность этого события равна K/N.

Вероятность выражается в долях единицы. В частном случае, вероятность достоверного события 'равна 1 (из 50 белых шаров вытащен белый шар); вероятность невозможного события равна нулю (из 50 белых шаров вытащен черный шар).

Качественную связь между вероятностью события и количеством информации в сообщении об этом событии можно выразить так: чем меньше вероятность некоторого события, тем больше информации содержит сообщение об этом событии.

Например, сообщение о том, что Сережа получил двойку по математике, содержит больше информации для тех, кто его знает, чем сообщение о пятерке. Сообщение, что рыбак поймал в пруду щуку, более информативно, чем сообщение о том, что на удочку попался пескарь. Количественная зависимость между вероятностью события (р) и количеством информации в сообщении о нем (i) выражается формулой:

i = Iog₂(l/p).

Пример 4. В задаче о шарах определим количество информации в сообщении о попадании белого шара и черного шара:

1_б = Iog₂(l/0,8) = Iog₂(l,25) = 0,321928;

1_ч= Iog₂(l/0,2) = Iog₂5 = 2,321928.

Вероятностный метод применим и для алфавитного подхода к измерению информации, заключенной в тексте. Известно, что разные символы (буквы алфавита, знаки препинания и др.) встречаются в тексте с разной частотой и, следовательно, имеют разную вероятность. Значит, измерять информационный вес каждого символа в тексте так, как это делалось раньше (в предположении равновероятности), нельзя.

Пример 5. В алфавите племени МУМУ всего 4 буквы (А, У, М, К), один знак препинания (точка) и для разделения слов используется пробел. Подсчитали, что в популярном романе «Мумука» содержится всего 10000 знаков, из них: букв А — 4000, букв У — 1000, букв М — 2000, букв К — 1500, точек — 500, пробелов — 1000. Какой объем информации содержит книга? Решение.

Поскольку объем книги достаточно большой, то можно допустить, что вычисленная по ней частота встречаемости в тексте каждого из символов алфавита характерна для любого текста на языке МУМУ. Подсчитаем частоту встречаемости каждого символа во всем тексте книги (т.е. вероятность) и информационные веса символов:

буква А: 4000/10000 = 0,4; i_A = Iog₂(l/0,4) = 1,321928;

буква У: 1000/10000 = 0,1; i_y= Iog₂(l/0,l) = 3,1928;

буква М: 2000/10000 = 0,2; i_M= Iog₂(l/0,2) = 2,321928;

буква К: 1500/10000 = 0,15; i_K= Iog₂(l/0,15) = 2,736966;

точка: 500/10000 = 0,05; i_точка= Iog₂(l/0,05) = 4,321928;

пробел: 1000/10000 = 0,1 i_пробел= Iog₂( 1/0,1) = 3,321928.

Общий объем информации в книге вычислим как сумму произведений информационного веса каждого символа на число повторений этого символа в книге:

I = i_A x n_A + i_Y x n_Y + i_M x n_M + i_K x n_K + i_ТОЧКА x n_ТОЧКА + i_ПРОБЕЛ x n_ПРОБЕЛ = 1,321928 х 4000 + 3,1928 х 1000 + 2,321928 х 2000 + 2,736966 х 1500 + 4,321928 х 500 + 3,321928 х 100 = 22841,84 бита.

Решение задач.

Вариант 1

1. В корзине лежат 8 черных шаров и 24 белых. Сколько информации несет сообщение о том, что достали черный шар?

2. В коробке лежат 64 цветных карандаша. Сообщение о том, что достали белый карандаш, несет 4 бита информации. Сколько белых карандашей было в корзине?

3. В классе 30 человек. За контрольную работу по математике получено 6 пятерок, 15 четверок, 8 троек и 1 двойка. Какое количество информации в сообщении о том, что Иванов получил четверку?

4. За четверть ученик получил 100 оценок. Сообщение о том, что он получил четверку, несет 2 бита информации. Сколько четверок ученик получил за четверть?

5. В корзине лежат белые и черные шары. Среди них 18 черных шаров. Сообщение о том, что из корзины достали белый шар, несет 2 бита информации. Сколько всего в корзине шаров?

6. Частотный словарь русского языка — словарь вероятностей (частот) появления букв в произвольном тексте (см. таблицу). Определите, какое количество информации несет каждая буква этого словаря. Используя результат решения предыдущей задачи, определите количество информации в слове «ИНФОРМАТИКА».

Символ	Частота	Символ	Частота	Символ	Частота	Символ	Частота
о	0.090	в	0.035	я	0.018	ж	0.007
е,	0.072	к	0.028	ы, з	0.016	ю, ш	0.006
а, и	0.062	м	0.026	ь, ъ, б	0.014	ц, щ, э	0.003
т, н	0.053	д	0.025	ч	0.013	ф	0.002
с	0.045	п	0.023	й	0.012
р	0.040	у	0.021	х	0.009

Вариант 2

2. В корзине лежат 32 клубка шерсти. Среди них — 4 красных. Сколько информации несет сообщение о том, что достали клубок красной шерсти?

3. В ящике лежат перчатки (белые и черные). Среди них — 2 пары черных. Сообщение о том, что из ящика достали пару черных перчаток, несет 4 бита информации. Сколько всего пар перчаток было в ящике?

4. Известно, что в ящике лежат 20 шаров. Из них 10 — черных, 5 — белых, 4 — желтых и 1 — красный. Какое количество информации несут сообщения о том, что из ящика случайным образом достали черный шар, белый шар, желтый шар, красный шар?

5. Для ремонта школы использовали белую, синюю и коричневую краски. Израсходовали одинаковое количество банок белой и синей краски. Сообщение о том, что закончилась банка белой краски, несет 2 бита информации. Синей краски израсходовали 8 банок. Сколько банок коричневой краски израсходовали на ремонт школы?

6. Частотный словарь русского языка — словарь вероятностей (частот) появления букв в произвольном тексте (см. таблицу). Определите, какое количество информации несет каждая буква этого словаря. Используя решение задачи, определите количество информации в фразе «ПОВТОРЕНИЕ — МАТЬ УЧЕНИЯ».

Символ	Частота	Символ	Частота	Символ	Частота	Символ	Частота
о	0.090	в	0.035	я	0.018	ж	0.007
е,	0.072	к	0.028	ы, з	0.016	ю, ш	0.006
а, и	0.062	м	0.026	ь, ъ, б	0.014	ц, щ, э	0.003
т, н	0.053	д	0.025	ч	0.013	ф	0.002
с	0.045	п	0.023	й	0.012
р	0.040	у	0.021	х	0.009