информатика_1 / лекции / 3
.pdfПримеры:
1) В опыте с однократным подбрасыванием игральной кости
имеется 6 элементарных событий A1, A2, …, A6.
Следовательно, n = 6. Рассмотрим событие B1 — выпало
чётное число очков. Этому событию благоприятствуют 3 исхода: A2 — выпало два очка; A4 — выпало четыре очка; A6
— выпало шесть очков. В любом из этих случаев событие
«выпало чётное число очков» происходит. Следовательно,
m = 3. Итак, P(B1) = 3/6 = 1/2.
2) Пусть в коробке находится 1024 шара, из них 64 чёрных, остальные белые. Опыт заключается в том, что из хорошо перемешанной коробки наудачу извлекается один шар.
Рассмотрим событие A — вынут чёрный шар. Всего имеется 1024 элементарных исхода: мог быть вынут любой из 1024
шаров. Следовательно, n = 1024. Благоприятствующих
событию A исходов 64: если вынут любой из 64 чёрных
шаров, то событие A произошло. Следовательно, m = 64.
Итак, P(A) = 64/1024=26/210=1/24=1/16.
Количество информации и вероятность
Поскольку наступление каждого из N возможных
событий имеет одинаковую вероятность p = 1 / N, то N = 1 / p и формула Хартли может быть записана так:
I = log2 (1/p) = - log2 p.
Качественную связь между вероятностью некоторого события и количеством информации в сообщении об
этом событии можно выразить так: чем меньше вероятность некоторого события, тем больше информации содержит сообщение об этом событии.
Примеры тестовых заданий
АКоличество бит информации в сообщении "пойманная в пруду рыба - карп" (всего в пруду 256 карасей, 44 щуки,
100 карпов) равно__
Варианты ответов: 2; 4; 3; 5; 1.
АИзвестно, что Миша был в числе финалистов олимпиады. Количество финалистов равно 16. Шансы на победу у каждого из них считаются равными. Количество бит информации в сообщении «Миша занял пятое место» равно __ Варианты ответов: 3; 5; 4; 2; 424.
Формула Шеннона
Если исходы опыта (элементарные события) не являются равновозможными, то формулу Хартли применить
нельзя.
В таком случае для расчета количества вероятности применяют формулу Шеннона:
N
Ipi log2 pi,
i1
где N — количество событий;
pi — вероятность i-го события (i = 1, 2, …, N).
Формулу Шеннона можно переписать так
N
I pi log2 p1i .
i 1
Величину log2(1/pi) можно интерпретировать как частное
количество вероятности в случае реализации i-го
события, а саму формулу Шеннона можно рассматривать как математическое ожидание случайной величины I.
Значение величины I зависит от случая, т.е. I является случайной величиной. Причем величиной дискретной,
т.е. принимающей отдельные изолированные значения.
Сумму произведений значений дискретной случайной величины на соответствующие вероятности называют
математическим ожиданием (средним значением) этой
случайной величины.
Пример. Рассмотрим «неправильную» монету, для которой вероятность выпадения герба равна 3/4, а
вероятность выпадения решки равна 1/4.
Опыт заключается в однократном подбрасывании
монеты. Элементарные события «выпал герб» и «выпала
решка» не равновозможны. Количество информации, которое несёт сообщение об исходе опыта (например, что
выпал герб) можно найти по формуле Шеннона.
Алфавитный подход к измерению информации (объёмный)
В технике, где информацией считается любая
хранящаяся, обрабатываемая или передаваемая последовательность знаков, сигналов, часто используют
простой способ определения количества информации,
который может быть назван объемным. Он основан на
подсчете числа символов в сообщении, то есть связан только с длиной сообщения и не учитывает его содержания. Такой подход позволяет реализовать передачу, хранение и обработку информации с помощью технических устройств.
Алфавит – некоторое конечное множество символов, используемых при записи сообщений.
Мощность алфавита – количество всех возможных
символов в данном алфавите.
Пример. Пусть используется алфавит мощностью 256 символов. Тогда каждый символ текста несёт 8 бит информации (28 = 256).
Пример. Измерить информационный объем сообщения
«Я очень люблю информатику!», записанного с помощью 256-ти символьного алфавита. Считаем, что
символы появляются в тексте с равной вероятностью.
Решение. Всего в сообщении 26 символов с учетом
пробелов и знака препинания. Каждый символ несёт 8 бит информации, т.е. 1 байт. Информационный объем
сообщения равен 26 байт.