Практические задания

1. В школьной библиотеке 16 стеллажей с книгами. На каждом стеллаже 10 полок. Библиотекарь сообщил Андрею, что нужная ему книга находится на втором стеллаже на третьей полке сверху. Какое количество информации библиотекарь передал Андрею?

2. В коробке лежат 7 цветных карандашей. Какое количество информации содержит сообщение, что из коробки достали красный карандаш?

3. Сколько бит информации несет угадывание числа из заданного диапазона, в котором находится 128 чисел?

4. Какое количество информации несет в себе сообщение о том, что нужный файл находится на одной из четырех дискет?

5. После прочтения статьи неопределенность знаний уменьшается в 8 раз. Какое количество информации содержит текст?

2.4. Вероятностный подход к измерению информации

Рассмотрим ряд примеров.

Пример 1. На ровную поверхность мы бросаем монету. При этом она окажется в одном из двух положений: «орел» или «решка». Каждое из этих событий произойдет с равной вероятностью.

Решение: Обозначим р_р – вероятность выпадения «решки», р_о – вероятность выпадения «орла», тогда р_р = р_о = 1/2 = 0,5.

Пример 2. В коробке лежат 12 карандашей разного цвета. С равной вероятностью из коробки могут достать карандаш любого цвета.

Решение: р = 1/12.

Количество информации i и число равновероятных событий N связаны между собой формулой Хартли: i = log₂N.

Пример 3. В вазе лежат 16 конфет разного вида. Сколько информации несет сообщение о том, что из вазы взяли конфету «Ромашка»?

Решение: То, что из вазы возьмут любую из 16 конфет, равновероятно, следовательно, количество информации об одной такой конфете находится по формуле i = log₂16 = 4 бита.

Зависимость вероятности события и общего числа этих событий определяется по формуле N = 1/p.

Отсюда формула Хартли примет вид i = log₂(1/p). Данная формула применяется и для тех случаев, когда вероятности результатов опыта неодинаковы.

Пример 4. В коробке лежат 6 желтых, 10 красных, 8 синих и 6 зеленых кубиков. Сколько информации несет сообщение о том, что достали синий кубик, желтый кубик, красный кубик, зеленый кубик?

Решение: Обозначим р_ж – вероятность попадания при вытаскивании желтого кубика; р_к – вероятность попадания при вытаскивании красного кубика; р_с – вероятность попадания при вытаскивании синего кубика; р_з – вероятность попадания при вытаскивании зеленого кубика. Тогда

р_ж = 6/30 = 1/5; i = log₂5 = 2,32193;

p_к = 10/30 = 1/3; i = log₂3 = 1,58496;

p_с = 8/30 = 4/15; i = log₂3,75 = 1,90689;

p_з = 6/30 = 1/5; i = log₂5 = 2,32193.

Вероятностный метод используется и для алфавитного подхода. В этом случае используется формула Шеннона .

Пример 5. Какое количество информации будет получено при бросании несимметричной четырехгранной пирамиды, если вероятности отдельных событий будут равны р₁ =1/4; р₂ = 3/8; р₃ = 1/8; р₄ =1/4.

Решение: Количество информации, полученное при реализации одного из четырех возможных событий, равно

I = – (1/4 ∙ log₂1/4 + 3/8 ∙ log₂3/8 + 1/8 ∙ log₂1/8 + 1/4 ∙ log₂1/4) =

= – (–1/2 +3/8 ∙ 1,58 – 9/8 – 3/8 – 1/2) = 1,9075.