1. Частотный словарь русского языка – словарь вероятностей (частот) появления букв в произвольном тексте – приведен ниже. Определите, какое количество информации несет каждая буква этого словаря.

Символ	Частота	Символ	Частота	Символ	Частота	Символ	Частота
о	0,090	в	0,035	я	0,018	ж	0,007
е, ё	0,072	к	0,028	ы, з	0,016	ю, ш	0,006
а, и	0,062	м	0,026	ь, ъ, б	0,014	ц, щ, э	0,003
т, н	0,053	д	0,025	ч	0,013	ф	0,002
с	0,045	п	0,023	й	0,012
р	0,040	у	0,021	х	0,009

2. Используя результаты решения предыдущей задачи, определите количество информации в слове «ИНФОРМАТИКА».

3. Используя решение задачи №1, определите количество информации в фразе «ПОВТОРЕНИЕ – МАТЬ УЧЕНИЯ».

4. Возьмите произвольный текст на английском языке (3-4 страницы) и составьте частотный словарь английского языка. Определите, какое количество информации несет каждая буква этого словаря.

5. Используя результаты решения предыдущей задачи, определите количество информации в слове «INFORMATION». (Информатика. Задачник – практикум в 2 т. / Л. А. Залогова, М. А. Плаксин, С. В. Русаков и др. Под ред. И. Г. Семакина, Е. К. Хеннера: ТомI. – 2-е изд. – М.: Бином. Лаборатория знаний, 2005. – 304 с.: ил.)

Содержательный подход

С позиции содержательного подхода к измерению информации решается вопрос о количестве информациив сообщении, получаемом человеком. Рассматривается следующая ситуация:

1) человек получает сообщение о некотором событии; при этом заранее известна неопределенность знаниячеловека об ожидаемом событии. Неопределенность знания может быть выражена либо числом возможных вариантов события, либо вероятностью ожидаемых вариантов события;

2) в результате получения сообщения неопределенность знания снимается: из некоторого возможного количества вариантов оказался выбранным один;

3) по формуле вычисляется количество информации в полученном сообщении, выраженное в битах.

Формула, используемая для вычисления количества информации, зависит от ситуаций, которых может быть две:

1. Все возможные варианты события равновероятны. Их число конечно и равно N.

2. Вероятности (p) возможных вариантов события разные и они заранее известны:{p_i}, i= 1..N. Здесь по-прежнемуN– число возможных вариантов события.

Равновероятные события.

События равновероятны, если ни одно из них не имеет преимущества перед другими.Если обозначить буквойi количество информации в сообщении о том, что произошло одно изNравновероятных событий, то величиныiиN связаны между собой формулой Хартли:

2ⁱ = N (1)

Величина i измеряется в битах. Отсюда следует вывод:

1 бит – это количество информации в сообщении об одном из двух равновероятных событий.

Формула Хартли – это показательное уравнение. Если i– неизвестная величина, то решением уравнения (1) будет:

i= log₂N (2)

Формулы (1) и (2) тождественны друг другу. Иногда в литературе формулой Хартли называют (2).

Пример 1.Сколько информации содержит сообщение о том, что из колоды карт достали даму пик?

В колоде 32 карты. В перемешанной колоде выпадение любой карты – равновероятные события. Если i– количество информации в сообщении о том, что выпала конкретная карта (например, дама пик), то из уравнения Хартли:

2ⁱ= 32 = 2⁵

Отсюда: i= 5 бит.

Пример 2.Сколько информации содержит сообщение о выпадении грани с числом 3 на шестигранном игральном кубике?

Считая выпадение любой грани событием равновероятным, запишем формулу Хартли: 2ⁱ= 6. Отсюда:i= log₂6 = 2,58496 бит.

Пример 3. В доме 160 квартир. Сколько бит должно содержать двоичное слово, чтобы закодировать в этом доме двоичным кодом все квартиры?

Решение:

Количество символов в алфавите 2⁷< N < 2⁸. Значит, минимальная разрядность двоичного слова равна 8.

Ответ: 8 бит.

Можно изменить условие, если нужно закодировать номера квартир троичным кодом.

Количество символов в алфавите 3⁴< N < 3⁵. Значит, минимальная разрядность двоичного слова равна 5.

Пример 4. Обычный дорожный светофор без дополнительных секций подает шесть видов сигналов (непрерывные красный, желтый и зеленый, мигающий желтый, мигающий зеленый, мигающие красный и желтый одновременно). Электронное устройство управления светофором последовательно воспроизводит записанные сигналы. Подряд записано 100 сигналов светофора. Каков данный информационный объем в байтах?

Решение: i= 1оg₂6 = 2, 58 = 3 (бита).

Для кодирования шести различных состояний достаточно 3-х битов (при этом две комбинации даже остаются не­востребованными). Таким образом, 100 сигналов кодируется 300 битами. Делим это число на 8 (1 байт = 8 бит) и округляем в большую сторону (дробных байтов не бывает). Получаем 38 байтов.

Ответ: 38 байт.

Задачи для самостоятельного решения

1. Ваш приятель живет в восьмиэтажном доме. Какое количество информации содержится в сообщении: «Он живет на третьем этаже»?

2. Световое табло состоит из лампочек, каждая из которых может находиться в двух состояниях («включено» или «выключено»). Какое наименьшее количество лампочек должно находиться на табло, чтобы с его помощью можно было передать 120 различных сигналов?

3. Световое табло состоит из лампочек. Каждая лампочка может находиться в одном из трех состояний («включено», «выключено» или «мигает»). Какое наименьшее количество лампочек должно находиться на табло, чтобы с его помощью можно было передавать 18 различных сигналов?

4. В корзине лежат 8 шаров. Все шары разного цвета. Сколько информации несет сообщение о том, что из корзины выкатился синий шар?

5. Какое количество информации содержит сообщение, уменьшающее неопределенность знаний в 8 раз?

6. Какое максимальное количество бит потребуется для кодирования целых положительных чисел меньших 60?