Часть I Информация, системы счисления, основы логики, информационные модели

1. Измерение и кодирование информации

Справочные сведения

Измерение информации. Формула Хартли

Любая информация, которую мы получаем, может быть измерена. Минимальной единицей информации является один бит. Информация имеет размер 1 бит, если она позволяет в два раза уменьшить неопре­деленность наших знаний о некотором событии. Например, если нам сообщили, что при бросании монеты выпал орел, мы получили 1 бит информации. Действительно, до этого сообщения мы могли предпо­лагать, что выпал либо орел, либо решка, т. е. были возможны два равновероятных события, а переданное сообщение позволило выделить одно из них.

Сведения, уменьшающие неопределенность более чем в два раза, очевидно, несут больший объем информации. Предположим, что перед нами 4 коробки с номерами 1,2, 3,4, а внутри одной из них находится приз. Если нам сообщат, что приз находится в коробке с четным номе­ром, то неопределенность уменьшится в два раза. Однако, получив эту информацию (объемом 1 бит), мы еще не сможем однозначно опреде­лить, в какой коробке приз. Если же нам дополнительно скажут, что номер коробки с призом больше 2, то эта информация (также уменьша­ющая неопределенность в два раза и, следовательно, имеющая объем 1 бит), объединенная с предыдущей информацией, позволит однозначно определить, что приз находится в коробке номер 4 (число 4 больше двух и является четным). Таким образом, получив 2 бита информации, мы смогли в 4 раза уменьшить неопределенность наших знаний. Можно также сказать, что для выделения одного элемента из четырех доста­точно передать информацию объемом 2 бита.

Если у нас 8 элементов, то для однозначного определения одного из них необходимо получить информацию объемом 3 бита. Действительно,

Часть I. Информация, системы счисления, основы логики, информационные модели 9

поскольку один бит информации вдвое уменьшает неопределенность, получив его, мы уменьшим число возможных элементов до четырех. Получив затем еще один бит, мы уменьшим число элементов до двух и, наконец, получив еще один, третий бит, мы сможем выбрать один элемент из двух оставшихся.

Рассуждая аналогичным образом, можно прийти к выводу, что для выбора одного из 2^N элементов необходимо получить информацию объемом N бит. Можно сказать и по-другому: если могло произойти одно из 2^N равновероятных событий, то сообщение о том, какое событие на самом деле произошло, содержит N бит информации.

Итак, для выбора одного элемента из двух надо получить 1 бит ин­формации, для выбора одного элемента из четырех — 2 бита, из вось­ми — 3 бита, из шестнадцати — 4 бита и т. д. Если обозначить через К количество элементов, а через р — объем информации, необходимый для выбора одного из них, то для нахождения значения р получаем формулу, называемую формулой Хартли':

p=\og₂K.

Разумеется, формула Хартли будет давать целочисленное значение только для чисел К, являющихся степенью числа 2. В этом случае вмес­то нее можно использовать более простую формулу, позволяющую определить объем информации р, необходимой для выбора одного из К элементов:

2' = К.

Заметим, что в большинстве задач ЕГЭ, связанных с вычислением объема информации, достаточно использовать этот вариант формулы Хартли, не прибегая к логарифмам.

Если К не является степенью двойки, то формула Хартли будет давать дробное число битов. Например, при К = 3 формула даст/> = log₂3 = = 1,584963... . Таким образом, для того чтобы узнать, какое из трех равновозможных событий произошло, мы должны получить инфор­мацию объемом 1,584963... бита. Зная эту величину, мы можем легко определить объем информации, необходимый, например, для выбора одного из 6 элементов. Действительно, получив 1 бит информации, мы уменьшим неопределенность вдвое, а для выбора одного из оставшихся

¹ Американский инженер Р. Хартли предложил эту формулу в 1928 г. В 1948 г. американский математик К. Шеннон обобщил формулу Хартли на случай, ког­да изучаемые события не являются равновероятными. Мы не приводим форму­лу Шеннона, поскольку в задачах ЕГЭ она не используется.

10

Информатика

трех элементов, как мы уже установили, требуется 1,584963... бита. Зна­чит, общее количество информации равно 1 + 1,584963... = 2,584963... бита. Этот результат находится в полном соответствии с формулой Хартли: log₂6 = 2,584963... .