Методы измерения количества информации Теоретические сведения

1. Измерение информации: содержательный подход

Получение информации можно связать с уменьшением неопределенности знания. Это позволяет количественно измерять информацию, что чрезвычайно важно для информатики. Другими словами можно сказать, что количество информации, заключенное в сообщении, определяется объемом знаний, которое оно несет приемнику информации (например, получающему человеку).

Рассмотрим вопрос об определении количества информации на конкретном примере. Пусть у нас имеется монета, которую мы бросаем на ровную поверхность. С равной вероятностью произойдет одно из двух возможных событий – монета окажется в одном из двух положений: «орел» или «решка».

Перед броском существует неопределенность нашего знания (возможны два события), и как упадет монета, предсказать невозможно. После броска наступает полная определенность, так как мы видим (получаем зрительное сообщение), что монета в данный момент находится в определенном положении (например, «орел»). Это сообщение приводит к уменьшению неопределенности нашего знания в два раза, так как из двух возможных равновероятных событий реализовалось одно.

Дискретный (цифровой) сигнал в компьютере обычно представляет собой набор значений из условных нуля и единицы. Измеряя этот сигнал в каждый момент времени мы тоже уменьшаем меру неопределенности в два раза.

В окружающей действительности достаточно часто встречаются ситуации, когда может произойти некоторое количество равновероятных событий. Так например, если мы не знаем какой сейчас месяц, то полученное сообщение «в данный момент время года зима» уменьшает меру нашей неопределенности в 4 раза, так как времени года зима соответствуют три месяца из двенадцати возможных.

Процесс получения информации как выбор одного сообщения из конечного, наперёд заданного, множества из N равновероятных сообщений рассматривал американский инженер Ральф Хартли в 1928 г. Количество информации I, содержащееся в выбранном сообщении, он определял как двоичный логарифм N. Таким образом он получил следующую форму:

N = log₂(I).

(1.1)

Данная формула впоследствии была названа в честь изобретателя – формула Хартли.

Приведем пример расчета количества информации по формуле Хартли.

Задача 1. В лотерейном барабане 32 шара. Сколько информации содержит сообщение о первом выпавшем номере?

Решение:

Выпадение любого из шаров равновероятно. Поэтому количество информации о первом выпавшем номере можно найти по формуле Хартли:

I = log₂(N), следовательно 2^I = N. Получаем уравнение: 2^I = 32. Отсюда I = 5.

Ответ: I = 5 бит.

2. Измерение информации: алфавитный подход

Определение количества информации на основе уменьше­ния неопределенности нашего знания рассматривает инфор­мацию с точки зрения содержания, ее понятности и новизны для человека. С этой точки зрения в опыте по бросанию моне­ты одинаковое количество информации содержится и в зрите­льном образе упавшей монеты, и в коротком сообщении «Орел», и в длинной фразе «Монета упала на поверхность земли той стороной вверх, на которой изображен орел».

Однако при хранении и передаче информации с помощью технических устройств целесообразно отвлечься от содержа­ния информации и рассматривать ее как последовательность символов – знаков (букв, цифр, кодов цветов точек изобра­жения и т. д.).

Набор символов знаковой системы (алфавит) можно рассматривать как различные возможные состояния (события).

Тогда, если считать, что появление символов в сообщении равновероятно, по формуле (1.1) можно рассчитать, какое количество информации несет каждый символ. Информацион­ная емкость знаков зависит от их количества в алфавите (мощ­ности алфавита): чем больше их количество, тем большее ко­личество информации несет один знак.

Так, информационная емкость буквы в русском алфавите, если не использовать букву «ё», составляет:

32 = 2^I, т.е. I = 5 битов.

На основании алфавитного подхода можно подсчитать ко­личество информации в сообщении I_с, для этого необходимо умножить количество информации, которое несет один сим­вол I, на количество символов К в сообщении:

I_{с =} I * К.

(2.1)

Задание «Определение количества информации в тек­сте». Система оптического распознавания символов позволяет преобразовывать отсканированные изображения страниц до­кумента в текстовый формат со скоростью 4 страницы в мину­ту и использует алфавит мощностью 65 536 символов. Какое количество информации будет нести текстовый документ, каждая страница которого содержит 40 строк по 50 символов, после 10 минут работы приложения?

По формуле (1.1) определим информационную емкость символа алфавита:

65 536 = 2^I => 2¹⁶ = 2^I => I = 16 битов.

По формуле (2.1) определим количество информации на странице:

16 битов х 40 х 50 = 32 000 битов = 4000 байтов.

Определим количество информации, которое будет нести текстовый документ:

4000 байтов х 4 х 10 = 160 000 байтов = 156 Кбайт.

Ответ: 156 Кбайт.