5.1. Энтропийный способ

В теории информации и кодирования принят энтропийный или вероятностный подход к измерению информации. Количество информации– это числовая характеристика сигнала, которая отражает ту степень неопределенности (неполноту) знаний, которая исчезает после получения сообщения в виде данного сигнала. Меру неопределенности в теории информации называют энтропией, следовательно, метод называется энтропийным.

Неопределенность можно охарактеризовать количеством возможных выборов действий в конкретной ситуации, а полученную информацию величиной, на которую уменьшилась степень неопределенности. При полной информации выбора нет.

Пример 1.Необходимо найти дом, в котором на какой-то известной улице живет нужный человек. Информация о том, что номер дома четный уменьшит неопределенность в два раза.

Пример 2.Человек бросает монету и наблюдает какой стороной она упадет. Обе стороны монеты равноценны, поэтому вероятности того, что она упадет орлом или решкой одинаковы. Такой ситуации приписывается начальная неопределенность, характеризуемая двумя возможностями. Когда монета упадет, неопределенность равна 0.

Этот пример относится к группе событий, применительно к которым можно поставить вопрос типа «Да – Нет». Количество информации, которое можно получить при ответе на такой вопрос называется битом (binarydigit).

Бит - это минимальная единица количества информации, т. к. получить информацию меньше одного бита нельзя. При получении информации в один бит неопределенность уменьшается в два раза. Таким образом, бросание монеты дает информацию 1 бит.

Пример 3. Рассмотрим систему из 2 электрических лампочек, которые независимо друг от друга могут быть включены или выключены. Такая система может иметь следующие состояния:

Лампа А	0	0	1	1
Лампа В	0	1	0	1

Чтобы получить информацию об этой системе, надо задать два вопроса: о лампочке А и о лампочке В., т. е. количество информации, содержащейся в этой системе I=2бита, а количество возможных состояний системыN=4.

Если взять 3 лампочки , то количество информации Iбудет равно 3бита, а количество возможных состояний системыN=8.

Связь между количеством информации и числом состояний системы устанавливается формулой Хартли

,

где N- количество возможных состояний системы (или количество равновероятных событий),

I– количество бит в сообщении о том, что такое событие произошло.

Ту же формулу можно записать

.

Если события не равновероятны, то количество бит в сообщении о том, что произошло данное событие будет равно

,

где - вероятность того, что произойдетj–е событие.

5.2. Объемный способ измерения информации

Ввычислительной технике используется более простой способ измерения информации, который называется объемным. Объем информации в сообщении – это количество символов в сообщении

21	Одно число в разной форме
XXI
Двадцать один

При использовании объемного метода все три сообщения имеют разный объем информации. Т. е. этот способ зависит от формы представления информации. В вычислительной технике вся обрабатываемая информация вне зависимости от ее природы (число, текст, символ) представляется в двоичной форме (с использованием алфавита, состоящего из 2 символов –0 и 1). Тогда бит – это минимальная единица информации, соответствующая одному двоичному разряду.

8 бит=1байт, с помощью 1 байта можно закодировать 1 символ. Восьмиразрядная последовательность двоичных цифр дает 2⁸=256 различных перестановок, этого достаточно для того, чтобы закодировать русские, латинские буквы, цифры и знаки.

Единицы измерения информации:

210байт=	1024байт=	1К
210К=	1024К=	1Мб
210Мб=	1024Мб=	1Гб