2.1.3. Аддитивная мера информации

В теории информации важную роль играет комбинаторика чисел и кодов.

Введем понятия глубины hи длиныlчисла.

Глубинойhчисла называется количество различных элементов (знаков), содержащееся в принятом алфавите. Глубина числа соответствует основанию системы счисления и кодирования. Один полный алфавит занимает одно числовое гнездо, глубина которого также равнаh.

В каждый данный момент реализуется только один какой-либо знак из hвозможных.

Длиной lчисла называется количество числовых гнезд, т.е. количество повторений алфавита, необходимых и достаточных для представления чисел нужной величины. Длина числа соответствует разрядности системы счисления и кодирования. Один набор изlгнезд-алфавитов составляет однучисловую гряду, способную представлять и хранить одно полное число длинойl.

Некоторое количество чисел Nпредставляетсячисловым полем.

При глубине hи длинеlколичество чисел, которое можно представить с помощью числовой гряды, выразится формулой

Q=h^l, (4)

т.е. емкость гряды экспоненциально зависит от длины числа l.

Вследствие показательного закона зависимости QотlчислоQне является удобной мерой для оценки информационной емкости. Поэтому Хартли ввел аддитивную двоичную логарифмическую меру, позволяющую вычислять количество информации в двоичных единицах – битах, сокращенно обозначаемых «бит».

Для этого берется не само число Q, а его двоичный логарифм

I=log₂Q=log₂h^l=llog₂h бит. (5)

Здесь Iобозначает количество информации по Хартли.

Если количество разрядов (длина lчисла) равно единице, принята двоичная система счисления (глубинаhчисла равна двум) и используется двоичный логарифм, то потенциальное количество информации равно одному биту:

log₂2=1 бит. (6)

Это и есть единица информации в принятой системе оценки. Она соответствует одному элементарному событию, которое может произойти или не произойти.

Аддитивная мера удобна тем, что она обеспечивает возможность слежения и пропорциональность количества информации длине числа l, т.е. количеству числовых гнезд.

Введенное количество информации эквивалентно количеству двоичных знаков 0 и 1 при кодировании сообщений по двоичной системе счисления. Одному биту соответствует одна двоичная единица.

2.2. Статистические меры информации

2.2.1. Вероятность и информация

При вероятностном подходе информация рассматривается как сообщение об исходе случайных событий, реализации случайных величин и функций, а количество информации ставится в зависимость от априорных вероятностей этих событий, величин, функций.

Когда получается сообщение о часто встречающихся событиях, вероятность появления которых стремится к единице, т.е. к показателю полной достоверности, то такое сообщение мало информативно. Столь же мало информативны сообщения о противоположных событиях (антисобытиях), вероятности которых стремятся к нулю и которые, следовательно, почти невозможны. Например, событие «часы идут» имеет вероятность р=1, тогда как антисобытие «часы не идут» имеет вероятность q=1-р=0.

Событие и антисобытие составляют одно двоичное однопредметное явление. Может быть также двоичное двухпредметное событие, заключающееся в выборе одного из двух возможных предметов, например, черного или белого шара из урны, герба или решетки на монете.

Большинство видов информации можно свести к двоичным явлениям «да – нет» и к паре «событие – антисобытие». Именно эта пара явлений является простейшим и неделимым элементом (квантом) информации.