3 Меры информации

Счетное множество дискретных элементов (символов), используемых для формирования дискретных сообщений, называется алфавитом, а элементы этого алфавита называются буквами.

Число букв в алфавите, называется объектом.

В дискретных моделях информационных систем минимальные неделимые элементы информации, называются квантами.

Геометрическая мера информации

В этом случае количество информации оценивается числом квантов, на которое может быть разбито данное информационное пространство в пределах заданных структурных габаритов.

Недостатком геометрической меры является зависимость количества информации от способа разбиения информационного пространства на элементарные ячейки.

Комбинаторная мера информации

Эта мера используется в тех случаях, когда необходимо оценить возможность передачи информации, при помощи различных комбинационных информационных элементов. Образование таких комбинаций представляет собой один из способов кодирования.

В комбинаторной мере количество информации оценивается числом возможных комбинаций, которые можно сформировать из данных комбинационных элементов.

В комбинаторике известны способы формирования комбинаций элементов. Это сочетание перестановки и размещение.

Недостатками комбинаторной меры является зависимость количества информации от способа комбинирования информационных элементов.

Адекватная мера информации (мера Хартли)

Неоднозначность в оценке количества информации присущая выше рассмотренным мерам послужила основанием для разработки метода измерения количества информации, получившего название логарифмической или адетивной меры. Эту методику предложил в 1928 году американский инженер Хартли.

В основу этой методики были положены следующие допущения:

1. Сигналы, по средствам которых передаются сообщения, имеют дискретный характер.

2. Алфавит, используемый для передачи сообщений, состоит из конечного числа m-элементов.

3. Все символы (буквы алфавита) статистически не зависимы, т.е. могут занимать любую позицию в слове.

4. Все буквы алфавита равновероятностные.

5. Передача сообщений осуществляется в отсутствии помех.

Если при этом используется сообщение, каждый из которых содержит n-символов, то количество слов, которые могут получить, равно - число слов.

Хартли предложил оценивать количество информации:

.

В общем случае выбор основания логарифма а – может быть произвольным и влияет только на величину единицы информации.

В соответствии с принятым представлением информации на основе бинарной системы, получаем, что количество информации в одну бинарную единицу соответствует сообщению, состоящему из одного символа двоичного алфавита.

Согласно принятым Хартли допущениям, все символы рассматриваемого алфавита равновероятны, поэтому равны и вероятности появления любого из N возможных слов.

,

.

Следовательно, количество информации в любом из N равновероятных сообщений, равно логарифму вероятности появления этого сообщения, взятому с обратным знаком.

Если равная вероятность событий или сообщений не выполняется, то формула Хартли к таким событиям не применимы.