Способы измерения информации в информационных системах

Счетное множество дискретных элементов (символов), используемых для формирования дискретных сообщений, называется алфавитом, а элементы этого алфавита называются буквами.

Число букв в алфавите, называется объёмом алфавита.

В дискретных моделях информационных систем минимальные неделимые элементы информации называются квантами.

Геометрическая мера информации

В этом случае количество информации оценивается числом квантов, на которое может быть разбито данное информационное пространство в пределах заданных структурных габаритов.

Недостатком геометрической меры является зависимость количества информации от способа разбиения информационного пространства на элементарные ячейки.

Комбинаторная мера информации

Эта мера используется в тех случаях, когда необходимо оценить возможность передачи информации, при помощи различных комбинационных информационных элементов. Образование таких комбинаций представляет собой один из способов кодирования.

В комбинаторной мере количество информации оценивается числом возможных комбинаций, которые можно сформировать из данных комбинационных элементов.

Известны следующие способы формирования комбинаций: - сочетания; Р=п! – перестановки; -размещения.

Недостатком комбинаторной меры является зависимость количества информации от способа комбинирования информационных элементов.

Аддитивная мера информации (мера Хартли)

Неоднозначность в оценке количества информации, присущая выше рассмотренным мерам, послужила основанием для разработки метода измерения количества информации, получившего название логарифмической, или аддитивной, меры. Эту методику предложил в 1928 году американский инженер Хартли.

В основу этой методики были положены следующие допущения:

1. Сигналы, посредством которых передаются сообщения, имеют дискретный характер.

2. Алфавит, используемый для передачи сообщений, состоит из конечного числа m элементов.

3. Все символы (буквы алфавита) статистически независимы, т.е. могут занимать любую позицию в слове.

4. Все буквы алфавита равновероятностные.

5. Передача сообщений осуществляется в отсутствии помех.

Если при этом используются сообщения, каждое из которых содержит n-символов, то количество слов, которое можно получить, равно .

Хартли предложил оценивать количество информации через логарифм числа возможных сообщений (слов):

.

В общем случае выбор основания логарифма а – может быть произвольным и влияет только на выбор единицы измерения количества информации.

В соответствии с принятым представлением информации на основе бинарной системы, получаем, что количество информации в одну бинарную единицу соответствует сообщению, состоящему из одного символа двоичного алфавита.

Согласно принятым Хартли допущениям, все символы рассматриваемого алфавита равновероятны, поэтому равны и вероятности появления любого из N возможных слов.

,

(1)

Следовательно, количество информации в любом из N равновероятных сообщений, равно логарифму вероятности появления этого сообщения, взятому с обратным знаком.

Если равная вероятность событий или сообщений не выполняется, то формула Хартли к таким событиям не применимы.

Статическая мера информации (мера Шеннона)

Формула Хартли не отражает случайного, статистического характера событий, поэтому в общем случае необходимо обеспечить связь между количеством информации и вероятностью возникновения соответствующих событий (сообщений).

Эту задачу решил в 1946 году американский математик Клод Шеннон.

При статистическом (вероятностном) подходе информация рассматривается как мера вероятности появления соответствующего сообщения.

С этой точки зрения, чем событие более вероятно, тем меньшее количество информации в сообщении о нем мы имеем.

Многие виды сообщений могут быть сведены к двойным (бинарным) событиям.

В общем случае событие можно рассматривать результаты исхода некоторого эксперимента. Полная группа всех возможных исходов разрешения данной ситуации, называется ансамблем событий, причём (Теорема о полной вероятности).

Пусть общее число всех возможных исходов равно N, из которых К не повторяются.

Тогда вероятность какого-то i-того события. ,.

Каждая реализация этого события несет некоторое количество информации , тогда среднее количество информации при проведении одного опыта, можно представить в виде выражения:

т.е. ,

т.к. (формула Хартли (1)), то

(2) – формула Шеннона.

где - энтропия (мера снятия неопределённости).