3. Способы измерения информации в информационных системах

Счетное множество дискретных элементов (символов), используемых для формирования дискретных сообщений, называется алфавитом, а элементы этого алфавита называются буквами.

Число букв в алфавите, называется объектом.

В дискретных моделях информационных систем минимальные неделимые элементы информации, называются квантами.

Геометрическая мера информации. В этом случае количество информации оценивается числом квантов, на которое может быть разбито данное информационное пространство в пределах заданных структурных габаритов.

Недостатком геометрической меры является зависимость количества информации от способа разбиения информационного пространства на элементарные ячейки.

Комбинаторная мера информации. Эта мера используется в тех случаях, когда необходимо оценить возможность передачи информации, при помощи различных комбинационных информационных элементов. Образование таких комбинаций представляет собой один из способов кодирования.

В комбинаторной мере количество информации оценивается числом возможных комбинаций, которые можно сформировать из данных комбинационных элементов.

Известны следующие способы формирования комбинаций: - сочетание; Р=п! – перестановка; -размещение.

Недостатками комбинаторной меры является зависимость количества информации от способа комбинирования информационных элементов.

Аддитивная мера информации (мера Хартли). Неоднозначность в оценке количества информации присущая выше рассмотренным мерам послужила основанием для разработки метода измерения количества информации, получившего название логарифмической или аддитивной меры. Эту методику предложил в 1928 году американский инженер Хартли.

В основу этой методики были положены следующие допущения:

1. Сигналы, по средствам которых передаются сообщения, имеют дискретный характер.

2. Алфавит, используемый для передачи сообщений, состоит из конечного числа m-элементов.

3. Все символы (буквы алфавита) статистически не зависимы, т.е. могут занимать любую позицию в слове.

4. Все буквы алфавита равновероятностные.

5. Передача сообщений осуществляется в отсутствии помех.

Если при этом используется сообщение, каждый из которых содержит n-символов, то количество слов, которые могут получить, равно - число слов.

Хартли предложил оценивать количество информации:

.

В общем случае выбор основания логарифма а – может быть произвольным и влияет только на величину единицы информации.

В соответствии с принятым представлением информации на основе бинарной системы, получаем, что количество информации в одну бинарную единицу соответствует сообщению, состоящему из одного символа двоичного алфавита.

Согласно принятым Хартли допущениям, все символы рассматриваемого алфавита равновероятны, поэтому равны и вероятности появления любого из N возможных слов.

,

.

Следовательно, количество информации в любом из N равновероятных сообщений, равно логарифму вероятности появления этого сообщения, взятому с обратным знаком.

Если равная вероятность событий или сообщений не выполняется, то формула Хартли к таким событиям не применимы.

Статическая мера информации (мера Шеннона). Формула Хартли не отражает случайно статистического характера событий, поэтому в общем случае необходимо обеспечить связь между количеством информации и вероятностью возникновения соответствующих событий (сообщений).

Эту задачу решил в 1946 году американский математик Клод Шеннон.

При статистическом (вероятном) подходе информация рассматривается как мера вероятности появления соответствующего сообщения.

С этой точки зрения, чем событие более вероятно, тем меньше количество информации в сообщении о нем мы имеем.

Многие виды сообщений могут быть сведены к двойным событиям.

В общем случае, событие можно рассматривать результаты исхода некоторого эксперимента. Полная группа всех возможных исходов разрешения данных ситуаций, называется ансамблем событий. .

Пусть общее число всех возможных исходов равно N, из которых К не повторяются.

Тогда вероятность какого-то i-того события. ,.

Каждая реализация этого события несет некоторое количество информации , тогда среднее количество информации при проведении одного опыта, можно представить в виде выражения:

,

(1) - формула Хартли.

(2) – формула Шеннона.

- энтропия.