Способы измерения информации в информационных системах

Счетное множество дискретных элементов, используемых для формирования дискретных сообщений называется «алфавитом», а элементы этого алфавита называются «буквами».

Число букв в «алфавите» называется объемом «алфавита».

В дискретных моделях информационных систем минимальные неделимые элементы информации называются квантами.

Важным аспектом теории информации является понятие меры (количества) информации.

Геометрическая мера информации

В этом случает количество информации оценивается числом квантов на которое может быть разбито данное информационное пространство в пределах заданных структурных габаритов.

Недостатком геометрической меры является зависимость количества информации от способа разбиения информационного пространства на элементарные ячейки.

Комбинаторная мера информации

Эта мера информации используется в тех случаях когда необходимо оценить возможность передачи информации с помощью различных комбинаций информационных элементов. Образование таких комбинаций представляет собой один из способов кодирования.

Недостатком комбинаторной меры является зависимость количества информации от способа комбинирования информационных элементов.

Аддетивная мера информации (мера Хартли)

Неоднозначность в оценке количества информации, присущая рассмотренным выше мерам послужила основанием для разработки метода измерения количества информации, получившего название логарифмической или аддетивной меры.

Эту меру предложил в 1928 г. американский инженер Хартли. В основу методики были положены следующие допущения:

1. Сигналы по средствам которых передаются сообщения имеют дискретный характер.

2. Алфавит, используемый для передачи сообщений состоит из конечного числа m- элементов.

3. Все символы («буквы») алфавита статически независимы, то есть могут занимать любую позицию в «слове».

4. Все «буквы» алфавита равновероятны n- элементов в «слове».

В этом случае количество «слов» которые можем получить из алфавита, которые содержат N=mⁿ – объем «словаря».

Хартли предложил оценивать количество информации через логарифм числа возможных сообщений (слов):

N=mⁿ=

a – единица измерения информации

N=1 (символ)

1 нит = 1,42269 бит

1 дит = 3,32193 бит

В соответствии с принятым в настоящее время способом представления информации на основе двоичной (бинарной) системы получаем, что количество информации в одну бинарную (двоичную) единицу соответствует сообщению, состоящему из одного символа двоичного алфавита.

Согласно, принятым Хартли допущениям все символы, рассматриваемого алфавита равновероятны, поэтому равны и вероятности появления любого из N возможных слов:

Поэтому можно записать:

р – равновероятность появления.

Следовательно, количество информации в любом из N равновероятных сообщений равно логарифм вероятности появления этого сообщения, взятому с обратным (отрицательным) знаком.

Если равная вероятность событий или сообщений не выполняется, то формула Хартли не применима.

Лекция №3

Статическая мера информации (мера Шеннона)

Формула Хартли не отражает статического характера появления сообщений. В общем случае необходимо установить связь между количеством информации и вероятностью совершения соответствующих событий (сообщений). Эту задачу решил в 1946 г. американский математик Клод Шеннон.

При статическом (вероятностном) подходе информация рассматривается как мера вероятности появления соответствующего события (сообщения). С этой точки зрения чем событие более вероятно, тем меньшее количество информации в сообщении о нем мы имеем.

В общем случае любое событие можно рассматривать как результат исхода некоторого эксперимента.

Полная группа всех возможных исходов разрешения данной ситуации называется ансамблем событий

где N – общее число возможных исходов.

Каждая реализация такого события несет некоторое количество информации J_i, тогда среднее количество информации при проведении одного из экспериментов можно подсчитать следующим образом:

(*) – формула Хартли

–формула Шеннона

H – энтропия.