Статическая мера информации. Вероятность и информация

Формула Хартли не отражает случайно статистического характера событий, поэтому в общем случае необходимо обеспечить связь между количеством информации и вероятностью возникновения соответствующих событий (сообщений).

Эту задачу решил в 1946 году американский математик Клод Шеннон.

При статистическом (вероятном) подходе информация рассматривается как мера вероятности появления соответствующего сообщения.

С этой точки зрения, чем событие более вероятно, тем меньше количество информации в сообщении о нем мы имеем.

Многие виды сообщений могут быть сведены к двойным событиям.

В общем случае, событие можно рассматривать результаты исхода некоторого эксперимента. Полная группа всех возможных исходов разрешения данных ситуаций, называется ансамблем событий.

.

Пусть общее число всех возможных исходов равно N, из которых К не повторяются.

Тогда вероятность какого-то i-того события.

, .

Каждая реализация этого события несет некоторое количество информации , тогда среднее количество информации при проведении одного опыта, можно представить в виде выражения:

,

(1) - формула Хартли.

(2) – формула Шеннона.

- энтропия.

Свойства энтропия

1. Энтропия измеряется в тех же единицах, что и количество информации.

Знак “-” в формуле (2) означает, что энтропия всегда не отрицательна, т.е. .

2. Энтропия М достигает максимума, если все события равновероятны.

3. Н=0, если вероятность одного из i-тых событий равна 1.

Таким образом, энтропия является мерой неопределенности в поведении источника сообщений и характеризует способность этого источника выдавать информацию.

При увеличении числа возможных состояний системы энергия увеличивается.

В общем случае, можно считать, что количество информации характеризует уменьшение энтропии в результате процесса познания.

Если неопределенность снимается полностью, то количество энергии равно количеству информации, выданной источником.

В случае неполного разрешения ситуации, количество информации определяется разностью между начальным и конечным значением энтропии:

,

т.е. количество информации будет определяться разностью между начальным и конечным значением энтропии.

Наибольшее количество информации получается, когда неопределенность снимается полностью.

Реальные события, а также символы в реальных соотношениях не являются взаимно независимыми и равновероятными, которое реально переносит каждый отдельный символ, будет меньше максимально теоретически возможного значения.

Потери количества информации характеризуется коэффициентом избыточности:

,

.

Для каналов передачи информации используют характеристику, называемую скоростью передачи информации по каналам, она равна среднему количеству информации, которая может быть передана по каналу связи в единицу времени.

Среднее количество информации, выдаваемое источником сообщения в единицу времени, называется производительностью источника.

Максимальная скорость передачи информации по каналу, называется пропускной способностью канала.

Проблема согласования производительности источников сигнала и пропускной способности передающего канала, является одной из важнейших задач теории и практики кодирования информации.

Лекция № 4