Количество информации в сообщении. Формула Хартли

Пусть имеем множество {X}=(x₁, x₂,…x_m) элементов N=2ⁿ . Какое количество информации (двоичных разрядов) необходимо, чтобы каждому элементу x_i Є X присвоить двоичную комбинацию? Нетрудно догадаться, что количество двоичных разрядов составит:

n= log₂N бит/символ. (1)

Если множество не кратно степени двойки, т.е. N≠2ⁿ , количество информации выразится той же формулой:

2ⁿ< log₂M<2ⁿ⁺¹

Выражение (1) называется формулой Хартли (1928 г.)

Закон аддитивности информации

Пусть задано множество X, содержащее N₁ элементов x_i Є X, а также множество Y, содержащее N₂ элементов y_j Є Y. Составим пары элементов (x_i y_j ). Очевидно, что множество пар будет содержать N₁·N₂ элементов.

Количество информации (двоичных разрядов), необходимое, чтобы каждой паре (x_i y_j ) поставить в соответствие двоичный код составит:

log₂(N₁·N₂)= log₂ N₁+ log₂ N₂

Последнее выражение носит название закона аддитивности информации.

Формула Хартли получена при ограничениях.

1. Отсутствие смысловой ценности информации.

2. N возможных состояний равновероятны:

log N = -log 1/N = -log p

p = 1/N — вероятность появления одного сообщения.

3. Между элементарными сигналами отсутствует корреляция, и все значения равновероятны. Утверждение об отсутствии корреляции следует из того, что для передачи сообщений используются все возможные сигналы. Равная вероятность всех N значении сигналов следует из формулы:

log N = - log 1/N= - log p

р=1/N— вероятность появления любого значения из N возможных.

Возникают ситуации, в которых отмеченные выше ограничения не действуют, поэтому для них формула Хартли дает неверные результаты. Другое представление количества информации было найдено Клодом Шенноном примерно через 20 лет после опубликования формулы Хартли.

Пусть дан некоторый ансамбль сообщений с указанием вероятности появления каждого из них {X,P(x)}. При этом суммарная вероятность всех сообщений должна быть равна единице. В этом случае говорят, что ансамбль представляет собой полную группу событий. В ансамбле не указывается конкретное число сообщений, т.к. оно не имеет особого значения.

x_1, x_2,… x_i… x_n Σ P_i = 1

{X,P(x)} =

P₁, P₂,…P_i…P_n

Верхняя строка содержит сообщение (значение дискретной случайной величины), нижняя — вероятности их появления.

Пусть получено сообщение x_i, вероятность которого P_i . Очевидно, что сообщение содержит некоторую информацию, обозначим её I(x_i). Что принять в качестве количественной меры информации в данном случае. Поскольку кроме вероятности появления этого сообщения ничего неизвестно, то естественным является связать количество информации в этом сообщении с вероятностью его появления.

Жизненный опыт подсказывает, что информация о событии тем значительнее, чем меньше вероятность появления такого события. Однако, мера количества информации в виде 1/P(x_i) не удобна по двум причинам: она не обладает свойством аддитивности и не обслуживает случай достоверного события.

В теории информации в качестве меры количества информации принята логарифмическая мера.

Определение 1. Количеством собственной информации в сообщении x_i Є X называется число I(x_i), определяемое соотношением:

I(x_i)= log 1/P(x_i)=-log P(x_i) (1)

Единица измерения количества информации и её названия зависит от основания логарифма. Если основанием логарифма является:

• Число 2, т.е. log₂P(x_i) [бит]

• Число e, т.е. log_eP(x_i)=lnP(x_i) [нат] «natural digit»

• Число 10, т.е. . lg₁₀P(x_i) [дит]

Собственная информация неотрицательно и сообщение, имеющее меньшую вероятность несет большую информацию.

Количество информации, определяемое соотношением (1) является действительной функцией на ансамбле {X,P(x)} и следовательно, представляет собой случайную функцию со значениями I(x₁), I(x₂),…, I(x_n).

Среднее количество информации, содержащееся в одном сообщении можно выразить:

M [I(x_i)]=Σ P_i I(x_i)=-Σ P _ilogP_i (2)

Выражение (2) является формулой Шеннона и решает одну из основных задач теории информации, задачу количественной меры информации. Для двоичных сообщений формула имеет вид:

I[X] = -Σ P_i log₂P_i [бит]

Формула Шеннона отображает общий случай, для произвольного закона распределения, когда вероятности отдельных сообщений не равны. Легко показать, что формула Хартли является частным случаем формула Шеннона, когда вероятности сообщений равны между собой. Если в формуле Шеннона принять одинаковую вероятность всех сообщений равную P_i(x_i)=1/N=1/2ⁿ, если N=2ⁿ, то после преобразований получим:

-Σ P_i log₂P_i = N·1/N·log₂ 1/(1/N) = log₂N = n

Следует подчеркнуть, что получить информацию можно только в результате опыта (наблюдения) и количество её зависит от вероятностных свойств источника, а свойства, в свою очередь от природы самого источника.