3. Измерение информации. Дискретный источник информации. Мера информации по Хартли и ее свойство

Рассмотрим как наиболее простой дискретный источник, который выдает дискретные сообщения, а не непрерывные.

Дискретные сообщения состоят из последовательности дискретных знаков.

Рассмотрим основные свойства дискретного источника.

• Алфавит – это общее число различных знаков (M), используемых в данном источнике. Элементы алфавита будем обозначать через {x_i}, где 1 ≤ i ≤ M. Минимальное число элементов алфавита M_min = 2, например {0,1} – двоичный код. Один дискретный знак представляет собой элементарное сообщение, последовательность знаков – сообщение.

• Набор элементов алфавита, создаваемых дискретным источником сообщений, заранее, априори (до опыта) известен получателю. Источник информации в каждый момент времени t выдает один элемент алфавита X(t). Этот элемент сообщения взят из алфавита, но заранее не известно какой это элемент. Если обозначить вероятность выбора каждого элемента алфавита в момент выбора времени t – p_i(t), где p_i(t) – вероятность выбора элемента алфавита x_i в момент времени t, то

.

• В случае выдачи того или иного элемента алфавита источник сообщения переходит в новое состояние – S. Если при этом вероятности появления следующего элемента алфавита зависят от того в каком состоянии находится источник сообщений, то имеет место источник сообщений со статической зависимостью состояний. Большинство языков общения являются примерами источников со статической зависимостью состояний.

Например:

1. Первая буква любого сообщения имеет вероятность появления равной частоте употребления этой буквы в начале слова

2. Если же первая буква сообщения нам известна, например «м», то вероятность употребления следующей буквы, будет уже отличаться от вероятности употребления начальных букв (в русском языке чаще употребляются сочетания «сг», чем «сс»). Тогда набор вероятностей следующих букв составит:

3. Если же вторая буква – «а» и получено сочетание «ма», то набор вероятностей {p(i/ма)} снова будет другим. Неопределенность выбора следующей буквы алфавита зависит от того в каком состоянии находится источник в данный момент времени. А характеристикой источника становится перечисление всех его состояний S( j) и соответствующих столбцов вероятностей появления следующих элементов алфавита в каждом состоянии. Элементарным источником сообщений является источник со статически независимыми состояниями. Он характеризуется безусловными вероятностями появления следующего элемента сообщения, то есть

p_i(t) = p_i(t + Δt) = p_i(t + n · Δt) = const = p(i).

Таким образом дискретный источник характеризуется тремя факторами:

• алфавитом {x_i}, где 1 ≤ i ≤ M;

• количеством состояний S( j); j = 1; k;

• столбцами вероятностей ||p_i(S_j)||; i = 1; M появления i-той буквы в j-том состоянии.

В 1928 году Хартли предложил меру для измерения информации дискретных сообщений:

I = log N,

где I – количество полученной информации, а N – количество возможных исходов или различных сообщений, которое может быть получено от источника дискретных сообщений с алфавитом в M букв при длине сообщения в n букв.

Рассмотрим эту меру подробнее.

Если получили одно элементарное сообщение – x_i, а оно выбрано из алфавита в M букв, то получено I = log M единиц информации. Поскольку в данной мере не учитывается ни в каком состоянии находился источник, ни какова вероятность появления каждой буквы, то считается, что имеет место элементарный источник с одинаковой вероятностью употребления различных букв алфавита p_i = ¹⁄_M = p_j, когда i ≠ j. Это очень сильные ограничения, которые значительно завышают истинное значение информации в сообщении.

С другой стороны у этой меры есть положительные моменты:

• она пропорциональна длине сообщения, так как если составлено сообщение длиной в n букв, то общее число различных сообщений из n букв будет равно N = M ⁿ и следовательно I_n = n log M;

• предложенная мера аддитивна, то есть если имеет место сообщение, полученное путем одновременного наступления нескольких событий от разных источников, то количество полученной при этом информации будет равно сумме информаций, полученных от каждого из них независимо друг от друга. Например, есть два источника Q₁ и Q₂ со своими алфавитами {x_i}, где 1 ≤ i ≤ M₁ и {y_j}, где 1 ≤ j ≤ M₂. Наступило событие: (x_i; y_j). Какое при этом получено количество информации? Так как общее число возможных исходов N в этом случае равно (M₁·M₂), то I = log N = log(M₁·M₂) = log M₁ + log M₂.

Основание логарифма можно принять различным. Это не принципиально, так как полученные меры будут отличаться только числовым коэффициентом. Но этим мерам даны различные названия:

log_a M = lg 10 = 1[дит];

log_a M = ln e = 1[нит(нат)];

log_a M = log₂ 2 = 1[бит];

1[дит] = 1 ⁄ lg 2 = 1 ⁄ 0.301 = 3.322[бит].