1.4. Информационные характеристики источника дискретных сообщений и канала связи

1.4.1. Количественная оценка информации

Для сравнения различных систем телекоммуникаций необходимо ввести количественную меру, позволяющую оценивать объем информации, содержащейся в сообщении.

Строгие методы количественного определения информации были предложены К.Шенноном в 1948 г. и привели к построению теории информации, являющейся основой теории связи, информатики и ряда смежных отраслей науки и техники.

Рассмотрим основные идеи этой теории применительно к дискретному источнику сообщений, который в каждый момент времени случайным образом может принимать одно из конечного множества возможных состояний. Каждому состоянию источника сообщений ставится в соответствие условное обозначение в виде знака (в частности буквы) из алфавита данного источника u₁, u₂, u₃ ..., u_N. Одни состояния выбираются источником сообщений чаще, другие реже. Поэтому наряду с множеством состояний целесообразно задать вероятность их появления:

Или:

Совокупность состояний и вероятностей их получения называется ансамблем U.

Перед тем как ввести определение количества информации, сформулируем условия, которым должна удовлетворять эта величина:

1. она должна быть аддитивной величиной, т.е. если рассматривать два последовательных события u_i и u_k ,происходящих независимо друг от друга, как одно укрупненное, то количество информации в таком событии должно равняться сумме количества информации в каждом из них

I(u_i , u_k) = I(u_i )+ I(u_k ); (1.3)

2. количество информации в сообщении о достоверном событии (р=1) равно нулю (такое сообщение ничего не добавляет к нашим знаниям);

3. данная величина должна быть неотрицательной;

4. количество информации не должно зависеть от качественного содержания сообщения, в частности, от степени его важности для получателя, эмоциональной окраски и т.д.

Итак, для определения количества информации в некотором сообщении u_i из ансамбля U необходимо основываться только на таком параметре, который характеризует в самом общем виде это сообщение. Таким параметром, очевидно, является вероятность p_i появления данного сообщения на выходе источника.

Дальнейшее уточнение искомого определения не составит труда, если принять во внимание первые два из перечисленных выше условий. Пусть u_i и u_k - два независимых события. Вероятность того, что оба этих сообщения появятся на выходе источника одно за другим

Р(u_i , u_k) = Р(u_i )*Р(u_k ), (1.4)

а количество информации в этих сообщениях должно удовлетворять условию (1.3). Следовательно, необходимо найти функцию, обладающую свойством, что при перемножении двух аргументов значения функции складываются. Единственная такая функция – это логарифмическая функция I(u)=k logP(u), где k- постоянный коэффициент. Заметим, что при таком определении количества информации выполняется и второе требование - при P(u)=1 I(u)=0. Основание логарифма не имеет принципиального значения и определяет только масштаб функции. Так как информационная техника широко использует элементы, имеющие два устойчивых состояния, то обычно основание логарифма выбирают равным 2. В дальнейшем обозначение log, если основание не оговаривается особо, будет означать двоичный логарифм. Чтобы количество информации I(u) было неотрицательной величиной, выбирают k=1. Поэтому I(u)=  logP(u).

Если источник передает последовательность зависимых между собой сообщений, то получение предшествующих сообщений может изменить вероятность последующего, а следовательно, и количество информации в нем. Оно должно определяться по условной вероятности передачи данного сообщения u_k при известных предшествовавших сообщениях u_k-1, u_k-2,…:

I(u_k u_k-1, u_k-2,…)=  logP(u_k u_k-1, u_k-2,…). (1.5)

Введенное выше определение характеризует количество информации, содержащееся в одном сообщении из ансамбля U. При этом I(u) является случайной величиной, зависящей от того, какое состояние источника в действительности реализуется. Для характеристики всего ансамбля (или источника) используется математическое ожидание количества информации, называемое энтропией и показывающее, какое количество информации в среднем содержится в одном сообщении данного источника

H(U)=M logP(u) . (1.6)

Для источника независимых сообщений выражение (1.6.) можно представить в виде

H(U)=  P(u_i) logP(u_i), i=1, …, N. (1.7)

Пример 1.

Рассмотрим случай, когда алфавит состоит из двух знаков, появляющихся на выходе источника сообщений независимо друг от друга. Обозначим P(u₁)=P. Соответственно P(u₂)=1-P. Тогда на основании (1.7.) имеем

H(U)=  P logP(1 P) log(1 P). (1.8)

Если события u₁ и u₂ являются равновероятными, то P=1/2. Подставив это значение в (1.8.), получим H(U)=1. В общем виде зависимость H(U) от Р показана на рис. 1.4.

Количество информации, содержащееся в среднем в одном символе алфавита, состоящего из двух знаков, которые появляются на выходе источника сообщений независимо друг от друга и равновероятно, получило название "1 бит информации" или просто 1 бит.

Случай, когда алфавит источника сообщений состоит всего из двух знаков, широко распространен на практике. В качестве примера можно привести цифровые системы, использующие алфавит, состоящий из знаков 0 и 1.

Чем больше энтропия источника, тем больше степень неожиданности передаваемых им сообщений в среднем, т.е. тем более неопределенным является ожидаемое сообщение. Поэтому энтропию часто называют мерой неопределенности сообщений. При этом имеется в виду неопределенность, существующая до того, как сообщение передано. После приема сообщения, если оно передано верно, всякая неопределенность устраняется. Это позволяет трактовать количество информации как меру уменьшения неопределенности.