Вопрос 4.

Энтропия источника дискретных (цифровых) сообщений

Формула (1.2), , устанавливает непосредственную связь между количеством информации, получаемой о некотором i-м событии (x_i) в результате опыта, и изменением вероятности этого события до (p(x_i)) и после (p_c(x_i)) опыта.

Эта связь может быть обобщена и на случай, когда имеется некоторое конечное множество независимых событий x_i с разными априорными вероятностями p(x_i). Такие события называют разновозможными событиями. Указанную зависимость получил Клод Шеннон, существенно развивший количественную меру информации соотечественника Р. Хартли.

Рассмотрим некоторое конечное множество событий . Такими событиями могут быть, например, состояния регистра данных компьютера. Допустим, что эти события независимы и несовместны. Независимость означает, что наступление одного события не зависит от того, было или не было до этого другое событие. Несовместность означает, что разные события не могут происходить одновременно. Например, после аналого-цифрового преобразования (АЦП) происходит запись результата, представляющего собой двоичное n-разрядное число в регистр. Регистр не может находиться одновременно в двух разных состояниях, т.е. в него нельзя одновременно записать два разных числа.

Пусть априорные вероятности событий x_i соответственно равны . Для несовместных событий выполняется условие

.

Это означает, что в течение некоторого наблюдаемого отрезка времени всегда происходит лишь одно из этих событий.

Множество с известным распределением вероятностей его элементов будем называть ансамблем, который можно представить как

. (1.4)

Ансамбль (1.4) рассматривается как некоторая модель физической системы, которая может находиться в различных состояниях или в которой может происходить различных событий (вспомните ранее упомянутый регистр данных). В этой модели мы рассматриваем случай, когда эти события независимы и несовместны.

Используя формулу (1.2), можно сказать, что достоверное сообщение [] о том, что из всех событий происходит именно событие, несет в себе количество информации, равное

(1.5)

Из (1.5) следует, что сообщение о событии несет тем большее количество информации, чем меньше априорная вероятность этого события. Данное положение хорошо согласуется с интуитивным представлением об информации. Нас нисколько не удивит сообщение в разгар лета, что завтра ожидается теплый день. Неопределенность такого события ничтожно мала, и поэтому услышанное нами сообщение содержит очень мало нового – мало информации. Если бы мы вдруг услышали сообщение, что завтра ожидаются заморозки, то в этом сообщении (если оно, конечно, достоверно) для нас содержалось бы гораздо больше информации. Таким образом, формула (1.5) согласуется с нашими интуитивными представлениями.

Формула (1.5) указывает, что в конечном ансамбле Х сообщения x_i о разных событиях несут в общем случае разное количество информации. При решении большинства задач, связанных с построением систем передачи и преобразования информации, оказалось достаточным знать среднее количество информации, приходящееся на одно достоверное сообщение.

Среднее значение а_ср нескольких (n) случайных величин a₁, a_2,,…,a_n в соответствии с правилами теории вероятностей [Вентцель Е.С., Овчаров Л.А. Теория вероятностей и ее инженерные приложения. – М.: Высшая школа, 2010. – 480 с.] может быть определено как математическое ожидание (МО):

Пример. Имеется ряд чисел: 1, 1, 1, 4, 4, 7. Определить среднее значение.

Из арифметики вы знаете, что надо все сложить и поделить на общее количество чисел

.

А теперь запишем это в таком виде

На предыдущей лекции мы с вами определили, что называется отношение числа элементарных исходов, благоприятствующих данному событию, к числу всех равно­возможных исходов опыта, в котором может появиться это событие, есть вероятность события.

В нашем примере имеется 3 события: а₁ – появление числа «1» с вероятностью р(а₁)=3/6, а₂ – появление числа «4» с вероятностью р(а₂)= 2/6 и а₃ –появление числа «7» с вероятностью р(а₃)=1/6. Таким образом, можем записать выражение для среднего значения

,

т.е. получили приведенную выше формулу для МО.

В нашем случае случайными величинами являются частные меры количества информации , поэтому среднее количество информации, приходящееся на одно достоверное сообщение определяется как

.

С учетом формулы (1.5), определяющей , получим

. (1.6)

В данном случае является мерой количества информации, приходящейся в среднем на одно достоверное сообщение о событии при передаче и преобразовании большого числа таких сообщений.

Эту мера количества информации предложил К. Шеннон. Она более общая, чем мера Хартли, и получила название энтропии конечного ансамбля дискретных событий .