10.2. Энтропия дискретного источника с независимым выбором сообщений
В
теории информации чаще всего необходимо
знать не количество информации
,
содержащееся в отдельном сообщении, а
среднее количество информации в одном
сообщении, создаваемом источником
сообщений.
Если
имеется ансамбль (полная группа) из
сообщений
с вероятностями
,
то среднее количество информации,
приходящееся на одно сообщение и
называемое энтропией
источника сообщений
,
определяется формулой:
или
Размерность энтропии – количество единиц информации на символ. Энтропия характеризует источник сообщений с точки зрения неопределенности выбора того или другого сообщения.
Рассмотрим свойства энтропии:
Чем больше неопределенность выбора сообщений, тем больше энтропия. Неопределенность максимальна при равенстве вероятностей выбора каждого сообщения:
В этом случае
т.е.
максимальная энтропия равна логарифму
от объема алфавита). Например, при
(двоичный источник)
бит.
Неопределенность минимальна, если одна из вероятностей равна единице, а остальные – нулю (выбирается всегда только одно заранее известное сообщение: например, одна буква):
;
.
В этом случае
.
Эти свойства энтропии иллюстрируются следующим образом.
Пусть
имеется двоичный источник сообщений,
т.е. осуществляется выбор из двух букв
(
):
и
,
.
Тогда:
Зависимость
от вероятностей выбора (10.5) для двоичного
источника приведена на рис. 10.1.
Рисунок 10.1. Зависимость от вероятности выбора для двоичного источника
Укрупним алфавит. Пусть на выходе двоичного источника имеется устройство, которое группирует буквы в слова из букв. Тогда
слов (объем алфавита). В этом случае
Таким образом, укрупнение алфавита привело к увеличению энтропии в раз, т.к. теперь уже слово включает в себя информацию букв двоичного источника. Тем самым доказывается свойство аддитивности энтропии.
4. Энтропия дискретного источника не может быть отрицательной.
Термин «энтропия» заимствован из термодинамики и применительно к технике связи предложен К. Шенноном, в трудах которого были заложены основы теории информации (математической теории связи).
10.3. Энтропия дискретного источника с зависимыми сообщениями
Ранее при определении энтропии предлагалось, что каждое сообщение (буква или слово) выбирается независимым образом. Рассмотрим более сложный случай, когда в источнике сообщений имеются корреляционные связи. В так называемом эргодическом источнике выбор очередной буквы сообщения зависит от каждого числа предшествующих букв. Математической моделью такого источника является Марковская цепь n-го порядка, у которой вероятность выбора очередной буквы зависит от предшествующих букв и не зависит от более ранних, что можно записать в виде следующего равенства:
где
– произвольное положительное число.
Если
объем алфавита источника равен
,
а число связанных букв, которое необходимо
учитывать при определении вероятности
очередной буквы, равно порядку источника
,
то каждой букве может предшествовать
различных сочетаний букв (состояний
источника), влияющих на вероятность
появления очередной буквы
на выходе источника. А вероятность
появления в сообщении любой из
возможных букв определяется условной
вероятностью (10.7) с учетом предшествующих
букв, т.е. с учетом
возможных состояний. Эти состояния
обозначим как
.
Рассмотрим два простых примера.
Пример
1.
Пусть имеется двоичный источник (объем
алфавита
),
выдающий только буквы
и
;
порядок источника
.
Тогда число состояний источника
(назовем эти состояния
и
).
В этом случае вероятности появления
букв
и
будут определяться следующими условными
вероятностями:
где
– 1-ое состояние источника,
– 2-ое состояние
источника.
Т.е.
Пример
2. Пусть
по-прежнему
(буквы
и
),
однако число связанных букв
.
Тогда
(четыре возможных состояния):
,
,
,
.
В этом случае имеем дело со следующими
условными вероятностями:
и т.д. Вероятности состояний определяются равенствами:
Энтропия эргодического дискретного источника определяется в два этапа:
Вычисляем энтропию источника в каждом из состояний, считая эти состояния известными.
Для состояния :
Для состояния :
Для
состояния
:
Далее находим путем усреднения по всем состояниям
:
Окончательно получаем:
При наличии корреляционных связей между буквами в эргодическом источнике энтропия уменьшается, т.к при этом уменьшается неопределенность выбора букв, и в ряде случаев часть букв можно угадать по предыдущим или ближайшим буквам
