1.2. Количество информации в дискретном сообщении. Энтропия ансамбля

Определим основное теоретико-информационное понятие количе­ства информации в сообщении. При введении меры информации факт возрастания количества информации при увеличении длительности сиг­нала (в дискретном случае при возрастании числа передаваемых сим­волов, в непрерывном — при возрастании времени передачи и учете информации в каждой отсчетной точке непрерывного сигнала) очеви­ден. Однако просто число возможных реализаций сигнала в каче­стве информационной меры использовать не целесообразно, учитывая типичный характер экспоненциальной зависимости от числа симво­лов или отсчетных значений сигнала . Более естественным является требование аддитивности вводимой меры количества информации, что приводит к целесообразности использования в качестве информацион­ной меры логарифма числа . Однако эта мера является строго оправ­данной лишь при одинаковой вероятности всех возможных реализаций сигнала. В действительности дополнительно возникает необходимость учета статистических характеристик случайного процесса, отображаю­щего сигнал, поскольку количество информации, содержащейся в до­стоверном событии и маловероятном, должно быть различным.

Перейдем теперь к строгим определениям . Рассмотрим источ­ник дискретных сообщений, характеризуемый ансамблем сообщений , у которого

Количеством собственной информации (или собственно информа­цией) в сообщении называется величина , определяемая соотношением

(1.1)

Таким образом, под определение количества информации как ло­гарифмической меры вероятности появления конкретного сообщения заложено весьма существенное обоснование. Прежде всего, совер­шенно очевидным является определение количества информации через вероятность сообщения как случайного события, поскольку сообщение несет тем больше информации, чем менее вероятным для получателя оно является; в достоверном событии новой информации нет (количе­ство информации в сообщении, вероятность которого единица, равно нулю). Не менее естественным, как уже отмечалось, является требо­вание аддитивности информационной меры.

Рассмотрим ансамбль дискретных сообщений , порожден­ный ансамблем так, что каждое сообщение ансамбля является следствием последовательного появления двух сообщений : , и (укрупнение ансамбля). Количество информации в сообщении по определению равно

(в общем случае сообщения являются зависимыми). В частности, для независимой пары сообщений

Таким образом, предложенная информационная мера требованию аддитивности удовлетворяет. Основание логарифма принципиальной роли не играет и влияет лишь на единицу измерения. Наиболее упо­требительным является логарифм по основанию 2; при этом едини­ца количества информации носит название «бит» (далее в этой книге при записи без обозначения основания принимается логарифм по основанию 2). Такую информацию имеет элементарное сообщение от двоичного источника равновероятных статистически независимых сооб­щений. Отметим, наконец, что определенная соотношением (1.1) соб­ственная информация не отрицательна.

Энтропия ансамбля сообщений

Собственная информация, определенная (1.1) как функция случай­ного события, является случайной величиной ( см. приложение 1). Для неслучайной характеристики ансамбля сообщений вводят понятие эн­тропии.

Математическое ожидание случайной величины , определенной на ансамбле , называется энтропией (Н) этого ансамбля:

(1.2)

Обратим внимание, что согласно (1.1) количество собственной инфор­мации для сообщения, вероятность которого равна 0, не определе­но. Однако энтропия любого дискретного ансамбля конечна, так как выражение вида при по непрерывности доопределяет­ся как 0. Основанием для такого доопределения является следую­щее соотношение:

которое получается в результате применения правил Лопиталя для раскрытия неопределенности вида

Понятие энтропии в теории информации является основополагающим. Количество информации, которое может быть получено от источника, оказывается тем большим, чем большей энтропией обладает источник. Количество информации трактуется как мера неопределен­ности, связанная с ожидаемым от источника сообщением. Сообщение является тем более неопределенным (неожиданным), чем оно оказы­вается менее вероятным. В общем случае с увеличением числа воз­можных состояний и уменьшением их вероятности энтропия источника возрастает. Чем выше энтропия источника, тем сложнее передать со­общение от этого источника по каналу связи (хотя бы с точки зрения энергетических затрат).

Рассмотрим основные свойства энтропии.

1. Энтропия всякого дискретного ансамбля неотрицательна: . Равенство нулю имеет место в том и только в том слу­чае, когда в ансамбле существует сообщение, вероятность которого 1; при этом вероятности остальных сообщений равны 0. Неотрицатель­ность следует из того, что собственная информация каждого сообще­ния ансамбля неотрицательна.

2. Пусть К — число сообщений в ансамбле. Тогда

(1.3)

Равенство имеет место только в том случае, когда все сообщения ан­самбля независимы и равновероятны.

Простое доказательство сделанного утверждения основано на сле­дующем неравенстве для натурального логарифма:

(1.4)

где равенство имеет место только при . Рассмотрим разность

(1.5)

Используя теперь неравенство (1.4), получим

Отсюда следует неравенство в (1.5). Равенство имеет место только тогда, когда для всех (равенство в (1.4) справед­ливо только при ).

3. Энтропия обладает свойством аддитивности.

Свойство аддитивности энтропии приводит к тому, что энтропия укруп­ненного ансамбля в определенной мере превосходит энтропию исход­ного источника.