1.4. Свойства энтропии источника дискретных сообщений

В соответствии с (1.6) энтропия источника дискретных сообщений

.

1. Энтропия есть величина вещественная, неотрицательная и ограниченная.

Выделим из формулы для энтропии (1.6) одно слагаемое и докажем, что это слагаемое является величиной вещественной, неотрицательной и ограниченной. Заметим, что для крайних значений ^{и рассматриваемое слагаемое обращается в нуль. При этом для значения необходимо рассмотреть предел, который использован в примере для двоичного канала.}

.

Здесь р перевели в знаменатель в виде дроби 1/р. В числителе остается –logp, который представлен как log1/p=log1– logp = –logp, т.к. log1=0.

Обозначив и воспользовавшись правилом Лопиталя, получим

.

^{Для значений} интересующее нас слагаемое будет вещественным и неотрицательным. Для доказательства ограниченности величины найдем , при котором исследуемая величина примет максимальное значение. Для этого, как известно, надо отыскать производную и приравнять ее нулю:

,

Решая приведенное выше уравнение, получаем.

^{Этому значению} будет соответствовать максимальное значение слагаемого –p(x_i)log(p(x_i)), равное 0,531. Таким образом, интересующее нас слагаемое является вещественным, неотрицательным и ограниченным. График зависимости величины этого слагаемого от приведен на рис..1.2. Поскольку энтропия представляет собой ограниченную сумму слагаемых, то свойства для одного слагаемого в данном случае можно перенести на всю сумму.

2. Энтропия ^{лишь в том случае, когда все вероятности} , кроме одной, равны нулю, а эта единственная вероятность равна единице. Следовательно, ^{только в случае полной определенности исхода опыта, а в остальных случаях} . ^{Последнее вытекает из того, что и, как было доказано в п.1.4.1,} .

3. При заданном энтропия максимальна и равна лишь тогда, когда все события равновероятны, т.е. .

Это свойство можно доказать следующим образом. Для краткости записи обозначим ^{и представим (1.6) в виде}

. (1.8)

Поскольку все события x_i независимы и несовместны, то сумма их вероятностей равна 1. Тогда применительно к (1.8) должно выполняться условие

^{. (1.9)}

^{Найдем значения} , при которых энтропия имеет максимальное значение.

Согласно правилу отыскания относительного максимума функции нескольких переменных с учетом (1.8) и (1.9) имеем

^,

^где – множитель Лагранжа.

^{Подставляем в последнее равенство значения из (1.8)} и, выполнив дифференцирование, получаем

,

откуда

, (1.10)

где .

Заметим, что с учетом (1.10) ^{, откуда} следует, что соответствует равной вероятности событий. Найденное экстремальное значение соответствует максимуму энтропии. Изложенное свойство энтропии 1.4.3 полностью согласуется с графиком зависимости от на рис. 1.1 для двоичного канала как источника информации.

1.5. Энтропия источника совместных сообщений

Возьмем два ансамбля событий: , который представляется (1.4)

, и , описываемый как

. (1.11)

Будем рассматривать совместные (происходящие вместе) события и . Все возможные пары могут рассматриваться как элементы нового объединенного ансамбля . В качестве примера совместных событий и можно отметить состояния и , формируемые в r- и s-разрядных регистрах, широко используемых в информационных системах. При этом число состояний r-разрядного регистра составит , а s-разрядного – . Каждому из состояний регистров с помощью логических дешифраторов можно привести в соответствие двоичные сигналы (события) () и (). Все возможные пары и могут быть реализованы с использованием двухвходовых логических элементов «И» (конъюнкторов). Таким образом, на выходах этих логических элементов получим двоичных сигналов (сообщений), которые можно рассматривать как элементы нового ансамбля .

Объединенный ансамбль таких сообщений представим в виде

			…
			…
			…
			…

Ансамбль может рассматриваться как некий новый, в котором возможны различных состояний (событий) с заданным распределением вероятностей .

Энтропия такого ансамбля, т.е. энтропия исхода совместных событий , может быть получена по аналогии с энтропией (1.8) в следующем виде:

. (1.12)

Известно, что вероятность совместного события равна произведению вероятности одного события на условную вероятность другого события, при условии, что произошло первое событие [3]

, (1.13)

где – вероятность события при условии, что произошло событие (условная вероятность ), – условная вероятность .

Проделав подстановку (1.13) в (1.12) и соответствующие преобразования, получим

_. (1.14)

Для условных вероятностей известно, что ^{[3], тогда выражение (1.14) с учетом (1.8) можно привести к виду}

, (1.15)

^где . (1.16)

Здесь будем называть условной энтропией ансамбля . Условную энтропию структурно можно рассматривать как математическое ожидание частных условных энтропий ансамбля . Следовательно, условная энтропия равна среднему значению частных условных энтропий и характеризует неопределенность исхода событий при известных событиях :

.

Легко видеть, что условная энтропия , так же как энтропии и , – величина положительная, т.е. .

Обратим внимание на то, что формула (1.13) для вероятности совместных событий, по сути, имеет две формы записи. Используя это, нетрудно представить и энтропию совместных событий в двух видах:

. (1.17)