1.5. Энтропия сложных событий. Условная энтропия

Мера неопределенности, используемая в решении задач, касающихся работы линий связи, например, должна быть приспособлена, в первую очередь, для оценки степени неопределенности сложных «составных событий», состоящих из целой совокупности следующих друг за другом испытаний.

Пусть и – два независимых опыта с распределениями вероятностей:

опыт

исходы опыта	A1	A2	…	Ak
вероятности	p(A1)	p(A2)	…	p(Ak)

опыт

исходы опыта	B1	B2	…	Bl
вероятности	p(B1)	p(B2)	…	p(Bl)

Рассмотрим сложный опыт , состоящий в том, что одновременно осуществляются опыта и . Этот опыт может иметь kl исходов:

где, например, означает, что опыт имел исход , а опыт – исход . Элементарно доказывается согласно определению с учетом того, что и независимы и , правило сложения энтропий

. (1.6)

Это правило распространяется и на большее количество независимых величин.

Если задана матрица вероятностей объединения двух исходов опытов и , то

, (1.7)

где – вероятность совместного появления событий .

Если опыты и не независимы, энтропия сложного опыта в общем случае равна

. (1.8)

где – полная условная или просто условная энтропия опыта относительно ансамбля :

и

.

Величину называют частной условной энтропией опыта . – вероятность реализации исхода , опыта при условии, что реализовался исход опыта . Иначе можно записать:

(1.9)

Таким образом, энтропия объединения двух статистически связанных опытов и равняется безусловной энтропии одного опыта плюс условная энтропия другого относительно первого.

Для объединения любого числа зависимых опытов:

(1.10)

Укажем некоторые важнейшие свойства величины .

1. Очевидно, что это есть неотрицательное число. Кроме того,

.

Таким образом, случаи, когда исход опыта полностью определяется исходом и когда опыта инезависимы, являются в определенном смысле крайними.

2. Если все вероятности отличны от нуля, т. е. если опыт имеет действительно k исходов, то в том и только в том случае, если , т. е. если при любом исходе опыта результат опыта становится полностью определенным (тривиальным образом это условие выполняется в том случае, если опыт с самого начала не является неопределенным). При этом мы имеем

.

3. Если же опыта и являются независимыми, то

и .

4. Так как сложные опыты и не отличаются одно от другого, то

, т. е. .

Отсюда следует, в частности, что, зная энтропии и опытов и и условную энтропию опыта при условии выполнения , мы можем определить также и условную энтропию опыта при условии выполнения :

. (1.11)

5. Поскольку , то из формулы (3.9) следует, что

;

при эта оценка величины условной энтропии оказывается более точной. Равенство

имеет место при , т. е. если исход опыта полностью определяет исход опыта ; при этом всегда будет .

Пример 1. Определить энтропии , если задана матрица вероятностей исходов опытов :

.

Решение

Вычислим безусловные вероятности исходов каждого опыта как суммы общих вероятностей по строкам и столбцам заданной матрицы: , .

бит.

бит.

Находим условные вероятности (чтобы воспользоваться формулой (1.9)) :

; ;

; .

бит.

По формуле (1.7) получаем:

бит.

По формуле (1.8) можно проверить результаты вычислений:

бит.

Пример 2. Известны энтропии двух зависимых источников: бит, бит. Определить в каких границах будет изменяться условная энтропия при изменении в максимально возможных границах.

Решение

При решении удобно использовать графическое представление связи между энтропиями. Из рисунка 3 видим, что максимального значения достигает при отсутствии взаимосвязи, и будет равняться , то есть 10 бит. По мере увеличения взаимосвязи будет уменьшаться до значения бит. При этом .