1.3.Условная энтропия

При передаче информации часто имеют дело с несколькими источниками, дающими зависимые сообщения. Совокупность сообщений, вырабатываемых несколькими источниками, назовем сложным сообщением.

Пусть имеются два источника сообщений. Сообщения первого источника принимают значения х₁ , х₂ , …, х_n с вероятностями p(х₁), p(х₂), …, p(х_n), а сообщения второго источника принимают значения y₁, y₂, …, y_m с вероятностями p(y₁), p(y₂), …, p(y_m).

Совместную энтропию совокупности сообщений X и Y можно записать в виде

,

Где p(x_i , y_j) – вероятность совместного появления x_i и y_j.

Учитывая, что совместная вероятность может быть представлена в виде p(x_i , y_j) = p(x_i) p(y_j / x_i), где p(y_j /x_i) – условная вероятность сообщения y_j при условии, что поступило сообщение x_i , выражение можно привести к виду

Так как при наличии сообщения x_i обязательно будет одно из сообщений ансамбля y_j , то

.

Выражение для совместной энтропии может быть представлено в следующем виде

где – частная условная энтропия, выражающая энтропию сообщения Y при условии, что имело место сообщение Х. Второй член выражения представляет собой усреднение H(Y / x _i ) по всем сообщениям х₁, х₂, …, х_n и называется средней условной энтропией сообщения Y при условии поступления сообщения X. Обозначив его через H(Y / Х), окончательно получим

H(X, Y) = H(X) + H(Y / X),

Основной смысл условной энтропии H(Y/X) состоит в том, что она показывает, какую энтропию дают сообщения Y, когда уже известна энтропия сообщений X.

Из очевидного равенства H(X, Y) = H(Y, X) получим

H(X, Y) = H(Y) + H(X / Y).

Таким образом, совместная энтропия двух сообщений равна сумме безусловной энтропии одного из сообщений и условной энтропии второго сообщения.

Можно определить следующие основные свойства энтропии сложных сообщений:

1. При статистически независимых сообщениях X и Y условная энтропия равна энтропии одного сообщения (без вывода):

H(Y / X) = H(Y).

2. При полной статистической зависимости сообщений X и Y, условная энтропия равна нулю или единице. Действительно, полная статистическая зависимость соответствует случаю, когда условные вероятности равны нулю или единице.

3. Условная энтропия может измеряться в пределах: 0  H   (Y / X)  1.

В реальных условиях независимость элементов сообщений – явление довольно редкое. Например, при передаче русского текста вероятности появления отдельных букв зависят от того, какие буквы им предшествовали. Например, если передана буква «п», то вероятность того, что следующей может быть буква «а», гораздо больше, чем вероятность появления буквы «р». После буквы «ъ» никогда не ожидается появление буквы «н» и т.п. Такая зависимость между элементами образовалась исторически, в процессе формирования русского языка.

Аналогичные случаи характерны и для других языков.

Очевидно, что при определении энтропии и количества информации в сообщениях, элементы которых коррелированны, нельзя ограничиваться, как это мы делали до сих пор, только безусловными вероятностями элементов сообщений. Необходимо учитывать и условные вероятности появления элементов сообщений.

При наличии коррелятивных связей между элементами энтропия сообщений, а следовательно, и количество передаваемой информации уменьшаются, причем это уменьшение будет тем интенсивнее, чем сильнее коррелятивные связи и чем большее число элементов будет охвачено этими связями.