2.3. Взаимная информация и условная энтропия.

Пусть имеются два ансамбля и с известным совместным распределением вероятностей . Разумеется, последнее позволяет получить и распределения вероятностей для каждого из ансамблей

, .

Хотя вводимые ниже категории взаимной информации и условной энтропии в принципе не требуют отождествления с какими-либо физическими явлениями, для наглядности удобно закрепить за входными сообщениями, а – за выходными сообщениями (наблюдениями) канала. Зафиксируем некоторое наблюдение и рассмотрим условную вероятность на множестве . Данная вероятность называется апостериорной, говоря о предсказуемости с учетом известности результата наблюдения (т.е. после того, как этот результат получен). Апостериорная вероятность определяет (условное) количество информации в сообщении при фиксированном наблюдении :

. (2.8)

Разность

. (2.9)

между безусловным и условным количествами информации называется количеством информации в сообщении (наблюдении) о сообщении .

Поскольку для любых и , соотношению (2.9) можно придать следующую симметричную форму

,

т. е. количество информации в сообщении о сообщении равно количеству информации в сообщении о сообщении . Следовательно, количество информации – симметрическая функция аргументов и , и поэтому величину называют количеством взаимной информации между сообщениями и или просто взаимной информацией сообщений и .

Из (2.9) легко понять, что взаимная информация сообщений и есть ни что иное, как некоторая мера их статистической зависимости. Действительно, для независимых и и, значит, . Детерминированная же взаимно-однозначная зависимость между и приведет к тому, что и для единственного , связанного с соответствием , тогда как для остальных и . В отличие от обычного количества информации, взаимная информация может принимать как положительные, так и отрицательные значения. Этим отражается возможность, как возрастания , так и убывания ожидаемости , после того, как произошло. Иными словами, количество информации в после наблюдения может быть и меньшим, и большим, чем до наблюдения  .

Математическое ожидание случайной величины на множестве при фиксированном сообщении

. (2.10)

называется средней взаимной информацией между ансамблем и сообщением .

Математическое ожидание случайной величины на множестве

. (2.11)

называется средней взаимной информацией между ансамблями и .

Если в (2.10) усреднение осуществляется только по ансамблю , а элемент фиксирован, то в (2.11) усреднение проводится и по , и по .

Аналогичные операции могут быть осуществлены и над условной собственной информацией . Результат усреднения условной собственной информации по при фиксированном называется условной энтропией ансамбля относительно сообщения

. (2.12)

Продолжив усреднение далее и по придем к условной энтропии ансамбля относительно ансамбля

. (2.13)

Согласно (2.11) и (2.9)

,

т.е. с учетом (2.3) и (2.13)

. (2.14)

Действуя аналогично, не составляет труда показать, что

.

Последние два результата позволяют дать ясную трактовку понятию средней взаимной информации, характеризующей взаимозависимость ансамблей и . До того, как наблюдение некоторого сообщения оказалось доступным, неопределенность ансамбля , т.е. средняя информация, содержащаяся в его сообщениях, измерялась безусловной энтропией . Наблюдение сообщения дает новые сведения о сообщениях из , заменяя их безусловные вероятности условными. При этом в среднем неопределенность сообщений из после наблюдения характеризуется условной энтропией . Уменьшение неопределенности за счет наблюдения и есть та информация об , которая извлекается из сообщений ансамбля . В случае канала связи, как было условлено, ансамбль отвечает множеству передаваемых сообщений, а – множеству наблюдений на выходе канала. При этом оценивает в среднем неопределенность относительно того, какое из сообщений было передано, остающуюся после получения сигнала на выходе канала (т.е. наблюдения). В этом свете условная энтропия входного ансамбля относительно выходного может быть названа остаточной энтропией.

Содержание понятий средней взаимной информации и условной энтропии станет еще яснее после установления ряда их замечательных свойств.

Теорема 2.3.1. Средняя взаимная информация между сообщением и ансамблем, а также средняя взаимная информация между двумя ансамблями всегда неотрицательна:

и . (2.15)

Доказательство. Применив к (2.10) неравенство (2.5), получаем

,

что доказывает первое из неравенств (2.15). Справедливость второго следует из того, что согласно определению получается усреднением по .

Учитывая условия обращения логарифмического неравенства в равенство, можно заключить, что средняя взаимная информация равна нулю тогда и только тогда, когда для всех , т.е. для независимых ансамблей. Тем самым подтверждается надежность как меры информации об одном ансамбле, содержащейся в другом. Как уже отмечалось, зависимость означает возможность извлечения новых сведений об из , и в силу доказанного любое проявление зависимости автоматически делает среднюю взаимную информацию положительной.

Следствие 2.3.1. Условная энтропия ансамбля сообщений относительно ансамбля не превосходит безусловную энтропию того же ансамбля, т. е.

. (2.16)

Доказательство. Из (2.14) следует , что, с учетом теоремы 2.3.1, означает выполнение (2.16).

Неравенство (2.16) можно обобщить на случай произвольного числа ансамблей сообщений, например :

. (2.17)

Смысл этого вывода вновь легко постижим: дополнительные наблюдения могут лишь увеличивать информированность о предмете интереса (или, по меньшей мере, оставлять ее без изменений), но никогда не приведут к возрастанию неопределенности.

Следствие 2.3.2. Пусть заданы три ансамбля сообщений и , причем ансамбль является отображением ансамбля , т.е. . Тогда выполняется неравенство

, (2.18)

причем равенство имеет место при обратимом отображении, когда каждому элементу соответствует единственный элемент .

Доказательство. Запишем разность взаимных информаций

.

Раскроем выражение в соответствии с (2.13):

.

Поскольку получается преобразованием , то и , следовательно, с учетом (2.17)

.

При обратимом преобразовании точно так же и последняя разность обращается в нуль, что и утверждалось.

Доказанное следствие весьма содержательно. Оно свидетельствует, что никакие манипуляции с результатами наблюдений из ансамбля не увеличивают осведомленности об ансамбле . Иными словами, максимум информации об содержится в самих наблюдениях и любые преобразования наблюдений могут в лучшем случае лишь сохранить эту информацию, а в худшем – привести к потере какой-то ее части. Подобных потерь не будет, в частности, при взаимно однозначных (обратимых) преобразованиях наблюдений. Обратимость однако не является необходимым условием сохранения информации и можно привести множество примеров, когда необратимые преобразования также не приводят к потере информации об интересующем наблюдателя ансамбле . Так, пусть ансамбль образован из путем присоединения сообщений другого источника, не связанных с сообщениями . Понятно, что преобразование , заключающееся в отбрасывании посторонних для ансамбля сообщений, сохранит информацию об , содержащуюся в , и в преобразованном .

В 2.2 была рассмотрена энтропия ансамбля, образованного двумя статистически независимыми источниками сообщений. Определив понятие условной энтропии, рассмотрим теперь энтропию совместного ансамбля, составленного из двух исходных.

Теорема 2.3.2. Пусть два ансамбля и рассматриваются совместно, образуя новый ансамбль . Тогда энтропия ансамбля

. (2.19)

Доказательство. Согласно (2.3)

,

откуда с учетом (2.3) и (2.13) следует первое из равенств в (2.19). Второе является лишь результатом переобозначения и .

Соотношение (2.19) легко обобщается на произвольное число ансамблей . Пусть ансамбль . Тогда цепное правило исчисления вероятностей

,

как и при , трансформируется в правило аддитивности энтропии:

. (2.20)

Последнее соотношение позволяет взглянуть на источник сообщений с несколько иной точки зрения. Все предыдущие рассуждения проводились в предположении, что источник выдает сообщения побуквенно, т.е. каждое элементарное сообщение можно отождествлять с буквой из некоторого алфавита. В действительности реальный источник обычно генерирует элементарные сообщения (буквы) одно за другим последовательно во времени. Рассмотрим блок из последовательных букв , где верхний индекс (i), т.е. номер элемента последовательности, как и ранее, отвечает дискретному времени. В случае дискретного стационарного источника указанный блок может трактоваться как новое укрупненное сообщение , где . При мощности множества мощность множества , образованного всеми возможными векторами , равна . Тогда, согласно (2.3) и с учетом (2.20), энтропия определится как

.

Учитывая неотрицательность условной энтропии , очевидным образом следует, что при неограниченном увеличении длины последовательности энтропия также может принять бесконечно большое значение. По этой причине неопределенность подобного источника характеризуют энтропией, приходящейся на одну букву блока длины m

, (2.21)

получившей также наименование удельной энтропии. Конечность этой величины гарантирована следующей теоремой.

Теорема 2.3.3. Для любого дискретного стационарного источника последовательность значений сходится к некоторому пределу : .

Следует отметить, что для стационарного ДИБП, генерирующего буквы из ансамбля , и, значит, .