2.3. Взаимная информация и условная энтропия.

Пусть имеются два ансамбля ис известным совместным распределением вероятностей. Разумеется, последнее позволяет получить и распределения вероятностей для каждого из ансамблей

,.

Хотя вводимые ниже категории взаимной информации и условной энтропии в принципе не требуют отождествления с какими-либо физическими явлениями, для наглядности удобно закрепитьза входными сообщениями, а– за выходными сообщениями (наблюдениями) канала. Зафиксируем некоторое наблюдениеи рассмотрим условную вероятностьна множестве. Данная вероятность называетсяапостериорной, говоря о предсказуемостис учетом известности результата наблюдения(т.е. после того, как этот результат получен). Апостериорная вероятность определяет (условное) количество информации в сообщении при фиксированном наблюдении:

. (2.8)

Разность

. (2.9)

между безусловным и условным количествами информации называется количеством информации в сообщении (наблюдении) о сообщении.

Поскольку для любых и, соотношению (2.9) можно придать следующую симметричную форму

,

т. е. количество информации в сообщении о сообщенииравно количеству информации в сообщениио сообщении. Следовательно, количество информации– симметрическая функция аргументови , и поэтому величинуназываютколичеством взаимной информации между сообщениями иили простовзаимной информациейсообщений и.

Из (2.9) легко понять, что взаимная информация сообщений иесть ни что иное, как некоторая мера их статистической зависимости. Действительно, для независимых и и, значит,. Детерминированная же взаимно-однозначная зависимость между иприведет к тому, чтоидля единственного, связанного ссоответствием, тогда как для остальныхи. В отличие от обычного количества информации, взаимная информацияможет принимать как положительные, так и отрицательные значения. Этим отражается возможность, как возрастания, так и убыванияожидаемости, после того, какпроизошло. Иными словами, количество информациивпосле наблюденияможет быть и меньшим, и большим, чем до наблюдения.

Математическое ожидание случайной величины на множествепри фиксированном сообщении

. (2.10)

называется средней взаимной информацией между ансамблем и сообщением.

Математическое ожидание случайной величины на множестве

. (2.11)

называется средней взаимной информацией между ансамблями и.

Если в (2.10) усреднение осуществляется только по ансамблю, а элементфиксирован, то в (2.11) усреднение проводится и по, и по .

Аналогичные операции могут быть осуществлены и над условной собственной информацией . Результат усреднения условной собственной информациипопри фиксированномназываетсяусловной энтропией ансамбля относительно сообщения

. (2.12)

Продолжив усреднение далее и по придем кусловной энтропии ансамбля относительно ансамбля

. (2.13)

Согласно (2.11) и (2.9)

,

т.е. с учетом (2.3) и (2.13)

. (2.14)

Действуя аналогично, не составляет труда показать, что

.

Последние два результата позволяют дать ясную трактовку понятию средней взаимной информации, характеризующей взаимозависимость ансамблей и. До того, как наблюдение некоторого сообщенияоказалось доступным, неопределенность ансамбля, т.е. средняя информация, содержащаяся в его сообщениях, измерялась безусловной энтропией. Наблюдение сообщениядает новые сведения о сообщениях из, заменяя их безусловные вероятности условными. При этом в среднем неопределенность сообщений изпосле наблюденияхарактеризуется условной энтропией. Уменьшение неопределенностиза счет наблюденияи есть та информация об, которая извлекается из сообщений ансамбля. В случае канала связи, как было условлено, ансамбльотвечает множеству передаваемых сообщений, а– множеству наблюдений на выходе канала. При этомоценивает в среднем неопределенность относительно того, какое из сообщений было передано, остающуюся после получения сигнала на выходе канала (т.е. наблюдения). В этом свете условная энтропиявходного ансамбля относительно выходного может быть названаостаточной энтропией.

Содержание понятий средней взаимной информации и условной энтропии станет еще яснее после установления ряда их замечательных свойств.

Теорема 2.3.1.Средняя взаимная информация между сообщением и ансамблем, а также средняя взаимная информация между двумя ансамблями всегда неотрицательна:

и. (2.15)

Доказательство.Применив к (2.10) неравенство (2.5), получаем

,

что доказывает первое из неравенств (2.15). Справедливость второго следует из того, что согласно определению получается усреднениемпо.

Учитывая условия обращения логарифмического неравенства в равенство, можно заключить, что средняя взаимная информация равна нулю тогда и только тогда, когдадля всех, т.е. для независимых ансамблей. Тем самым подтверждается надежностькак меры информации об одном ансамбле, содержащейся в другом. Как уже отмечалось, зависимостьозначает возможность извлечения новых сведений обиз, и в силу доказанного любое проявление зависимости автоматически делает среднюю взаимную информацию положительной.

Следствие 2.3.1.Условная энтропия ансамбля сообщенийотносительно ансамбляне превосходит безусловную энтропию того же ансамбля, т. е.

. (2.16)

Доказательство.Из (2.14) следует, что, с учетом теоремы 2.3.1, означает выполнение (2.16).

Неравенство (2.16) можно обобщить на случай произвольного числа ансамблей сообщений, например :

. (2.17)

Смысл этого вывода вновь легко постижим: дополнительные наблюдения могут лишь увеличивать информированность о предмете интереса (или, по меньшей мере, оставлять ее без изменений), но никогда не приведут к возрастанию неопределенности.

Следствие 2.3.2.Пусть заданы три ансамбля сообщенийи, причем ансамбльявляется отображением ансамбля, т.е.. Тогда выполняется неравенство

, (2.18)

причем равенство имеет место при обратимом отображении, когда каждому элементу соответствует единственный элемент.

Доказательство.Запишем разность взаимных информаций

.

Раскроем выражение в соответствии с (2.13):

.

Поскольку получается преобразованием, тои, следовательно, с учетом (2.17)

.

При обратимом преобразовании точно так же и последняя разность обращается в нуль, что и утверждалось.

Доказанное следствие весьма содержательно. Оно свидетельствует, что никакие манипуляции с результатами наблюдений из ансамбля не увеличивают осведомленности об ансамбле. Иными словами, максимум информации обсодержится в самих наблюдениях и любые преобразования наблюдений могут в лучшем случае лишь сохранить эту информацию, а в худшем – привести к потере какой-то ее части. Подобных потерь не будет, в частности, при взаимно однозначных (обратимых) преобразованиях наблюдений. Обратимость однако не является необходимым условием сохранения информации и можно привести множество примеров, когда необратимые преобразования также не приводят к потере информации об интересующем наблюдателя ансамбле. Так, пусть ансамбльобразован изпутем присоединения сообщений другого источника, не связанных с сообщениями. Понятно, что преобразование, заключающееся в отбрасывании посторонних для ансамблясообщений, сохранит информацию об, содержащуюся в, и в преобразованном.

В 2.2 была рассмотрена энтропия ансамбля, образованного двумя статистически независимыми источниками сообщений. Определив понятие условной энтропии, рассмотрим теперь энтропию совместного ансамбля, составленного из двух исходных.

Теорема 2.3.2.Пусть два ансамбляи рассматриваются совместно, образуя новый ансамбль. Тогда энтропия ансамбля

. (2.19)

Доказательство.Согласно (2.3)

,

откуда с учетом (2.3) и (2.13) следует первое из равенств в (2.19). Второе является лишь результатом переобозначения и .

Соотношение (2.19) легко обобщается на произвольное число ансамблей. Пусть ансамбль. Тогда цепное правило исчисления вероятностей

,

как и при , трансформируется в правило аддитивности энтропии:

. (2.20)

Последнее соотношение позволяет взглянуть на источник сообщений с несколько иной точки зрения. Все предыдущие рассуждения проводились в предположении, что источник выдает сообщения побуквенно, т.е. каждое элементарное сообщение можно отождествлять с буквой из некоторого алфавита. В действительности реальный источник обычно генерирует элементарные сообщения (буквы) одно за другим последовательно во времени. Рассмотрим блок изпоследовательных букв, где верхний индекс (i), т.е. номер элемента последовательности, как и ранее, отвечает дискретному времени. В случае дискретного стационарного источника указанный блок может трактоваться как новое укрупненное сообщение, где. При мощностимножествамощность множества, образованного всеми возможными векторами, равна. Тогда, согласно (2.3) и с учетом (2.20), энтропияопределится как

.

Учитывая неотрицательность условной энтропии , очевидным образом следует, что при неограниченном увеличении длины последовательностиэнтропия также может принять бесконечно большое значение. По этой причине неопределенность подобного источника характеризуют энтропией, приходящейся на одну букву блока длиныm

, (2.21)

получившей также наименование удельной энтропии. Конечность этой величины гарантирована следующей теоремой.

Теорема 2.3.3.Для любого дискретного стационарного источника последовательность значенийсходится к некоторому пределу:.

Следует отметить, что для стационарного ДИБП, генерирующего буквы из ансамбля , и, значит,.