Из свойства аддитивности тогда следует, что

I (XY; Z) = I (X;Z) + I (Y;Z|X) = I (Y; Z) + I (X;Z|Y) (3.25)

а из (3.20) —что

I (XY; Z) = H (ХY) - H (ХY | Z) = H (Z) - H (Z | ХУ) (3.26)

Одно из важнейших свойств средней взаимной информации состоит в том, что она не увеличивается при преобразованиях. Для того чтобы точно сформулировать и доказать это свойство, введем в рассмотрение некоторое преобразование (•), отображающее элементы множества X на элементы другого множества, скажем Z. Будем предполагать, что каждый элемент множества Z является образом некоторого (возможно, не одного) элемента из X. Будем это записывать так: Z = (X). Предположим также, что задан ансамбль {XY, р (х, у)} и тем самым определена величина средней взаимной информации I (X;Y). Преобразование (•) определяет ансамбль {ZY, p (z, y)}, для которого

(3.27)

Поэтому средняя взаимная информация I (Z; Y) определена для каждого отображения (•) и принимает значения, определяемые выбором .

Т е о р е м а Для любого отображения Z=(X) ансамбля X в ансамбль Z

I (X;Y)  I (Z;Y) (3.28)

причем равенство имеет место всегда, когда отображение обратимо, т.е. каждому элементу zZ соответствует единственный элемент хX.

Рассмотрим множество XYZ. Так как при выбранном сообщении х X сообщение z Z однозначно определено и, следовательно, не зависит от сообщения у У, то распределение вероятностей на тройках (х, у, z), соответствующее описанному выше отображению, удовлетворяет условию

р (z | ху) = р (z | х) (3.29)

или р (х,у,z) = р (х,у)  р (z|x) для всех (х,у,z) XYZ. Действительно, при данном х с вероятностью 1 z = (x), т. е.

Из условия (3.29) следует, что

(3.30)

для всех (х,у,z) XYZ, для которых р (х, у, x)  0, и, следовательно, I (Y; Z|X) = 0. Отсюда и из (2.1.25) следует, что

I (XZ; Y) = I (X; Y) + I (Y; Z | X) = I (X; Y) (3.31)

С другой стороны, в силу неотрицательности средней взаимной информации I (X; Y|Z)

I (XZ; Y) = I (Z; Y) + I (X; Y | Z)  I (Z; Y) (3.32)

что и доказывает (3.28).

Равенство в (3.28) имеет место в том случае, когда I(X;Y|Z)=0. Очевидно, что последнее равенство выполняется, если Для всех (х, у, z) XYZ

p (x | yz) = p (x | z) (3.33)

Условие (3.33) означает, что при выбранном сообщении zZ сообщение x X статистически не зависит от yY. Это условие всегда выполняется, если сообщение z однозначно определяет сообщение х, т. е. если сообщения х и z однозначно определяют друг друга и, следовательно, если отображение (•) обратимо. Теорема доказана.

Заметим, что в теореме доказано нечто большее, чем утверждается. А именно, доказано, что неравенство (3.28) имеет место не только при детерминированных отображениях X в Z, но также и при произвольных случайных отображениях, определяемых распределением вероятностей р (z|x), для которых выполнено условие (3.29).

Свойство невозрастания информации при преобразованиях имеет следующее физическое толкование.

Предположим, что имеются наблюдаемые события, образующие множество X. По этим наблюдениям мы хотим получить информацию о некотором объекте, возможные состояния которого образуют множество Y. Например, X — множество возможных сигналов на выходе некоторого канала связи, a Y — множество различных передаваемых сообщений. Теорема утверждает, что никакая обработка наблюдений, при которой происходит детерминированное или случайное их преобразование, не может увеличить средней информации об интересующем нас объекте. Информация сохраняется, если преобразование обратимо.

Очевидно, что теорема остается верной в том случае, когда преобразование осуществляется над ансамблем Y, а также в том случае, когда осуществляются преобразования как ансамбля X, так и ансамбля Y. Пусть U=(X) и V=(Y) — два отображения, заданные на множествах X и Y соответственно. Тогда

I (X; Y)  I (U; V) (3.34)

Если оба отображения обратимы, то имеет место знак равенства.