1.2 Энтропия сложной системы

Ранее мы рассмотрели одну систему, а как быть, если имеем дело со сложной системой, представляющей собой соединение нескольких простых систем.

Например, пусть имеются две системы X=(x₁, …x_i , …, x_n ) и Y=(y_1… ,y_j, … y_m ). Чему будет равняться энтропия сложной системы H(x,y)? При этом могут быть две ситуации. Системы X и Y могут быть независимыми или зависимыми.

Рассмотрим ситуацию для случая независимых систем. Для этого необходимо определить вероятности совместных событий p_ij= p(x_i, y_j).

При этом данная матрица обладает свойствами:

, ,

После того, как станут, известны все вероятности, нетрудно вычислить энтропию.

(1.4)

Сложение энтропии независимых систем

Пусть системы X и Y независимы, то есть принимают свои состояния независимо одна от другой, тогда по теореме умножения вероятностей (для независимых случайных величин)

Далее возьмем математическое ожидание от левой и правой части

отсюда

(1.5)

Таким образом, при объединении независимых систем их энтропии складываются. При объединении n независимых систем

Условная энтропия

Пусть имеются две зависимые системы (или два множества сообщений) X и Y. Обозначим условную вероятность того, что система Y примет состояние y_j при условии, что система X приняла x_i.

Определим условную частную энтропию системы Y относительно отдельного события x_i. При этом должны быть известны условные вероятности .

Тогда частная условная энтропия будет равна

Частную условную энтропию можно выразить через математическое ожидание

Чтобы полностью охарактеризовать энтропию системы, нужно определить полную или среднюю энтропию. Если частную, условную энтропию усреднить по всем состояниям x_i с учетом вероятности появления каждого из состояний p(x_i), то найдем полную условную энтропию сообщений Y относительно X.

(1.6)

Понятие условной энтропии широко используется для определения информационных потерь при передаче информации. Пусть по каналу связи передаются сообщения с помощью алфавита Х. В результате воздействия помех приемником будет восприниматься другой алфавит Y (см.рис. 1.2).

Рис.1.2. Передача информации по каналу связи

при воздействии помех

выражает неопределенность того что, отправив x_i, мы получим y_j, а понятие  неуверенность, которая остается после получения y_j в том, что было отправлено именно x_i. Если в канале связи помехи отсутствуют, то всегда посланному символу x₁ соответствует принятый символ y₁, x₂  y₂, . . . , x_n  y_n. При этом энтропия источника H(X) равна энтропии приемника H(Y). Если в канале связи присутствуют помехи, то они уничтожают часть передаваемой информации.

Для вычисления энтропии совместного появления статистически зависимых сообщений используется понятие энтропии объединения. Энтропия объединения представляет собой сумму вида:

(1.7)

Энтропия объединения и условная энтропия связаны между собой следующими соотношениями:

H(X,Y) = H(X) + H(X/Y) = H(Y) + H(X/Y) (1.8)

В случае если X и Y между собой независимы, то условная энтропия равняется безусловной H(Y/X)=H(Y) и H(X,Y)=H(X)+H(Y).

В общем случае энтропия объединенной системы H(X,Y)≤ H(X)+H(Y),

это следует из того что: H(Y/X)≤H(Y) условная энтропия меньше безусловной. Энтропия объединенной системы достигает максимум, только в случае если системы независимы.

В случае полной зависимости систем, состояния одной системы полностью определяют состояния другой (они эквивалентны): H(X,Y)=H(X)=H(Y), так как H(Y/X)=0.

Основные свойства условной энтропии

1. Если сообщения X и Y статистически независимы, то условная энтропия сообщений Y относительно X равна безусловной энтропии сообщений Y: H(Y/X)=H(Y). В этом случае вся информация, которую содержат сообщения Y, является новой по отношению к информации, содержащейся в сообщениях X.

В самом деле, если сообщения X и Y статистически независимы, то p(y_j/x_i)=p(y_j) и общая условная энтропия может быть записана в форме

Так как сумма вероятностей всех состояний Х равна единице , то или Р(Y/X)=Р(Y).

2. Если сообщения X и Y являются статистически жестко связанными, то условная энтропия сообщений Y относительно X равна нулю H(Y/X)=0. Это означает, что сообщения Y не содержат никакой новой информации сверх той, которая содержится в сообщениях Х.

3. Условная энтропия всегда меньше безусловной энтропии H(Y/X)<H(Y).

В случае если имеются n  зависимых систем, энтропия объединения будет равна:

H(X₁; X₂; X₃; . . . ;X_n ) = H(X₁)+H(X₂ /X₁ )+H(X₃ /X₁ X₂ ) + . . . +H(X_n / X ₁X ₂. . . X_n). Энтропия первой системы входит полностью, энтропия второй системы с учетом того, что первая определена, третей  первые две определены и т.д.