12.3. Энтропия сложной системы. Теорема сложения энтропий

На практике часто приходится определять энтропию для сложной системы, полученной объединением двух или более простых систем.

Под объединением двух систем X и Y с возможными состояниями x₁, …, x_n; y₁, …, y_m понимается сложная система (X, Y), состояния которой (x_i, y_i) представляют собой все возможные комбинации состояний x_i, y_i систем X и Y.

Очевидно, число возможных состояний системы (X, Y) равно n  m. Обозначим через P_ij вероятность того, что система (X, Y) будет в состоянии (x_i, y_j):

P_ij = P ((X ~ x_i)(Y ~ y_j)).

Вероятности P_ij удобно расположить в виде таблицы (матрицы).

yj xi	x1	x2	…	xn
y1	P11	P21	…	Pn1
y2	P12	P22	…	Pn2
. . .	. . .	. . .	… … …	. . .
ym	P1m	P2m	…	Pnm

Найдем энтропию сложной системы. По определению она равна сумме произведений вероятностей всех возможных ее состояний на их логарифмы с обратным знаком:

,

или в других обозначениях:

Энтропию сложной системы, как и энтропию простой, тоже можно записать в форме математического ожидания:

H (X, Y) = M [- log P (X, Y)], (12.6)

где log P (X. Y) — логарифм вероятности состояния системы, рассматриваемый как случайная величина (функция состояния).

Предположим, что системы X и Y независимы, т.е. принимают свои состояния независимо одна от другой, и вычислим в этом предположении энтропию сложной системы. По теореме умножения вероятностей для независимых событий

P (X, Y) = P (X)P(Y),

откуда

log P(X, Y) = log P(X)+ log P(Y).

Подставляя в (12.6), получим

H (X, Y) = M [- log P (X) – log P (Y)],

или

H (X, Y) = H (X) + H (Y),

т.е. при объединении независимых систем их энтропии складываются.

Доказанное положение называется теоремой сложения энтропий.

Теорема сложения энтропии может быть легко обобщена на произвольное число независимых систем:

Если объединяемые системы зависимы, простое сложение энтропий уже неприменимо. В этом случае энтропия сложной системы меньше, чем сумма энтропий ее составных частей. Чтобы найти энтропию системы, составленной из зависимых элементов, нужно ввести новое понятие условной энтропии.

12.4. Условная энтропия. Объединение зависимых систем

Пусть имеются две системы X и Y, в общем случае зависимые. Предположим, что система X приняла состояние x_i. Обозначим через P (y_i | x_i) условную вероятность того, что система Y примет состояние y_i при условии, что система X находится в состоянии x_i:

P (y_j | x_i) = P (Y ~ y_j | X ~ x_i).

Определим теперь условную энтропию системы Y при условии, что система X находится в состоянии x_i. Обозначим ее H (Y | x_i). По общему определению имеем:

(12.7)

или

Формулу (12.7) можно также записать в форме математического ожидания:

где знаком обозначено условное математическое ожидание величины, стоящей в скобках, при условии X ~ x_i.

Условная энтропия зависит от того, какое состояние x_i приняла система X; для одних состояний она будет больше, для других — меньше. Определим среднюю, или полную, энтропию системы Y с учетом того, что система может принимать разные состояния. Для этого нужно каждую условную энтропию (2.4.1) умножить на вероятность соответствующего состояния p_i и все такие произведения сложить. Обозначим полную условную энтропию H (Y | X):

или, пользуясь формулой (12.7),

Внося p_i под знак второй суммы, получим

или

Но по теореме умножения вероятностей p_i P (y_j | x_i) = P_ij, следовательно,

(12.8)

Выражению где (2.4.2) тоже можно придать форму математического ожидания:

H (Y | X) = M [-log P (Y | X)]. (12.9)

Величина H (Y | X) характеризует степень неопределенности системы Y, остающуюся после того, как состояние системы X полностью определилось. Будем называть ее полной условной энтропией системы Y относительно X.

Пользуясь понятием условной энтропии, можно определить энтропию объединенной системы через энтропию ее составных частей.

Докажем следующую теорему:

Если две системы X и Y объединяются в одну, то энтропия объединенной системы равна энтропии одной из ее составных частей плюс условная энтропия второй части относительно первой:

H (X, Y) = H (X) + H (Y | X). (12.10)

Для доказательства запишем H (X, Y) в форме математического ожидания:

H (X, Y) = M [-log P (X, Y)].

По теореме умножения вероятностей

P (X, Y) = P (X) P (Y | X),

следовательно,

log P (X, Y) = log P (X) + log P (Y | X),

откуда

H (X, Y) = M [-log P (X)] + M [-log P (Y | X)],

или

H (X, Y) = H (X) + H (Y | X),

что и требовалось доказать.

В частном случае, когда системы X и Y независимы, H (Y | X) = H (Y), и мы получаем уже доказанную в предыдущем пункте теорему сложения энтропий:

H (X, Y) = H (X) + H (Y).

В общем случае

H (X, Y)  H (X) + H (Y). (12.11)

Соотношение где (2.4.5) следует из того, что полная условная энтропия H (Y | X) не может превосходить безусловной:

H (Y | X)  H (Y). (12.12)

Неравенство интуитивно представляется довольно очевидным: ясно, что степень неопределенности системы не может увеличиться оттого, что состояние какой-то другой системы стало известным.

Из соотношения следует, что энтропия сложной системы достигает максимума в крайнем случае, когда ее составные части независимы.

Рассмотрим другой крайний случай, когда состояние одной из систем (например X) полностью определяет собой состояние другой (Y). В этом случае H (Y | X) = 0, и формула дает

H (X, Y) = H (X).

Если состояние каждой из систем X, Y однозначно определяет состояние другой (или, как говорят, системы X и Y эквивалентны), то

H (X, Y) = H (X) = H (Y).

Теорему об энтропии сложной системы легко можно распространить на любое число объединяемых систем:

H (X₁, X₂,…, X_S) = H (X₁) + H (X₂ | X₁) + H (X₃ | X₁, X₂) + … + H (X_S | X₁, X₂,…, X_S-1),

где энтропия каждой последующей системы вычисляется при условии, что состояние всех предыдущих известно.