3.1. Энтропия сложной системы. Теорема сложения энтропии

На практике часто приходится определять энтропию для сложной системы, полученной объединением двух или более простых систем.

Под объединением двух систем Х и Y с возможными состояниями x1,…,xn, у1, ..., уn понимается сложная система (X, Y), состояния которой (хi, уj) представляют собой все возможные комбинации состояний систем Х и Y.

Очевидно, число возможных состояний системы (X, Y) равно п X т. Обозначим Рij вероятность того, что система (X, Y) будет в состоянии (xi, уj):

Рij==Р((X=xi)(Y=yj)).

Энтропия сложной системы

Н(Х,Y)= -  Pij logPij (2)

Теорема при объединении независимых систем их энтропии складываются

H(X,Y) = H(X) +H(Y) (3)

4. Условная энтропия. Объединение зависимых систем

Пусть имеются две системы Х и Y, в общем случае зависимые. Предположим, что система Х приняла состояние х,. Обозначим Р(уj/хi) условную вероятность того, что система Y примет состояние уj при условии, что система X находится в состоянии хi.

Условная энтропия системы Y при условии, что система Х находится в состоянии хi Обозначим ее Н(Y\xi). По общему определению, имеем:

H(Y\xi)= -  P(yj/xi)logP(yj/xi)) (4)

Cреднюю, или полную, энтропию системы

H(Y/X)= - piP(yj/xi) log P(yj/xi) (5)

Пример 2. Имеются две системы Х и Y, объединяемые в одну (X, Y);

вероятности состояний системы (X, Y) заданы таблицей №1

Таблица №1

Yj/xi	X1	X2	X3	Rij
Y1	0,1	0,2	0	0,3
Y2	0	0,3	0	0,3
Y3	0	0,2	0,2	0,4
Pi	0,1	0,7	0,2

Определить полные условные энтропии Н(Y X) и Н(Х/ Y).

Решение. Складывая вероятности Рij по столбцам, получим вероят­ности рi = Р (X = хi).

P1= 0,1; р2 = 0,7; p3 = 0,2.

Записываем их в нижней, добавочной строке таблицы. Аналогично, склады­вая pij по строкам, найдем;

R1=0,3; r2=0,3; r4=0,4 (rj = P(Y=yj)) и запишем справа дополнительным столбцом. Деля Рij , на рi, получим таб­лицу №2 условных вероятностей Р(уj/хi):

Таблица №2

Yj/xi	X1	X2	X3
Y1	1	02,/07	0
Y2	0	0,3/0,7	0
Y3	0	0,2/0,7	1

По формуле (5) находим H(Y/ X).

H(Y/X) = 0,7(0,2/0,7log(0,2/0,7)+0,3/0,7log(0,3/0,7) + 0,2/0,7log(0,2/0,7)

Пользуясь таблицей 1 приложения, находим

H(Y/X) = 1,09 (дв. ед.).

Теорема Если две системы Х и Y объединяются в одну, то энтро­пия объединенной системы равна энтропии одной из ее со­ставных частей плюс условная энтропия второй части отно­сительно первой:

H(X/Y) = H(X) + H(Y/X) (6)