Энтропия объединения

Объединением называется совокупность двух и более взаимозависимых ансамблей дискретных случайных переменных.

Рассмотрим объединение, состоящее из двух ансамблей XиY, например, из двух дискретных измеряемых величин, связанных между собой вероятностными зависимостями.

Схема ансамбля X:

x₁ x₂ … x_i … x_n;

p(x₁) p(x₂) … p(x_i) … p(x_n). (15)

Схема ансамбля Y:

y₁ y₂ … y_i … y_m;

p(y₁) p(y₂) … p(y_i) … p(y_m). (16)

Схема объединения XиY:

x₁ x₂ … x_n

y₁ p(x_1, y₁) p(x_2, y₁) … p(x_n, y₁); (17)

y₂ p(x_1, y₂) p(x_2, y₂) … p(x_n, y₂);

……………………………….

y_m p(x_1, y_m) p(x_2, y_m) … p(x_n, y_m).

Вероятность произведения (совпадения) совместных зависимых событий XиYравна произведению безусловной вероятностиp(x) илиp(y) на условные вероятностиp(y|x) илиp(x|y).

Таким образом, имеем:

p(x,y) =p(x)p(y|x) =p(y)p(x|y). (18)

Отсюда находятся условные вероятности

p(y|x) = ; (19)

p(x|y) = (20)

в зависимости от того, какое событие является причиной, а какое – следствием.

В рассмотренном случае дискретных переменных XиYчастные условные вероятности могут быть записаны для х=х_ккак

p(y₁|x_k) = ; p(y₂|x_k) = ; (21)

p(y_m|x_k) = . (22)

С объединением связаны понятия безусловной, условной и взаимной энтропии (ниже см. табл.2.1). Их иногда также называют зависимой, коррелированной и взаимной энтропией, или трансинформацией.

Энтропия объединения

Таблица 2.1

Наименование	Обозначе-ние	Соотношения	Диаграмма
Безусловная энтропия	H(X) H(Y)	H(X)H(X|Y) H(X) = H(X|Y) + + H(X*Y) H(Y)H(Y|X) H(Y) = H(Y|X) + + H(X*Y)	X Y X Y
Условная энтропия	H(X|Y) H(Y|X)	H(X|Y) = H(X) – - H(X*Y) H(Y|X) = H(Y) – H(X*Y)	X Y X Y

Продолжение табл. 2.1

Совместная энтропия	H(X,Y) = = H(Y, X)	H(X, Y) = H(X) + + H(Y|X) = H(Y) + + H(X|Y) = H(X) + + H(Y) – H(X*Y)	XY
Взаимная энтропия	H(X*Y) = = H(Y*X)	H(X*Y) = H(X) – - H(X|Y) = H(Y) – H(Y|X) = H(X,Y) – - H(X|Y) – H(Y|X)

Последовательность символов х_1, х_{2, …,} х_{i, …,} x_n, создаваемая источником, может претерпевать искажения по пути к приемнику.

Символ х_iможет быть принят не только как однозначно ему соответствующий символy_i, но и как любой из возможных символовy_1, y_{2, …,} y_j, …,y_m с соответствующими вероятностями.

Различные виды энтропии имеют следующий смысл:

H(X) –безусловная энтропия источника, или среднее количество информации на символ, выдаваемое источником;

H(Y) –безусловная энтропия приемника, или среднее количество информации на символ, получаемое приемником;

H(X,Y)– взаимная энтропиясистемы передачи – приема в целом, или средняя информация на пару (переданного и принятого) символов;

H(Y|X) – условная энтропия Y относительно Х, или мера количества информации в приемнике, когда известно, что передается Х;

H(Х|Y) –условная энтропияХ относительноY, или мера количества информации об источнике, когда известно, что принимаетсяY.

Если в системе нет потерь и искажений, то условные энтропии равны нулю, а количество взаимной информации равно энтропии либо источника, либо приемника.

На основании статистических данных могут быть установлены вероятности событий у₁, у₂, …, у_mпри условии, что имели место события х_i, а именноp(y₁|x_i),p(y₂|x_i), …,p(y_m|x_i). Тогда частная энтропия будет равна:

. (23)

Далее нужно подсчитать среднее значение H(Y|x_i) для всех переданных символов х. Это будет условная энтропия канала

. (24)

Аналогично получается условная энтропия H(X|Y), учитывающая условные вероятностиp(x_i|y_j):

. (25)

Безусловная энтропия ансамбля Х

. (26)

Безусловная энтропия ансамбля Y

. (27)