3.4. Энтропия объединения ансамблей

Энтропия объединения ансамблей используется для вычисления энтропии совместного появления статистических зависимых сообщений. Например, передав сто раз цифру 5 по каналу связи с помехами, заметим, что цифра 5 была принята 90 раз, цифра 6 – 8 раз и цифра 4 – 2 раза. Неопределенность возникновения комбинаций вида 5 – 4, 5 – 5, 5 – 6 при передаче цифры 5 может быть описана при помощи энтропии объединения. - неопределенность того, что будет посланоX, а принято Y.

Пусть имеется сложная система, состоящая из двух систем X и Y, X=(x₁,…, x_i,…, x_m )и Y=(y_1… ,y_j, … y_n ).

Если два ансамбля X и Y статистически зависимы, то совместное распределение на ансамбле пар () может быть представлено в виде:

.

(3.12.)

В этом случае энтропия объединения ансамблей принимает вид

.

(3.13.)

В этом выражении

.

Поэтому

.

(3.14.)

Первое слагаемое в правой части есть знакомая нам энтропия ансамбля X. Второе слагаемое представляет собой усредненное по ансамблю X выражение .

Здесь используются условные вероятности и это дает нам право считать, что выделенное выражение есть неопределенность выбора отдельного сообщения из ансамбляY при условии, что известно одно сообщение . Другими словами, это естьчастная условная энтропия ансамбля Y при условии, что известно сообщение из ансамбляX, который статистически связан с Y. Обозначим эту частную условную энтропию через . Усредняя частную условную энтропию по ансамблюX, получим среднюю условную энтропию

.

(3.15.)

В результате окончательно получим выражение для энтропии объединения статистически связанных ансамблей:

.

(3.16.)

Аналогично выводятся следующие выражения, симметричные этому:

H(XY)=H(YX)=H(YV)+H(X/Y).

(3.17.)

При наличии третьего ансамбля Z, статистически связанного с первыми двумя, получим:

H(XYZ)=H(XY)+H(Z/XY)=H(X)+H(Y/X)+H(Z/XY).

(3.18.)

Это выражение легко расширяется на объединение произвольного количества статистически связанных ансамблей:

H(XUZ...W)=H(X)+H(Y/X)+H(Z/XY)+. . . +H(W/XYZ. . .).

(3.19.)

В общем случае энтропия объединенной системы

H(X,Y)≤ H(X)+H(Y),

что следует из отношения H(Y/X)≤H(Y).

Энтропия объединенной системы достигает максимумf, только в слу­чае если системы независимы.

В случае полной зависимости систем, состояния одной системы полно­стью определяют состояния другой (они эквивалентны):

H(X,Y)=H(X)=H(Y), так как H(Y/X)=0.

Энтропия объединенного ансамбля H(XY) удовлетворяет следующим соотношениям

а) H(XY)= H(X)+ H(Y/X)= H(Y)+ H(X/Y) , если X и Y зависимы;

б) H(XY)= H(X)+ H(Y), если X и Y независимы.

В случае если имеются n - зависимых систем, энтропия объединения будет равна:

H(Х₁;Х₂;Х₃;…;Х_n) = Н(Х₁)+Н(Х₂/Х₁)+Н(Х₃/Х₁Х₂) +…+Н(Х_n/Х₁Х₂…Хn).

Энтропия первой системы входит полностью, энтропия второй системы с учетом того, что первая определена, третей - первые две определены и т.д.

Пример 3.14. В буфере ИС ожидают обработки 6 заданий. 2 из них запрашивают дополнительный ресурс (например, принтер), 4 – не требуют ресурса. Последовательно в случайном порядке отправляются на обработку два задания. Найти энтропию запроса дополнительного ресурса.

Решение. Будем считать сообщением А – посылку первого задания на выполнение. Ресурс потребуется с вероятностью Р(А₁)=2/6=1/3. Ресурс не потребуется с вероятностью Р(А₂)=2/3. Энтропия сообщения А равна:

Н(А)= - Р(А₁)logР(А₁) - Р(А₂)logР(А₂)= -1/3 log1/3 – 2/3 log 2/3 = 0.918 бит.

Сообщение В – посылка второго задания на выполнение. Вероятность того, что потребуется ресурс Р(В₁), зависит от того, какое задание было послано первым.

при А₁: Р(В₁|А₁)=1/5, Р(В₂| А₁)=4/5; H(B|А₁)= -1/5∙log1/5 – 4/5∙log4/5 = 0.722;

при А₂: Р(В₁|А₂)=2/5, Р(В₂|А₂)=3/5; H(B|А₂)= -2/5∙log2/5 – 3/5∙log3/5 = 0.971.

Следовательно, энтропия сообщения В равна

H(B|A)= Р(А₁)∙H(B|А₁)+Р(А₂)∙H(B|А₂) = 1/3∙0.722 + 2/3∙0.971 = 0.888 бит.

Обратим внимание, что энтропия сообщения В оказалась меньше, чем сообщения А. Это естественно, так как, получив информацию об исходе А, у нас уменьшилась неопределенность относительно исхода В. Полная совместная энтропия получается по формуле:

H(A,B)= 0.918 + 0.888 = 1.806 бит.

Пример 3.15. Имеется три тела с одинаковыми внешними размерами, но с разными массами x₁, x₂ и x₃. Необходимо определить энтропию, связанную с нахождением наиболее тяжелого из них, если сравнивать веса тел можно только попарно.

Решение. Последовательность действий достаточно очевидна: сравн­иваем вес двух любых тел, определяем из них более тяжелое, затем с ним сравниваем вес третьего тела и выбираем наибольший из них. Поскольку внешне тела неразличимы, выбор номеров тел при взвешивании будет случаен, однако общий результат от этого выбора не зависит. Пусть опыт A состоит в сравнении веса двух тел, например, первого и второго. Этот опыт, очевидно, может иметь два исхода: A₁: x₁ > x₂, его вероятность p(A₁) = 1/2; исход A₂: x₁ <  x₂; также его вероятность p(A₂)=1/2.

H(А) = –1/2 log₂1/2 – 1/2 log₂1/2 = 1 (бит).

Опыт B – сравнение весов тела, выбранного в опыте A, и третьего – имеет четыре исхода: B₁: x₁> x₃, B₂: x₁< x₃, B₃: x₂> x₃, B₄: x₂< x₃; вероятности исходов зависят от реализовавшегося исхода A – для удобства представим их в виде таблицы:

	B1	B2	B3	B4
A1	1/2	1/2	0	0
A2	0	0	1/2	1/2

Находим:

; ;

H(B|A)=p(A1)∙H(B|A1)+p(A2)∙H(B|A2)=1/2∙1+1/2∙1=1 бит.

Следовательно, энтропия сложного опыта, т.е. всей процедуры испытаний:

H(A,B)=H(A)+H(B|A)=2 (бит).

Пример 3.16. Установленное на предприятии оборудование в результате эксплуатации может оказаться в одном из трех состояний износа:

С1 – оборудование работоспособно, но требует небольшого ремонта;

С2 – большая часть деталей изношена, требуется серьезный ремонт;

С3 – дальнейшая эксплуатация оборудования невозможна.

Предыдущая практика показывает, что вероятность состояния С1 равна 20%, р(С2) = 50%, р(С3) = 30%. Найти неопределенность (энтропию) состояния оборудования.

Решение. H(C) = -(0.2∙log₂0.2+0.5∙log₂0.5+0.3∙log₂0.3)=1.48.

Пример 3.17. Для уточнения состояния оборудования из предыдущей задачи на предприятии проведены испытания оборудования. Недостаточная квалификация персонала и отсутствие необходимой контрольно-измерительной аппаратуры привели к тому, что результаты испытаний не достоверно отражают истинное состояние оборудования. В результате испытаний возможны 4 исхода:

Z1 – оборудование исправно; Z2 – требуется регулировка; Z3 – требуется замена отдельных деталей; Z4 – оборудование не пригодно к эксплуатации.

Условные априорные вероятности каждого исхода в зависимости от истинного состояния оборудования сведены в таблицу:

p(Z|C)	Z1	Z2	Z2	Z4
C1	0.5	0.5	0	0
C2	0	0.5	0.5	0
C3	0	0	0.25	0.75

Насколько уменьшилась неопределенность о состоянии оборудования в результате испытаний?

Решение. Необходимо найти общую условную энтропию С при условии получения сообщения Z: H(C|Z).

Найдем вероятность каждого исхода Zi.

p(Z1) = 0.2∙0.5+0.5∙0+0.3∙0 = 0.1; p(Z2) = 0.2∙0.5+0.5∙0.5+0.3∙0 = 0.35;

p(Z3) = 0.2∙0+0.5∙0.5+0.3∙0.25 = 0.325;p(Z4) = 0.2∙0+0.5∙0+0.3∙0.75 = 0.225

Найдем апостериорную вероятность состояний Cj по формуле Байеса p(Cj|Zi) = p(Zi|Cj)∙p(Cj)/p(Zi). Результаты сведем в таблицу

p(C|Z)	Z1	Z2	Z3	Z4
C1	1	0.29	0	0
C2	0	0.71	0.77	0
C3	0	0	0.23	1

Наконец, вычислим общую условную энтропию H(C|Z):

H(C|Z) = = 0+0.35∙0.87+0.325∙0.78+0 =0.56.

Видно, что в результате испытаний неопределенность уменьшилась.