4. Свойства энтропии.

Здесь в качестве справки мы приведем некоторые свойства энтропии по Шеннону. Это даст вам возможность лучше понять смысл этого понятия и сферу его практического применения.

Случайный источник можно трактовать как событие с множеством исходов, вероятности которых заданы.

Рассмотрим два события X и Y. Исходы первого события будем обозначать через x, а второго - через y. Введем по определению понятие условной энтропии H(X/y).

H(X|y) = .

Это случайная величина. А теперь усредним H(X|y) по всему множеству Y и получим уже неслучайную величину H(X|Y).

Перейдем теперь к перечислению свойств. В некоторых случаях приводятся доказательства.

1. H(X) 0 .

2. H(X) является выпуклой вверх функцией своих аргументов функция своих аргументов p₁…p_n .

3. H(X) log|X| (если все события равновероятны, то энтропия максимальна).

4. H(X|Y) H(X) (Аналог свойства 3 для условной энтропии. Дополнительная

информация не увеличивает энтропию).

5. Пусть Х и Y – независимые события. Справедливо равенство

H(XY) = H(X) + H(Y).

6. Пусть два события имеют равное число исходов, а вероятности этих исходов как множества совпадают, т.е. они состоят из одних и тех же (p₁,…,p_n), но в разном порядке. Справедливо равенство

H(X) = H( X’).

7. Пусть есть событие Х = (p₁,…,p_n) и некоторое подмножество его исходов А (p₁,…,p_n). Построим новое событие Х_А таким образом, что его исходы задаются вероятностями («сглаживание» фрагмента).

Справедливо неравенство

H(х) H(Х_А).

Доказательство. Доказательство следует из свойств следует из (2) и (6).

По свойству (2) энтропия выпуклая вверх функция своих аргументов, а для такой функции f выполняется неравенство Йенсена .(Здесь числа α₁…α_n , α_i>0 , .)

Без ограничения общности считаем, что первые m элементов Х образуют подмножество А, т.е. исходы X задаются вероятностями p₁…p_mp_m+1…p_n

Строим вспомогательные события:

X ¹ = X

X² = p₂p₃…p_mp₁ p_m+1…p_n

X³ = p₃p₄…p₁p₂ p_m+1…p_n

X^m = p_mp₁…p_m-2p_m-1 p_m+1…p_n

Из свойства (6)следует, что H(X) = H(X¹) = … = H(X^m) (все события состоит из одинаковых множеств значений вероятностей). Тогда можно Х_А представить в виде (H(X) + H(X¹)+ … + H(X^m))/m. Применяем неравенство Йенсена, где все α_i=1/m. Получаем H(Х_А)≥ (H(X) + H(X¹)+ … + H(X^m))/m. Отсюда следуетH(Х_А)≥H(A).

8. H(XY) = H(X) + H(Y|X) = H(Y) + H(X|Y).

Следует из известных в теории вероятностей соотношений: P(XY) = P(X) P(Y|X) и P(XY) = P(Y) P(X|Y).

9. H(X₁X₂…X_n) = H(X₁) + H(X₂| X₁) + H(X₃| X₁ X₂) + … + H(X_n| X₁ X₂… X_n-1).

Следует из известных в теории вероятностей соотношения: P(X₁…X_n) = P(X₁) P(X₂|X₁) … P(X_n|X₁,…,X_n-1).

10. H(X|YZ) H(X|Y).

Доказывается по аналогии с доказательством свойства (4).

11. Пусть задано событие X и на множестве его исходов определена функция y = g(x). Введем событие Y с множеством исходов y = g(x). Тогда H(Y) H(X). Равенство H(Y) = H(X) достигается тогда и только тогда, когда существует обратная функция g ^{– 1}.

Доказательство. Следует из свойства (8).

H(X) + H(Y|X) = H(Y) + H(X|Y) H(Y) = H(X) + H(Y|X) – H(X|Y) 0.

Т.к. у полностью определяется по х, то H(Y|X) = 0.