33. Свойства энтропии.

1. Энтропия является вещественно и неотрицательной величиной (очевидно).

2. Энтропия – величина ограниченная. Для слагаемых – P_i log P_i при 0<P_i1 ограниченность очевидна. Остается выяснить предел :

Обозначив и воспользовавшись правилом Лопиталя, получим

3. Энтропия обращается в нуль лишь в том случае, если вероятность одного из состояний равна единице, а остальных - нулю, то есть состояние источника полностью определена.

4. Энтропия максимальна, когда все состояния источника равновероятны (доказывается методом множителей Лагранжа):

(6)

5. Энтропия источника «u» с двумя состояниями u₁ и u₂ изменяется от 0 до 1, достигая максимум при равенстве вероятностей:

График зависимости H(U) в функции P приведен на рис. 1.

(7)

Отметим, что H(U) непрерывно зависит от вероятностей состояний, что вытекает из непрерывности функций – P log P.

Рис. 1.

6. Энтропия объединения нескольких статистически независимых источников информации равна сумме энтропий исходных источников.

Не теряя общности, ограничимся двумя источниками u и v.

Под объединением двух источников понимают обобщенный источник информации (u , v) характеризующийся вероятностями P(u_i , v_j) всех возможных комбинаций состояния u_i , v_j источников u и v. Аналогично трактуется объединение ансамблей.

В соответствии с определением энтропия объединения

(8)

Здесь P(u_i,v_j) вероятности совместной реализации состояния

В случае статистической независимости источников u и v

тогда

Учитывая, что и , получим

(9)

Соответственно энтропия объединения нескольких не зависимых источников U, V, . . ., Z

(10)

Свойства 7 и 8 для справки. 7. Энтропия характеризует среднюю неопределенность выбора одного состояния из ансамбля. При ее вероятности используют только вероятности состояний, полностью игнорируя содержательную сторону. Поэтому она не может служить средством решения любых задач, связанных с неопределенностью. Например, при использовании этой меры для оценки неопределенности действия лекарства приводящего к полному выздоровлению в 90% случаев и к частичному улучшению здоровья в 10%, оно получится такой же, как и у лекарства, вызывающего в 90% случаев смерть, а в 10% ухудшения здоровья.

8. Энтропия как мера неопределенности согласуется с экспериментальными данными, полученными при изучении психологических реакций человека.

34. Условия энтропии и ее свойства.

Определим энтропию двух статистически связанных ансамблей U и V. Объединение ансамблей характеризуется матрицей P(UV) вероятностей P(u_iv_j) всех возможных комбинаций состояний ансамбля U и ансамбля V:

(11)

Суммируя столбцы и строки матрицы (11) получим информацию об ансамблях U и V исходных источников u и v:

Вероятности P(u_iv_j) совместной реализации равны

(12)

где и - условные вероятности:

- вероятность реализации состояний u_i ансамбля U при условии, что реализовалось состояние v_j ансамбля V, - определяется аналогично. Тогда выражение (8) для энтропии объединения принимает вид

(13)

Обозначим и назовем сумму

(14)

частной условной энтропией ансамбля. Оно представляет собой случайную величину, характеризующую неопределенность, приходящуюся на одно состояние ансамбля V при условии, что реализовалось конкретное состояние u_i ансамбля U.

При усреднении по всем состояниям ансамбля U получаем среднюю неопределенность, приходящуюся на одно состояние ансамбля V при известных состояниях ансамбля U:

(15)

или

(16)

Величину H_U(V) называют полной условной или просто условной энтропией ансамбля V по отношению к ансамблю U.

Подставляя(16) в (13) получим

(17)

Выражая в (8) P(u_iv_j) через другую условную вероятность в соответствии с (12), найдем

(18)

где

(19)

и

(20)

Т.о. энтропия объединения двух статистически связанных ансамблей U и V равна безусловной энтропии одного ансамбля условная энтропия другого относительно первого.

Распространяя правило (17) на объединение любого числа зависимых ансамблей, получим

(21)

В объединении ансамблей и условная энтропия любого ансамбля всегда меньше или равна безусловной энтропии этого же ансамбля.

(22)

(очевидно) (23)

Тогда

(24)

Для нескольких ансамблей

(25)

Наличие сведений о результатах реализации состояний одного ансамбля никак не может увеличить неопределенность выбора состояния из другого ансамбля. Эта неопределенность может только уменьшаться, если существует связь в реализациях состояний из обоих ансамблей.

В случае отсутствия статистической связи

(26)

Если связь однозначна, то

(27)

т.к. условные вероятности и в этом случае принимают значения равные нулю или единице.

Уяснению соотношений между рассмотренными энтропиями дискретных источников информации (ансамблей) способствует их графическое отображение (рис. 2).