33. Свойство энтропии.

Энтропия является вещественно и неотрицательной величиной (очевидно).

1. Энтропия – величина ограниченная. Для слагаемых – P_i log P_i при 0<P_i1 ограниченность очевидна. Остается выяснить предел :

Обозначив и воспользовавшись правилом Лопиталя, получим

2. Энтропия обращается в нуль лишь в том случае, если вероятность одного из состояний равна единице, а остальных - нулю, то есть состояние источника полностью определена.

3. Энтропия максимальна, когда все состояния источника равновероятны (доказывается методом множителей Лагранжа):

(6)

4. Энтропия источника «u» с двумя состояниями u₁ и u₂ изменяется от 0 до 1, достигая максимум при равенстве вероятностей:

График зависимости H(U) в функции P приведен на рис. 1.

(7)

Отметим, что H(U) непрерывно зависит от вероятностей состояний, что вытекает из непрерывности функций – P log P.

Рис. 1.

5. Энтропия объединения нескольких статистически независимых источников информации равна сумме энтропий исходных источников.

Не теряя общности, ограничимся двумя источниками u и v.

Под объединением двух источников понимают обобщенный источник информации (u , v) характеризующийся вероятностями P(u_i , v_j) всех возможных комбинаций состояния u_i , v_j источников u и v. Аналогично трактуется объединение ансамблей.

В соответствии с определением энтропия объединения

(8)

Здесь P(u_i,v_j) вероятности совместной реализации состояния

В случае статистической независимости источников u и v

тогда

Учитывая, что и , получим

(9)

Соответственно энтропия объединения нескольких не зависимых источников U, V, . . ., Z

(10)

7. Энтропия характеризует среднюю неопределенность выбора одного состояния из ансамбля. При ее вероятности используют только вероятности состояний, полностью игнорируя содержательную сторону.

8. Энтропия как мера неопределенности согласуется с экспериментальными данными, полученными при изучении психологических реакций человека.

34. Условия энтропии и ее свойства.

Определим энтропию двух статистически связанных ансамблей U и V. Объединение ансамблей характеризуется матрицей P(UV) вероятностей P(u_iv_j) всех возможных комбинаций состояний ансамбля U и ансамбля V:

(11)

Суммируя столбцы и строки матрицы (11) получим информацию об ансамблях U и V исходных источников u и v:

Вероятности P(u_iv_j) совместной реализации равны

(12)

где и - условные вероятности:

- вероятность реализации состояний u_i ансамбля U при условии, что реализовалось состояние v_j ансамбля V, - определяется аналогично. Тогда выражение (8) для энтропии объединения принимает вид

(13)

Обозначим и назовем сумму

(14)

частной условной энтропией ансамбля. Оно представляет собой случайную величину, характеризующую неопределенность, приходящуюся на одно состояние ансамбля V при условии, что реализовалось конкретное состояние u_i ансамбля U.

При усреднении по всем состояниям ансамбля U получаем среднюю неопределенность, приходящуюся на одно состояние ансамбля V при известных состояниях ансамбля U:

(15) или (16)

Величину H_U(V) называют полной условной или просто условной энтропией ансамбля V по отношению к ансамблю U.

Подставляя(16) в (13) получим (17)

Выражая в (8) P(u_iv_j) через другую условную вероятность в соответствии с (12), найдем (18)

Где (19) и (20)

Т.о. энтропия объединения двух статистически связанных ансамблей U и V равна безусловной энтропии одного ансамбля условная энтропия другого относительно первого.

Распространяя правило (17) на объединение любого числа зависимых ансамблей, получим (21)

В объединении ансамблей и условная энтропия любого ансамбля всегда меньше или равна безусловной энтропии этого же ансамбля.

(22) (очевидно) (23)

Тогда (24)

Для нескольких ансамблей (25)

Наличие сведений о результатах реализации состояний одного ансамбля никак не может увеличить неопределенность выбора состояния из другого ансамбля. Эта неопределенность может только уменьшаться, если существует связь в реализациях состояний из обоих ансамблей.

В случае отсутствия статистической связи

(26)

Если связь однозначна, то (27)

т.к. условные вероятности и в этом случае принимают значения равные нулю или единице.

Уяснению соотношений между рассмотренными энтропиями дискретных источников информации (ансамблей) способствует их графическое отображение (рис. 2).