1. 4 Ентропія джерела. Властивості кількості інформації та ентропії

Кількість інформації, що міститься в одному елементарному повідомленні x_i, не повністю характеризує джерело. Джерело дискретних повідомлень може бути охарактеризовано середньою кількістю інформації, що припадає на одне елементарне повідомлення, і називається ентропією джерела, тобто питомою кількістю інформації

, i=1…k , (1.3)

де k - об'єм алфавіту джерела.

Фізичний зміст ентропії - це середньостатистична міра невизначеності знань одержувача інформації щодо стану спостережуваного об'єкта.

У формулі (1.3) статистичне усереднювання (тобто обчислювання математичного сподівання випадкової величини) виконується за всім ансамблем повідомлень джерела. При цьому необхідно враховувати всі імовірнісні зв'язки між різними повідомленнями. Чим вища ентропія джерела, тим більша кількість інформації в середньому закладається в кожне повідомлення, тим важче її запам'ятати (записати) або передати каналом зв'язку.

Необхідні втрати енергії на передачу повідомлення пропорційні ентропії (середній кількості інформації на одне повідомлення). Звідси випливає, що кількість інформації в послідовності з N повідомлень визначається кількістю цих повідомлень і ентропією джерела, тобто

I(N)=NH(X).

Ентропія як кількісна міра інформаційності джерела має такі властивості:

1) ентропія дорівнює нулю, якщо хоча б одне з повідомлень достовірне;

2) ентропія завжди більша або дорівнює нулю, є величиною дійсною і обмеженою;

3) ентропія джерела з двома альтернативними подіями може змінюватися від 0 до 1;

4) ентропія - величина адитивна: ентропія джерела, повідомлення якого складаються з повідомлень декількох статистично незалежних джерел, дорівнює сумі ентропій цих джерел;

5) ентропія максимальна, якщо всі повідомлення мають однакову імовірність. Таким чином,

. (1.4)

Вираз (1.4) називається формулою Хартлі. ЇЇ легко вивести з формули Шеннона (1.3), припустивши, що p_i=1/k, де i=1…k.

При нерівноймовірних елементарних повідомленнях x_i ентропія зменшується. У зв'язку з цим вводиться така міра джерела, як статистична надлишковість

, (1.5)

де H(X) - ентропія джерела повідомлень; H(X)_max=log₂k - максимально досяжна ентропія даного джерела.

Надлишковість джерела (1.5) свідчить про інформаційний резерв повідомлень, елементи яких нерівноймовірні. Вона показує, яка частка максимально можливої при заданому об'ємі алфавіту невизначеності (ентропії) не використовується джерелом.

Існує поняття семантичної надлишковості, яке випливає з того, що будь-яку думку можна сформулювати коротше. Вважається, що якщо яке-небудь повідомлення можна скоротити без втрати його смислового змісту, то воно має семантичну надлишковість.

Розглянемо дискретні випадкові величини (д. в. в.) Х і Y, що задані законами розподілів їхніх ймовірностей P(X=X_i)=p_i, P(Y=Y_i)=q_j та розподілом сумісних ймовірностей системи д. в. в. P(X=X_i, Y=Y_j)=p_ij. Тоді кількість інформації, що міститься в д. в. в. Х щодо д. в. в. Y – взаємна інформація, визначається так:

(1.6)

Для неперервних випадкових величин (в. в.) X і Y, безумовні та сумісна щільності розподілів ймовірностей яких відповідно _X(t₁), _Y(t₂) та _XY(t₁, t₂), взаємну кількість інформації шукають так само, як і в разі д. в. в.:

.

Очевидно, що

і, отже, ,

тобто приходимо до виразу (1.3) знаходження ентропії H(X). Таким чином, ентропія випадкової величини X:

.

Наведемо властивості кількості інформації і ентропії:

1) I(X, Y)≥0; I(X, Y)=0  X і Y незалежні (одна в. в. нічим не описує іншу);

2) I(X, Y)=I(Y, X);

3) НХ=0  X=const;

4) I(X, Y)=HX+HY-H(X, Y), де ;

5. I(X, Y) ≤ I(X, X); якщо I(X, Y)=I(X, X)  X=f(Y).

Зразки розв'язування задач до розділу 1

Приклад 1 Дискретні випадкові величини (д. в. в.) X₁ та X₂ визначаються підкиданням двох гральних кубиків. Д. в. в. Y=X₁+X₂. Знайти кількість інформації I(Y, X₁), I(X₁, X₁), I(Y, Y).