11 Як знаходиться часткова умовна ентропія?

Часткова умовна ентропія - це кількість інформації, що припадає на одне повідомлення джерела X за умови встановлення факту вибору джерелом Y повідомлення y_j, або кількість інформації, що припадає на одне повідомлення джерела Y за умови, що відомий стан джерела X:

, (1.16)

, (1.17)

де , - алфавіти повідомлень; x_i - певне повідомлення джерела X, щодо якого визначається часткова умовна ентропія H(Y/x_i) алфавіту Y за умови вибору джерелом X повідомлення x_i; y_j - певне повідомлення джерела Y, щодо якого визначається часткова умовна ентропія H(X/y_j) алфавіту X за умови вибору повідомлення y_j; i - номер повідомлення з алфавіту X; j - номер повідомлення з алфавіту Y; p(x_i/y_j), p(y_j/x_i) – умовні імовірності.

---------------------------------------------------------------------------------------------------

12 Як знаходиться загальна умовна ентропія?

Загальна умовна ентропія визначається так:

, (1.18)

. (1.19)

Отже, загальна умовна ентропія (1.18) - це середньостатистична кількість інформації (математичне сподівання), що припадає на будь-яке повідомлення джерела X, якщо відомий його статистичний взаємозв'язок з джерелом Y. Так само загальна умовна ентропія (1.19) - це середня кількість інформації, яка міститься в повідомленнях джерела Y за наявності статистичного взаємозв'язку з джерелом X.

---------------------------------------------------------------------------------------------------

13 Які основні властивості умовної ентропії?

Властивості умовної ентропії:

1) якщо джерела повідомлень X і Y статистично незалежні, то умовна ентропія джерела X стосовно Y дорівнює безумовній ентропії джерела X і навпаки:

H(X/Y)=H(X), H(Y/X)=H(Y);

2) якщо джерела повідомлень X і Y настільки статистично взаємозв'язані, що виникнення одного з повідомлень спричиняє безумовну появу іншого, то їхні умовні ентропії дорівнюють нулю:

H(X/Y)=H(Y/X)=0;

3) ентропія джерела статистично взаємозалежних повідомлень (умовна ентропія) менша від ентропії джерела незалежних повідомлень (безумовної ентропії):

H(X/Y)<H(X), H(Y/X)<H(Y).

---------------------------------------------------------------------------------------------------

14 Чим обумовлена статистична надмірність джерела інформації?

З властивості 3 випливає поняття статистичної надмірності, обумовленої наявністю статистичної залежності між елементами повідомлення:

, (1.22)

де H(X/Y) - загальна умовна ентропія джерела X стосовно джерела Y; H(X) - безумовна ентропія джерела X.

Наявність статистичної надмірності джерела інформації дозволяє використовувати кодування інформації, націлене на зменшення її надмірності. Таке кодування називається ефективним, або статистичним.

15 Чим описується інформаційний канал?

17 Чим визначається ентропія об'єднання двох джерел інформації?

Ентропію H(X, Y) об'єднання двох джерел інформації X і Y знаходять через імовірності p(x_i, y_j) системи випадкових повідомлень x_i, y_j для всіх i=1...k, і j=1...l. Для цього складається матриця ймовірностей системи двох статистично залежних джерел

. (1.25)

Ентропія об'єднання двох джерел H(X, Y) (взаємна ентропія) - це середня кількість інформації, що припадає на два будь-які повідомлення джерел X і Y:

. (1.26)

З рівності p(x_i, y_j)= p(y_j, x_i) випливає, що

H(X, Y)=H(Y, X).

---------------------------------------------------------------------------------------------------