7 Що таке ентропія джерела? Які її властивості?

Кількість інформації, що міститься в одному елементарному повідомленні x_i, не повністю характеризує джерело. Джерело дискретних повідомлень може бути охарактеризовано середньою кількістю інформації, що припадає на одне елементарне повідомлення, і називається ентропією джерела, тобто питомою кількістю інформації

, i=1…k , (1.3)

де k - об'єм алфавіту джерела.

Ентропія як кількісна міра інформаційності джерела має такі властивості:

1) ентропія дорівнює нулю, якщо хоча б одне з повідомлень достовірне;

2) ентропія завжди більша або дорівнює нулю, є величиною дійсною і обмеженою;

3) ентропія джерела з двома альтернативними подіями може змінюватися від 0 до 1;

4) ентропія - величина адитивна: ентропія джерела, повідомлення якого складаються з повідомлень декількох статистично незалежних джерел, дорівнює сумі ентропій цих джерел;

5) ентропія максимальна, якщо всі повідомлення мають однакову імовірність. Таким чином,

. (1.4)

---------------------------------------------------------------------------------------------------

8 Як визначається кількість інформації на одне повідомлення джерела взаємозалежних повідомлень? . Які її властивості.

Якщо джерело інформації видає послідовність взаємозалежних повідомлень, то отримання кожного з них змінює ймовірність появи наступних і відповідно кількість інформації у них. У такому випадку кількість інформації виражається через умовну ймовірність вибору джерелом повідомлення x_i за умови, що до цього були обрані повідомлення x_i-1, x_i-2 …, тобто

. (1.2)

????ЇЇ властивості

---------------------------------------------------------------------------------------------------

9 Що таке умовна ентропія? Які є види умовної ентропії?

Раніше отримана формула ентропії (1.3) визначає її середньою кількістю інформації, що припадає на одне повідомлення джерела статистично незалежних повідомлень. Така ентропія називається безумовною.

Як відомо з відповідного розділу математичної статистики, мірою порушення статистичної незалежності повідомлень x і у є умовна ймовірність p(x/y) появи повідомлення x_i за умови, що вже вибрано повідомлення y_j або умовна ймовірність появи повідомлення y_j, якщо вже отримане повідомлення x_i, причому в загальному випадку p(x/y)p(y/x).

Умовну ймовірність можна отримати з безумовної ймовірності p(x) чи p(y) та сумісної ймовірності системи в. в. p(x, y) за формулою множення ймовірностей:

p(x, y)=p(x)p(y/x), (1.7)

p(x, y)=p(y)p(y/x), (1.8)

звідси

,

.

В окремому випадку для статистично незалежних повідомлень маємо: p(y/x)=p(y), p(x/y)=p(x).

P(Y/X)=	X	Y
		Y1	Y2	…	yi	…	yk
	x1	p(y1/x1)	p(y2/x1)	…	p (yj/x1)	…	p(yk/x1)
	x2	p(y1/x2)	p(y2/x2)	…	p(yj/x2)	…	p(yk/x2)
	…	…	…	…	…	…	…
	xi	p(y1/xi)	p(y2/xi)	…	p(yj/xi)	…	p(yk/xi)
	…	…	…	…	…	…	…
	xk	p(y1/xk)	p(y2/xk)	…	p(yj/xk)	…	p(yk/xk)

При існуванні статистичної залежності між повідомленнями джерела факт вибору одного з повідомлень зменшує або збільшує ймовірності вибору інших повідомлень до умовних ймовірностей. Відповідно змінюється й кількість інформації, що міститься в кожному з цих повідомлень, згідно з (1.2). Ентропія такого джерела також змінюється відповідним чином, причому обчислюється ентропія за тією самою формулою (1.3), але вже з урахуванням умовних ймовірностей. Така ентропія називається умовною.

Які є види умовної ентропії?

Вирізняють часткову та загальну умовні ентропії джерела повідомлень.

Часткова умовна ентропія - це кількість інформації, що припадає на одне повідомлення джерела X за умови встановлення факту вибору джерелом Y повідомлення y_j, або кількість інформації, що припадає на одне повідомлення джерела Y за умови, що відомий стан джерела X:

, (1.16)

, (1.17)

де , - алфавіти повідомлень; x_i - певне повідомлення джерела X, щодо якого визначається часткова умовна ентропія H(Y/x_i) алфавіту Y за умови вибору джерелом X повідомлення x_i; y_j - певне повідомлення джерела Y, щодо якого визначається часткова умовна ентропія H(X/y_j) алфавіту X за умови вибору повідомлення y_j; i - номер повідомлення з алфавіту X; j - номер повідомлення з алфавіту Y; p(x_i/y_j), p(y_j/x_i) – умовні імовірності.

Загальна умовна ентропія визначається так:

, (1.18)

. (1.19)

Отже, загальна умовна ентропія (1.18) - це середньостатистична кількість інформації (математичне сподівання), що припадає на будь-яке повідомлення джерела X, якщо відомий його статистичний взаємозв'язок з джерелом Y. Так само загальна умовна ентропія (1.19) - це середня кількість інформації, яка міститься в повідомленнях джерела Y за наявності статистичного взаємозв'язку з джерелом X.

З урахуванням (1.16), (1.17) та (1.7), (1.8) вирази (1.18), (1.19) набувають такого вигляду:

, (1.20)

, (1.21)

де p(x_i, y_j) - сумісна імовірність появи повідомлень x_i, y_j; p(x_i/y_j), p(y_j/x_i) – їх умовні імовірності.

---------------------------------------------------------------------------------------------------