2.4. Безумовна ентропія

Термін «безумовна ентропія» запозичений з математичної статистики за аналогією з безумовною ймовірністю, що стосу­ється статистично незалежних подій, тут — повідомлень. Отже, безумовна ентропія — це кількість інформації, яка припадає на одне повідомлення джерела із статистично незалежними пові­домленнями.

За цим визначенням розглянута в п. 2.3 ентропія є безумов­ною. Зупинимося докладніше на безумовній ентропії та її вла­стивостях.

Якщо є дискретне джерело статистично незалежних повідом­лень з ансамблем А = {а_х,а₂,..., я,-, • ••, я*} та/? = {p_vp₂, •■•»/>,•> ••> р_к}, то кількість інформації (середня), що припадає на одне по­відомлення а_х; є А й визначається формулою Шеннона

к H(A) = -YPilog_Pi, (2.8)

/=і

є характеристикою цього джерела в цілому. Вона має фізичний зміст середньої за ансамблем невизначеності вибору джерелом повідомлення з А, причому байдуже, якого саме повідомлення, оскільки обчислення ентропії (2.8) «поглинає» індекс /. Наприк­лад, джерело з к = 8 незалежними та рівноймовірними повідом­леннями має ентропію

8 і і

H(A) = -Y,±\og₂— = 3 біт/повідомлення.

Тут ураховано, що /?/=/? = 1/8. Для нерівноймовірних пові­домлень у цьому разі Н (А) < 3 біт/повідомлення.

Наведені в п. 2.3 властивості ентропії при цьому зберігаються, тобто якщо р = 1 або 0, то до ансамблю А не може входити більш як одне повідомлення. Таким чином,

1

і

H_l(A)^J_Jh\og₂\ = \\og₂\ = 0 /=1 *

(2.9)

і

або

о

#o(^)=£(Mog₂;=o.oo.

1=1

де невизначеність 0 • «>, якщо її розкрити за правилом Лопіталя через граничний перехід, дає

(2.10)

Н₀(А) = 0.

Останній випадок потребує пояснення. Якщо є ансамбль з алфавітом А, в якому певне повідомлення а_к має ймовірність р_к = 0, то таке повідомлення а_к можна просто виключити з ан­самблю та далі не розглядати, оскільки £ р₍ =1 для всіх / Ф А:, а

і

складова частка Н (А) із (2.8) дорівнює нулю за (2.10). Якщо при цьому в алфавіті А залишиться лише одне повідомлення (припустимо, їх було два), то очевидно, що р = 1 для залишено­го повідомлення і маємо випадок (2.9).

Якщо в алфавіті А буде більше, ніж одне повідомлення, то виключення а_к з А (р (а_к) = 0) лише спростить модель джере­ла — його ансамбль і не змінить результат обчислення ентро­пії Н (А) за (2.8).

Безумовна ентропія К рівноймовірних повідомлень завжди максимальна й визначається виразом

,діт		7~\
І	/ 2
І І	1		J
1 II
V і—	L—-L.	1—	.1 , і

H(A) = \og₂K, (2.11) ф;

який називається формулою Харт- _Оо лі. її легко дістати з формули Шен­ нона (2.8), поклавши р_і = \ІК для ~ / = 1 ... К, хоча хронологічно пер­ шою була запропонована форму­ ла (2.11). *

ДО 0,6 Рис.2.3

02

0,8 р(а)

Корисно дослідити вплив імо­вірності р (а_{) на складові /, = ^ = -р (д.) log₂ p (я.) формули (2.8). Наочне подання цього впливу дає ° графік І і =/(р_{) — крива 1 на рис. 2.3, яку здобуто з рис. 2.2 домно-

32

2 ^,"¹⁹⁵

33

женням ординат кривої 1 на множник р (а), відображений на рис. 2.2 лінією 2. Як випливає з рис. 2.3 (крива /), малі значен­ня р (а) значно сильніше впливають на рівень складових фор­мули Шеннона, ніж великі.

Крім того, за графіком прослідковується екстремум цих скла­дових: якщо вони мають його, то й сума Н (А) їх теж матиме екстремум.

Для прикладу розглянемо безумовну ентропію двійкового джерела, коли А = Ц, а₂} та Р = {/?, 1 -/?}. Тоді

Н(А) = -^_Рі\о£_2Рі=_Р\о%Л+(\-р)\о%₂-1—> (2.12)

/=і Р ^{~Р

ОСКІЛЬКИ /?! + р₂ =р + 1 -/? = 1.

Графік першої складової відображено на рис. 2.3 кривою 7, графік другої складової — кривою 5, а графік ентропії Н (А)= ⁼ /ІР) — кривою 2. Бачимо, що остання є симетричною і має максимум Н(А)_тах = 1 при/? = 0,5, тобто максимальна невизна­ченість повідомлень джерела при/? = 0,5 спричинює його мак­симальну безумовну ентропію.

Дослідження недвійкових джерел (К > 2) дають результат з тією самою тенденцією: безумовна ентропія їх максимальна при рівноймовірностіповідомлень, коли /?.= І/А*для всіх/ = 1,2,..., #[3,42,44].

Таким чином, основними властивостями безумовної ентро­пії дискретних повідомлень є такі:

• ентропія — величина дійсна, обмежена та невід'ємна;

• ентропія вірогідних повідомлень дорівнює нулю;

• ентропія максимальна, якщо повідомлення рівноймовірні та статистично незалежні;

• ентропія джерела з двома альтернативними подіями може змінюватися від 0 до 1;

• ентропія складеного джерела, повідомлення якого склада­ються з часткових повідомлень кількох статистично незалеж­них джерел, дорівнює сумі ентропії цих джерел.