2.6. Ентропія об'єднання двох джерел

Ентропію Н(А,В) об'єднання двох джерел А та В знаходимо через імовірність сумісної появи пар повідомлень а і, Ь- для всіх /=1.../: тау = 1... /, яку позначимор (я,, Ь). Для цього складемо матрицю типу (2.23), що визначає розподіл сумісної безумов­ної ймовірності двох джерел:

P(di,bj) =

P(a_x,b_x) p(a₂,b_x) p(a₃,b_x) ... p(a_k,b_x)~] P(a\>b₂) p{a₂,b₂) p(a₃,b₂) ... p(a_k,b₂)\ ^35)

L/K^fli>⁶/) /K«2>fy) P(^ai'b_f) ■» />(**»*/) J

Оскільки р (я_/5 b) — це ймовірність сумісної появи двох по­відомлень, ентропія Н (А, В) є середньою кількістю інформа­ції, що припадає на два довільних повідомлення джерел А та В й визначається так:

H(A,B) = -ZZP(*i>bj)\ogp(a_iybjy (2.36)

Зрозуміло, що

Н(А,В) = Н(В,А)₉ (2.37)

оскільки/? (a_i9 bp =/> (bjy я,). Для сумісної появи повідомлень а і та ^послідовність запису їх не має значення.

Розглянемо докладніше вираз (2.36). Якщо врахувати (2.13), то можна записати

ЩА,в)=-!£/>(*,)/>(*, 4)iog[M)/>ty Ч)]- (2.38)

' J Згадавши, що логарифм добутку дорівнює сумі логарифмів

(це властивість адитивності кількості інформації), матимемо

H(A,B) = -Y_lZ{p(a_i)p{b_J/a_i)[l₀gp(a_i) + \o_f>p{b_j/a_iy\} = = -{12p{a_iMb_j/<'_i)logp(a_i) ₊ j:Zp(a_i)p(b_j/a_i)\o_ep(b_j/a_i)} =

' І ' J

= -{lp(a_i)lo_ep(a_i)Zp(b_j/a_i) + Zp(a_i)Zp(b_J/a_i)logp(b_j/a_i)}.

(2.39)

Тепер потрібно врахувати, що згідно з (2.24) £/>(£,• /я,) = 1-

j Тому перша складова в (2.39) відповідно до (2.8) визначає без­умовну ентропію джерела А, тобто

-ХМ)1°8М) = Я(Л),

44

45

а друга складова відповідно до (2.22) є загальною умовною ентропією Н {В І А). Отже,

Н(А,В) = Н(А) + Н(В/А). (2.40)

Властивість симетрії (2.37) дає змогу провести подібні пере­творення ще раз і дістати інший вираз ентропії Н (А, В), а саме:

Н(А,В) = Н(В) + Н (А/В). (2.41)

З урахуванням (2.40) і (2.41) загальну умовну ентропію можна визначити порівнянням безумовної ентропії об'єднання джерел та ентропії одного з них — А чи В:

Н(В/А) = Н(А,В)-Н(А); „„.

Н(А/В) = Н(А,В)-Н(В). ^КА'^ЧА)

Кількість інформації, що припадає на одне повідомлення, передане по каналу зв'язку в системі спостереження (див. рис. 2.1) від джерела А спостерігачеві В за наявності завад у каналі та статистичній зумовленості ансамблів А та В [З, 42], визначається виразом

І (А, В) = Н(А)-Н(А/В) = Н(В)-Н(В/А) = „ ₄~ = Н(А) + Н(В)-Н(А, В). ^'^Чй)

Наведений вище приклад (див. п. 2.5) дає уяву про ентропію об'єднання. Так, згідно з (2.36) і (2.30) маємо

Н(А, В) = -(3 • 0,2 log 0,2 + 4-0,1 log 0,1) = = 2,72193 біт/два повідомлення.

З іншого боку, враховуючи (2.40), дістаємо

Н(А,В) = Н{А) + Н (В/А) = 1,57095 + 1,15097 = = 2,72192 біт/два повідомлення,

а користуючись (2.41), маємо

Н(А,В) = Н(В) + Н(АІВ) = = 2,72192 біт/два повідомлення.

Відзначимо такі основні властивості ентропії об'єднання двох джерел:

1. При статистично незалежних повідомленнях джерел А та В ентропія об'єднання їх дорівнює сумі ентропії окремих дже­рел, тобто

Н(А,В) = Н(А) + Н(В). 46

2. При повній статистичній залежності джерел А та В ентро­ пія об'єднання їх дорівнює безумовній ентропії одного із дже­ рел, тобто

Н(А,В) = Н(А) = Н(В).

3. Ентропія об'єднання двох джерел відповідає нерівності

Н(А,В)<Н(А) + Н(В).

КОНТРОЛЬНІ ЗАДАЧІ

1. Відомо, що повідомлення a_t є А з'являється з імовірністю p_t = 0,03. Визначити кількість інформації, що міститься в цьому повідомленні.

2. Ансамбль С містить 16 рівноймовірних повідомлень. Визначити кіль­кість інформації, яку містить кожне таке повідомлення.

3. Джерело А виробляє трилітерне повідомлення а. є А з алфавіту {а, Ь, с, d), вибираючи їх рівноймовірно й незалежно одне від одного за типом а_] - abc, a₂ = abd і т. д. Визначити ентропію цього джерела.

4. Джерела А та В мають розподіли ймовірностей повідомлень Р_А -= {0,1; 0,1; 0,15; 0,125; 0,125; 0,1; 0,15; 0,15} і Р_в = {0,5; 0,3; 0,1; 0,025; 0,025; 0,02; 0,015; 0,015}. Ентропія якого джерела більша? Яка максимальна ен­тропія цього джерела та за якої умови?

5. Визначити ентропію монітора персональної ЕОМ при виведенні тексту в 28 рядків по 60 рівноймовірних символів у кожному, якщо вико­ристовується стандартний міжнародний код (128 символів) із двома гра­даціями яскравості.

6. При передачі банківської інформації реченнями по 16 рядків на кожні 100 речень цифра 5 зустрічається 90, а цифра 9 — 70 разів. Числа 59 і 95 зустрічаються 12 разів. Визначити умовну ентропію появи в реченні циф­ри 9, якщо в ньому є цифра 5, та умовну ентропію появи цифри 5, якщо в реченні з'явилася цифра 9.

7. Ансамбль повідомлень джерела А визначено як А = {0,1} та Р_А = = {0,75; 0,25}. Статистична залежність повідомлень а. є А характери­зується умовними ймовірностями р (0/1) = 0,12 і р (1/0) = 0,08. Визначити часткову та загальну умовну ентропію цього джерела.

8. Дослідження каналу зв'язку між джерелом А та спостерігачем В виявило такі умовні ймовірності вибору повідомлень Ь: є В:

p(bj/a_t)--

0,97 0,02 0,01 0,1 0,86 0,04 0,03 0,08 0,89

Визначити часткову та загальну умовну ентропію повідомлень в цьо­му каналі при рівноймовірному виборі їх джерелом А та при Р_А = {0,65; 0,3; 0,05}.

9. Два статистично незалежних джерела А та В визначаються матри­цею сумісних імовірностей

0,25 0 0,1

P(aj,bj) =

0,15 0,3 0,1

0 0,05 0,05

47

Визначити часткову та загальну умовну ентропію, ентропію об'єднан­ня, безумовну ентропію цих джерел, а також кількість інформації, що припадає на пару повідомлень а_п Ь..

10. Розв'язати попередню задачу, якщо матриця сумісних імовірностей джерел має вигляд

' 0,2 0,01 0,02 0,03'

P(ai,bj)--

0,02 0,16 0,03 0,01

0,01 0,04 0,17 0,02

0,03 0,05 0,1 0,1

*** ії\ ХАРАКТЕРИСТИКИ

ДИСКРЕТНИХ ДЖЕРЕЛ ІНФОРМАЦІЇ

РОЗДІЛ

КОНТРОЛЬНІ ЗАПИТАННЯ

1. Що таке джерело повідомлень?

2. Що таке ансамбль повідомлень?

3. Як визначається кількість інформації в одному повідомленні?

4. Що таке ентропія та які її властивості?

5. Що таке безумовна ентропія?

6. Що таке умовна ентропія?

7. Які основні властивості безумовної ентропії?

8. Які є різновиди умовної ентропії?

9. Які основні властивості умовної ентропії?

10. Як визначається часткова умовна ентропія?

11. Як визначається загальна умовна ентропія?

12. Як визначається ентропія об'єднання двох джерел?

13. Які основні властивості ентропії об'єднання двох джерел?

14. Як визначається кількість інформації на одне повідомлення двох статистично взаємозв'язаних джерел?

15. За яких умов ентропія джерела стає максимальною?

Будь-яку інформацію потрібно доставити одержувачеві повідомлень, інакше вона не матиме для нього ніякої цінності. Проте при передачі інформації від дискретних джерел по каналах зв'язку можуть виника­ти її втрати, якщо в каналах діють завади та є спотворення сигналів, якими передаються повідомлення.

Від інтенсивності завад у каналах залежать швидкість передачі ін­формації та пропускна здатність каналів. Тому в цьому розділі йти­меться про швидкість передачі інформації від дискретних джерел, оці­нювання втрат її в каналах, пропускну здатність дискретного каналу, теореми Шеннона про кодування дискретних джерел.