4.2. Інформаційні втрати

ПРИ КОДУВАННІ НЕПЕРЕРВНИХ ДЖЕРЕЛ

Стосовно неперервного джерела на відміну від дискретного можна говорити про нескінченний алфавіт повідомлень, кож­не з яких відрізняється від сусідніх на нескінченно малу вели­чину, та нескінченний ансамбль повідомлень. Однак у цьому разі замість імовірностей окремих повідомлень з алфавіту прий­нято говорити про диференціальний закон розподілу ймовір­ностей w(x) випадкової величини х. Інакше w(x) називається функцією розподілу щільності ймовірностей неперервного нові-домлення. При цьому кількість інформації, наявна в прийнятому неперервному повідомленні, як і раніше визначається різницею значень ентропії (невизначеності) джерела повідомлень до та після одержання повідомлення.

Нехай щільність імовірності w(x) має вигляд, показаний на рис. 4.6. Проквашуємо за рівнем випадкову величину х із дис-кретою Ах. Імовірність того, що х_п < х < х_п+1, становить p(x_t) = = w(x_t)Ax_% тобто визначається площею S₍ прямокутника:

yj(x_/) = S_/ Jw(x)dx = w(x_i)Ax_i. (4.2)

65

(4.3)

(4.5)

Координату точки х- визначає теорема про середнє [З]. При цьому має виконуватися умова нормування

j w(x)dx = \.

Ентропія такого штучно утвореного дискретного джерела визначається так, як викладено в п.2.3, а саме [18]:

к к

^H_aM = -¹Zp(x_i)logp(x_i) = -¹Zw(x_i)Axlog[w(x_i)Ax] = i=l i=l

к к

= -X w(x; )Ax log w(x;) - £ w(*i )A* log A* = (4.4)

/=l /=l

к к

= -X[n^;(x_/)logw(x_/)]Ax-logAxXw(x_/)Ax. i=l i=i

Зробимо зворотний перехід до неперервного джерела через спрямування Ах до 0 та граничний перехід [18]:

Я(х)= lim {Я_д(х)}= lim |-ІНх_/)1о_Еи;(х_/)]Ах+ Ajc->0 Дх->0[ _/=1

+ lim j-logAx^Kx^Ax^ Дл-->01 /=і

= -J vv(x)logw(x)</x-limlogAx , -«» Ajc—>0

оскільки згідно з (4.3)

& °°

lim X^w(^x/)^= Jw(x>/x = l. Дх->0/=1 .оо

Друга складова в (4.5) прямує до нескінченності. Отже, ентро­пія Н(х) неперервного джерела має дорівнювати нескінченності, тобто точне подання випадкового відліку неперервного дже­рела (одного його повідомлення) потребує нескінченної кіль­кості, скажімо, двійкових розрядів, тому що несе нескінченну кількість інформації. Проте в реальних умовах відлік неперерв­них повідомлень на приймальному боці виконують у дискрет­них точках х_п, х_п+1,... (див. рис. 4.6). Це зумовлено скінченною точністю та роздільною здатністю технічних засобів (здатністю їх розрізняти х_п і х_п+1 при Ах —> 0). За цих обставин величина Ах є малою, але має скінченне значення.

Таким чином, вираз (4.5) ентропії неперервного джерела має дві складові, одна з яких визначається законом неперервного розподілу ймовірностей, а інша — допустимою точністю (по­хибкою) Ах кодування неперервного джерела.

Перша складова

оо

h(x) = - jw(x)\ogw(x)dx (4.6)

—оо

називається диференціальною ентропією, що залежить від статистичних властивостей неперервного джерела. Якщо про-нормувати х, щоб зробити цю величину безрозмірною, то мож­на визначити h{x) у двійкових одиницях (при цьому основа логарифма має дорівнювати двом).

Друга складова зовсім не залежить від статистики джерела, а визначається лише дискретністю квантування Ах неперервно­го повідомлення.

Можливий стан джерела повідомлень до одержання пові­домлення у на виході каналу визначається розподілом w(x), a після одержання відліку з неперервного ансамблю у на вихо­ді — неперервним законом розподілу умовної імовірності w(x/y), за яким можна знайти умовну ймовірність, користую­чись поняттям елементарної площини АхА^ та роблячи, як і ра­ніше, граничний перехід Ах —> 0, Ау —> 0. Як і в (4.5), загальна умовна ентропія Щхіу) дорівнює нескінченності, але кількість інформації в цьому відліку, як і раніше, дорівнює різниці безу­мовної та умовної ентропії джерела відносно виходу каналу, тобто

I(x,y) = H(x)-H(x/y) = h(x)-h(x/y) =

оо оо оо (4.7)

= -J w(x)logw(x)dx + j jw(x, y)logw(x/y)dxdy,

—oo —oo —oo

де w(x, у) — сумісна щільність імовірності значення відліку у та фактичного значення неперервного повідомлення на виході каналу. Тут А(х), h(xly) — безумовна й умовна диференціальна ентропія джерела.

Друга складова lim log Ах в Я(х) та Щх/у) виявляється од-

Дл'->0

маковою і при відніманні в (4.7) зникає.

Таким чином, кількість інформації в одному відліку, що пе­редається неперервним каналом, визначається різницею без­умовної та умовної диференціальної ентропії неперервного дже­рела відносно виходу каналу, причому вираз h(x/y) харак­теризує інформаційні втрати на один відлік при кодуванні неперервного джерела.

У теорії вимірювання випадкових величин користуються ін­шою кількісною мірою інформації — епсилон-ентропією. При­пустимо, що випадкова величина Умістить інформацію про іншу випадкову величину X — дійсне значення вимірюваної величини, тобто Yє відліком Xу певних одиницях. За цієї умо-

66

67

им мінімальна кин.ккіь інформації про Л, яка ми іипа н м ) і потрібна для того, щоб за К відтворити X пссрсдпмшнадра пі­чною похибкою, що не перевищує є² (де е > 0 — наперед задана величина), називається епсилон-ентропією:

(у^х)² <е².

При цьому мінімум кількості інформації відшукується за всі-Ш законами розподілу ймовірностей w(X/Y), тобто

#_Є(Л = min [H(X)-H(XIY)]

w(XIY)

Цю величину, як правило, подають у вигляді

Н_£(Х) = min jjw(X,Y)\og ^^Y_rl,dXdY, w(X/Y)^JJ w(X)w(Y)

де w(X, Y) — сумісна щільність розподілу ймовірностей X і Y; w(X), w(Y) — одновимірні щільності розподілу цих імовірностей.