5.2Інформаційні втрати при дискретизації неперервних джерел

Стосовно неперервного джерела на відміну від дискретного можна говорити про нескінченний алфавіт повідомлень, кожне з яких відрізняється від сусідніх на нескінченно малу величину, та нескінченний ансамбль повідомлень. Однак у цьому разі замість ймовірностей окремих повідомлень з алфавіту прийнято говорити про диференціальний закон розподілу ймовірностей w(x) випадкової величини х. Інакше w(x) називається функцією розподілу щільності ймовірностей неперервного повідомлення. При цьому кількість інформації, наявна в прийнятому неперервному повідомленні, як і раніше визначається різницею значень ентропії (невизначеності) джерела повідомлень до та після одержання повідомлення.

Нехай задана щільність імовірності w(x). Проквантуємо за рівнем випадкову величину х із дискретою x. Імовірність того, що х_п х х_п+1, становить p(x_i)=w(x_і) x, тобто визначається площею S_i прямокутника з основою і висотою :

(4.2)

Координату точки x_i визначає теорема про середнє, при цьому має виконуватися умова нормування

(4.3)

Ентропія такого штучно утвореного дискретного джерела визначається згідно п.2.3, а саме:

. (4.4)

Зробимо зворотний перехід до неперервного джерела через спрямування х до 0 та граничний перехід:

(4.5)

Друга складова в (4.5) прямує до нескінченності. Отже, ентропія Н(х) неперервного джерела має дорівнювати нескінченності, тобто точне подання випадкового відліку неперервного джерела (одного його повідомлення) потребує нескінченної кількості, скажімо, двійкових розрядів, тому що несе нескінченну кількість інформації. Проте в реальних умовах відлік неперервних повідомлень на приймальному боці виконують у дискретних точках х_п,х_п+1,... (див. рис. 4.6). Це зумовлено скінченою точністю та роздільною здатністю технічних засобів (здатністю їх розрізняти х_п і х_п+1 при ). За цих обставин величина х є малою, але має скінчене значення.

Таким чином, вираз (4.5) ентропії неперервного джерела має дві складові, одна з яких визначається законом неперервного розподілу ймовірностей, а інша – допустимою точністю (похибкою) х кодування неперервного джерела.

Перша складова

(4.6)

є диференціальною ентропією, що залежить від статистичних властивостей неперервного джерела. Якщо пронормувати х, щоб зробити цю величину безрозмірною, то можна визначити h(х) у двійкових одиницях (при цьому основа логарифма має дорівнювати двом).

Друга складова зовсім не залежить від статистики джерела, а визначається лише дискретністю квантування х неперервного повідомлення.

Можливий стан джерела повідомлень до одержання повідомлення у на виході каналу визначається розподілом w(x), a після одержання відліку з неперервного ансамблю у на виході — неперервним законом розподілу умовної імовірності w(х|у), за яким можна знайти умовну ймовірність, користуючись поняттям елементарної площини х у та роблячи, як і раніше, граничний перехід і . Як і в (4.5), загальна умовна ентропія Н(х|у) дорівнює нескінченності, але кількість інформації в цьому відліку, як і раніше, дорівнює різниці безумовної та умовної ентропії джерела відносно виходу каналу, тобто

( 4.7)

де w(x, у) — сумісна щільність імовірності значення відліку у та фактичного значення неперервного повідомлення на виході каналу. Тут h(x), h(x|y) — безумовна й умовна диференціальна ентропія джерела.

Друга складова в Н(х) та H(х|у) виявляється однаковою і при відніманні в (4.7) зникає.

Таким чином, кількість інформації в одному відліку, що передається неперервним каналом, визначається різницею безумовної та умовної диференціальної ентропії неперервного джерела відносно виходу каналу, причому вираз h(x|y) характеризує інформаційні втрати на один відлік при кодуванні неперервного джерела.

У теорії вимірювання випадкових величин користуються іншою кількісною мірою інформації — епсилон - ентропією. Припустимо, що випадкова величина Y містить інформацію про іншу випадкову величину X — дійсне значення вимірюваної величини, тобто Y є відліком X у певних одиницях. За цієї умови мінімальна кількість інформації про X, яка міститься в Y і потрібна для того, щоб за Y відтворити Х із середньоквадратичною похибкою, що не перевищує ² (де > 0 — наперед задана величина), називається епсилон-ентропією:

При цьому мінімум кількості інформації відшукується за всіма законами розподілу ймовірностей w(X|Y), тобто

.

Цю величину, як правило, подають у вигляді

де w(X, Y) — сумісна щільність розподілу ймовірностей X і Y; w(X), w(Y) — одновимірні щільності розподілу цих ймовірностей.