3.2. Епсилон-ентропія

Ансамбль реалізацій випадкової величини U описується щільністю розподілення ймовірностей p(u). Про значення випадкової величини U можна судити по значеннях іншої випадкової величини Z, якщо міра їх розрізнення не більше заданної вірності відтворення. В цьому випадку кажуть, Z що відтворює U. Для кількісної оцінки степеня подібності сигналів вводять функцію (z,u), яка характеризує ”відстань”. Критерієм вірності V(Z,U) є середнє значення функції (z,u), взяте по всій множині значень z i u:

V(Z,U)= p(zu)(zu)dzdu, (3.7)

де (z,u) – щільність сумісного розподілення ймовірностей величин Z i U. Найбільш широко використовується середньоквадратичний критерій, при якому (z,u) являється квадрат звичайної відстані у звичайному евклідовому просторі. Вимога до вірності у цьому випадку задається з використанням критерію

V(ZU)=p(u)p_u(z)(z–u)²dudz², (3.8)

p_u(z) – умовна щільність розподілення – функція правдоподібності того, шо сигнал u буде відтворений як сигнал z;  - задане значення вірності.

Якщо випадкова величина Z відтворює випадкову величину U з деякою вірністю , то кількість інформації, яка міститься у відтворювальній величині Z відносно U, кінцева і може бути записана у формі

I(ZU)=p(u)p_u(z)log[p_u(z)/p(z)]dudz, (3.9)

де р(z) =  p(u)p_u(z)du – щільність відтворювальної величини Z. Бажано забезпечити задану вірність відтворення при мінімальній кількості одержуваної інформації. Мінімальна кількість інформації в одній випадковій величині Z відносно іншої U, при якій задовільнюється задана вимога до вірності відтворення величини U, називається –ентропією величини і позначається H_(U):

H_(U)=minI(ZU) (3.10)

{p_u(z)}

при

V(ZU)². (3.11)

Використовуючи безумовну h(U) і умовну h_z(U) диференціальні ентропії величини U, -ентропію можна подати у вигляді

H_(U)=h(U)–maxh_z(U), (3.12)

{p_z(u)}

де p_z(u) – умовна щільність імовірності того, що в тих випадках, коли прийнято сигнал z, передавався сигнал u.

4. Канали передачі інформації

Види каналів передачі інформації. Обчислення кількості інформації при передачі повідомлень по дискретному каналу зв’язку з шумами.

4.1. Види каналів передачі інформації

Під каналом зв’язку розуміють сукупність пристроїв і фізичних середовищ, які забезпечують передачу повідомлень з одного місця в інше (або від одного моменту часу до іншого). Канал зв’язку називається дуплексним, якщо він забезпечує можливість передачі інформації в прямому і зворотному напрямках. Якщо канал забезпечує передачу інформації тільки в одному напрямку, він називається симплексним. Залежно від структури канали можуть бути послідовними, радіальними, деревовидними. Залежно від лінії зв’язку канали діляться на провідні, радіо, оптичні, акустичні. Неперервним називається канал для передачі неперервних повідомлень, а дискретним – дискретних повідомлень.

Практично всі реальні канали зв’язку характеризуються розсіюванням енергії. Крім розсіювання енергії в ряді каналів спостерігається замирання сигналів. Зменшення впливу цих факторів має велике значення для побудови ефективних систем зв’язку. При паралельному підході до вирішення цієї задачі вводяться захисні інтервали (по часу і частоті) між сусідніми сигналами. Наприклад, відведену для передачі смугу частот розбивають на підканали і ведуть передачу багаточастотними сигналами. Діяння каналу на сигнал при цьому підході зводяться до того, що кожна компонента багачастотного сигналу множиться на свій випадковий коефіцієнт передачі з додаванням адитивного шуму. Канал може бути подано у вигляді частотно-часової матриці випадкових коефіцієнтів. При послідовному підході передача ведеться сигналами, спектр яких займає всю відведену смугу частот. Період слідування вибирається залежно від необхідної швидкості передачі. При достатньо великій швидкості передачі розсіювання енергії приводить до міжсимвольної інтерференції. Обробка прийнятих сигналів в послідовних системах включає два етапи: демодуляцію по високій частоті, компенсацію міжсимвольної інтерференції. Кожен з підходів має свої недоліки і переваги. На сучасному етапі перевага віддається послідовному підходу, а також системам з рішаючим зворотним зв’язком.