шпори / теорія / Білет 3 (3,14,29)

1. (ст. 29) Ентропія. Дати визначення. Вивести основне співвідношення для неперервного повідомлення

Кількість інформації, що припадає на один елемент повідомлення, називається питомою інформативністю, або ентропією. Чим більше ентропія, тим більше інформації несе в собі повідомлення джерела, тим більша невизначеність знімається при отриманні повідомлення.

Неперервне повідомлення – це повідомлення, яке на кінцевому часовому інтервалі представляє собою деяку неперервну функцію часу. Неперервні повідомлення можуть приймати будь-які значення в деяких межах и є неперервними функціями часу. Особливістю неперервних повідомлень є те, що ймовірність появи кожного з окремих значень рівна нулю. Статистичні властивості неперервної величини характеризують функцією щільності ймовірності розподілу її значень р(х). Функцію р(х) називають також диференціальним законом розподілу величини х. Дана функція характеризує ймовірність попадання неперервної випадкової величини х в деякий елементарний інтервал значень x. Ця ймовірність визначається добутком р(х) Δx і прямує до нуля при зменшенні ширини інтервалу.

Таким чином ентропія:

H(x) p(xi ) x log[p(xi ) x]

i 1m

Таким чином попередня формула прийме вигляд:

H (x) p(x)log p(x)dx log x

Інформативність неперервних повідомлень, обумовлена їх статистичними властивостями, повністю визначається першим доданком, тоді як другий доданок залежить лише від обраного інтервалу Δx і є постійною величиною (при постійному Δx). Перший доданок називається диференціальної ентропією.

14. Охарактеризувати властивості завади типу «білий шум».

Білий шум - стаціонарний шум, спектральні складові якого рівномірно розподілені по всьому діапазону задіяних частот. На практиці білим шумом називають шум, спектральна щільність якого однакова (або слабко змінюється) у розглянутому діапазоні частот. Математично білим шумом називають сигнал, автокореляційна функція якого є дельта-функцією Дірака. Це статистичне властивість є основним для сигналів такого типу.

Основні властивості наведені нижче.

Властивість 1. Коваріаційна функція білого шуму являє собою -функцію, точніше

перерізи, які відстоять як завгодно мало один від одного, між собою некорельовані, тобто інтервал кореляції

Властивість 2. Ефективна смуга частот білого шуму дорівнює нескінченності.

Властивість 3. Дисперсія білого шуму дорівнює нескінченності.

29. Охарактеризувати та порівняти критерії оцінювання ефективності багатоканальних телекомунікаційних систем.

Оцінку багатоканальних систем передачі інформації можна зробити за допомогою таких критеріїв як критерій ослаблення шумів в системі, критерій використання пропускної здатності системи, критерій ефективності системи.

Критерій ослаблення шумів в системі. Для оцінки якості роботи системи

шумів в системі. Чим він більший, тим ефективніше система і тим сильніше послаблюється в ній дію перешкод. Якщо скористатися среднеквадратичною помилкою для окремого каналу, то співвідношення для багатоканальної системи

спектральної щільності потужності шуму та еквівалентної шумовий смуги пристрою. При використанні даного критерію необхідно враховувати взаємозалежність входять до нього величин. Так, придушення шумів буде більш ефективним в системі з меншим відношенням сигнал / шум на вході, при однаковій величині помилки. Але при зменшенні відносини сигнал / шум нижче

завадостійкість системи передачі інформації. Критерій використання пропускної здатності системи. Це відношення сумарної пропускної

дійсне коли сигнал/шум перевищує порогове значення.