1. Визначити розподіли з максимальною ентропією для реальних обмежень
Практичне значення мають два випадки:
1) Значення повідомлення обмежені інтервалом a x b
При цьому обмеженні інформативність буде максимальна, якщо значення
повідомлення розподілені за рівномірним законом розподілу |
1 |
, та буде |
|||||||||||
p(x) |
|
||||||||||||
b a |
|||||||||||||
визначатися за формулою: |
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
b |
1 |
|
1 |
|
1 |
|
1 |
b |
|
|
H (x) |
log |
dx |
log |
dx |
|
||||||||
b a |
b a |
b a |
b a |
|
|||||||||
|
|
|
a |
|
|
|
a |
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|||
|
1 |
|
log(b a) (b a) log(b a) Hmax (x) |
|
|||||||||
|
|
|
|||||||||||
b a |
|
||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
||
2)Середньоквадратичне значення повідомлення обмежено
2 D (const)
Для цього обмеження максимальна ентропія характерна для нормального
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
x2 |
|
|
|
|
|
|
|
|
|
|
|
||
закону розподілу |
|
p(x) |
|
|
|
e2 2 |
|
|
|
|
|
|
|
|
|
|
||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||
|
|
2 |
|
|
|
|
|
|
|
|
|
|
||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
І ця ентропія буде визначатися: |
|
|
|
|
|
|
|
|
|
|||||||||||||||||||
|
|
1 |
|
|
x2 |
|
|
|
1 |
|
|
|
|
x2 |
|
|
|
|
|
|
|
|
|
|||||
H (x) |
|
|
e2 |
2 |
log |
|
|
|
|
e2 |
2 |
dx x |
|
2 |
D |
|
log |
2 e |
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||
|
|
|
2 |
|
|
|
|
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Hmax (x) log |
2 e |
|
|
|
|
||||||||||||||
19. Охарактеризувати способи оцінювання інформаційної продуктивності неперервних та дискретних джерел інформації.
ДИСКРЕТНЕ ДЖЕРЕЛО |
|
Продуктивність джерела |
щодо певного повідомлення аi визначається як |
де |
- кількість інформації, яку виробляє джерело при |
виборі повідомлення ; |
- проміжки часу, протягом яких джерело вибирає |
різні повідомлення . |
|
Одиниця виміру продуктивності залежить від вибору одиниці кількості інформації . Наприклад, це може бути біт за секунду.
Як правило, джерело вибирає досить велику кількість повідомлень протягом певного часу. Тому природно як загальну характеристику джерела прийняти
середню за ансамблем продуктивність, користуючись методом статистичного усереднення:
∑
Коли i≠ j при i≠ j вираз після усереднення за часом можна перетворити до вигляду: ∑
де cep — середній час вибору джерелом одного повідомлення. Продуктивність дискретного джерела, визначається його середніми
показниками: ентропією та часом утворення повідомлення.
∑ ∑
НЕПЕРЕРВНЕ ДЖЕРЕЛО
Виходячи з того, що ентропія Н(х) неперервного джерела за абсолютним значенням є нескінченною, продуктивність такого джерела також нескінченна.
Про продуктивність неперервного джерела доцільно говорити лише в диференціальному відношенні, допускаючи похибку або порівнюючи диференціальну ентропію h1(х) і h2(x) сусідніх відліків повідомлення, взятих з інтервалом часу t=t2–t1.
Відповідно до теореми відліків неперервні повідомлення х, у можуть бути подані сукупностями їх відліків хi та yj, в дискретні моменти часу з кроком
t.
14. Охарактеризувати властивості завади типу «білий шум».
Білий шум - стаціонарний шум, спектральні складові якого рівномірно розподілені по всьому діапазону задіяних частот. На практиці білим шумом називають шум, спектральна щільність якого однакова (або слабко змінюється) у розглянутому діапазоні частот. Математично білим шумом називають сигнал, автокореляційна функція якого є дельта-функцією Дірака. Це статистичне властивість є основним для сигналів такого типу.
Білим шумом називається стаціонарна випадкова функція |
з нульовим |
математичним сподіванням, спектральна щільність потужності якої |
|
Основні властивості наведені нижче.
Властивість 1. Коваріаційна функція білого шуму являє собою -функцію, точніше
перерізи, які відстоять як завгодно мало один від одного, між собою некорельовані, тобто інтервал кореляції
Властивість 2. Ефективна смуга частот білого шуму дорівнює нескінченності.
Властивість 3. Дисперсія білого шуму дорівнює нескінченності.