14. Охарактеризувати властивості завади типу «білий шум».
Білий шум - стаціонарний шум, спектральні складові якого рівномірно розподілені по всьому діапазону задіяних частот. На практиці білим шумом називають шум, спектральна щільність якого однакова (або слабко змінюється) у розглянутому діапазоні частот. Математично білим шумом називають сигнал, автокореляційна функція якого є дельта-функцією Дірака. Це статистичне властивість є основним для сигналів такого типу.
Білим шумом називається стаціонарна випадкова функція |
з нульовим |
математичним сподіванням, спектральна щільність потужності якої |
|
Основні властивості наведені нижче.
Властивість 1. Коваріаційна функція білого шуму являє собою -функцію, точніше
перерізи, які відстоять як завгодно мало один від одного, між собою некорельовані, тобто інтервал кореляції
Властивість 2. Ефективна смуга частот білого шуму дорівнює нескінченності.
Властивість 3. Дисперсія білого шуму дорівнює нескінченності.
23. Теорема Шеннона для дискретного каналу без завад. Рекомендації відносно оптимального кодування дискретних повідомлень.
Припустимо, що при передачі інформації використовується канал без шуму. Розглянемо безнадмірні (рівноймовірні) вхідні повідомлення, що характеризуються максимальною ентропією H(X)max. У цьому випадку може бути досягнута максимальна швидкість передачі в каналі
C V H(X )max V log2 k ,
де V=1/T;T - тривалість передачі одного елементарного повідомлення (символу) xi; log2 k - максимальна ентропія джерела з алфавітом об'ємом k.
Якщо статистична надлишковість джерела інформації більше нуля, то швидкість передачі інформації по каналу
|
C |
|
V |
|
. |
H ( X ) |
||
При будь-якій статистичній надмірності джерела інформації існує такий спосіб кодування повідомлень, при якому може бути досягнута швидкість передачі інформації по каналу без шуму, скільки завгодно близька до його пропускної здатності. Таким чином, умовою узгодженості джерела інформації і каналу передачі є відповідність продуктивності першого пропускній здатності другого.
Теорема Шеннона про кодування дискретного джерелаза відсутності завад стверджує про таке В якщо пропускна здатність каналу без шуму перевищує швидкість створення джерелом повідомлень – його продуктивність, тобто
V log2 k Vдж H( X ) ,
то існує спосіб кодування/ декодування повідомлень джерела з ентропією H(X), що забезпечує скільки завгодно високу надійність зіставлення прийнятих кодових комбінацій переданим, інакше - такого способу немає.
1. Визначити розподіли з максимальною ентропією для реальних обмежень
Практичне значення мають два випадки:
1) Значення повідомлення обмежені інтервалом a x b
При цьому обмеженні інформативність буде максимальна, якщо значення
повідомлення розподілені за рівномірним законом розподілу |
1 |
, та буде |
|||||||||||
p(x) |
|
||||||||||||
b a |
|||||||||||||
визначатися за формулою: |
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
b |
1 |
|
1 |
|
1 |
|
1 |
b |
|
|
H (x) |
log |
dx |
log |
dx |
|
||||||||
b a |
b a |
b a |
b a |
|
|||||||||
|
|
|
a |
|
|
|
a |
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|||
|
1 |
|
log(b a) (b a) log(b a) Hmax (x) |
|
|||||||||
|
|
|
|||||||||||
b a |
|
||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
||
2)Середньоквадратичне значення повідомлення обмежено
2 D (const)
Для цього обмеження максимальна ентропія характерна для нормального
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
x2 |
|
|
|
|
|
|
|
|
|
|
|
||
закону розподілу |
|
p(x) |
|
|
|
e2 2 |
|
|
|
|
|
|
|
|
|
|
||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||
|
|
2 |
|
|
|
|
|
|
|
|
|
|
||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
І ця ентропія буде визначатися: |
|
|
|
|
|
|
|
|
|
|||||||||||||||||||
|
|
1 |
|
|
x2 |
|
|
|
1 |
|
|
|
|
x2 |
|
|
|
|
|
|
|
|
|
|||||
H (x) |
|
|
e2 |
2 |
log |
|
|
|
|
e2 |
2 |
dx x |
|
2 |
D |
|
log |
2 e |
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||
|
|
|
2 |
|
|
|
|
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Hmax (x) log |
2 e |
|
|
|
|
||||||||||||||