2. Продуктивність неперервного джерела та швидкість передачі інформації
Виходячи з того, що ентропія H(х) неперервного джерела за абсолютним значенням є нескінченною, продуктивність такого джерела також нескінченна. Про продуктивність неперервного джерела доцільно говорити лише в диференціальну ентропію h1(x) і h2(x) сусідніх відліків повідомлення, взятих з інтервалом часу ∆t=t2 –t1.
Відповідно до теореми відліків неперервні повідомлення х, у можуть бути подані сукупностями відліків їх хі та уі в дискретні моменти часу з кроком ∆t.
Розподіл сукупності випадкових величин описується багатовимірною щільністю розподілу ймовірностей w(x1, x2, …, xm), w(y1, y2, …, ym). Якщо вважати випадкові величини незалежними та врахувати, що ентропія сукупності незалежних випадкових величин дорівнює сумі ентропії окремих таких величин, то диференціальна ентропія повідомлення визначається як
диференціальна ентропія i-го відліку повідомлення ; m = T/∆t – кількість відліків повідомлення тривалістю Т, зроблених з інтервалом часу ∆t. Обмежившись стаціонарними випадковими процесами, дістанемо
де h(x) – диференціальна ентропія одного відліку повідомлення у формі.
Аналогічно можна показати, що умовна диференціальна ентропія
hТ(x/y) = mh(x/y),
де h(x/y) – умовна диференціальна ентропія одного відліку повідомлення.
Тоді вираз кількості інформації в неперервному повідомленні тривалістю Т матиме вигляд
Назвемо середньою швидкістю передачі інформації неперервним джерелом кількість інформації, що передається за одиницю часу, тобто
де
– частота дискретизації повідомлення.
3. Пропускна здатність неперервного каналу
Пропускною здатністю неперервного каналу називається максимально можлива швидкість передачі інформації в ньому:
Як і для дискретного каналу, даний вираз досягає максимуму при максимальному степені статистичної зумовленості неперервних повідомлень на виході та вході каналу. При цьому умовна диференціальна ентропія прямує до нуля завдяки низькому рівню завад і все меншому спотворенню повідомлень у каналі. Проте функція h(x) матиме максимум лише при певних законах розподілу w(x) імовірностей.
Даний вираз за наявності завади у вигляді “білого шуму” набуває вигляду:
Пропускну здатність неперервного каналу можнарегулювати, змінюючи Fm, ; Pc і Pз. Суть виразу полягає у тому, що сума (1 + Pc/Pз) визначає кількість рівнів неперервних повідомлень, які надійно розпізнаються на фоні завади при заданому відношенні сигналу. Тому кількість інформації тут, що припадає на один відлік повідомлення, буде такою самою, як і для дискретного джерела з кількістю етапів k = 1 + Pc/Pз, коли I(x,y) = log2(1 + Pc/Pз).
Тема 7. Поняття про коди та кодування.
План
1. Поняття про коди та кодування. Потужність та довжина коду.
2. Рівномірні коди. Основна теорема про рівномірні коди.
3. Нерівномірні коди.
4. Основні напрями кодування