5.3Продуктивність неперервного джерела та швидкість передачі інформації

Виходячи з того, що ентропія Н(х) неперервного джерела за абсолютним значенням є нескінченною, продуктивність такого джерела також нескінченна. Про продуктивність неперервного джерела доцільно говорити лише в диференціальному відношенні, допускаючи похибку або порівнюючи диференціальну ентропію h₁(x) і h₂(х) сусідніх відліків повідомлення, взятих з інтервалом часу t=t₂ - t₁.

Відповідно до теореми відліків неперервні повідомлення x, у можуть бути подані сукупностями відліків їх x_i та y_i в дискретні моменти часу з кроком t.

Розподіл сукупності випадкових величин описується багатовимірною щільністю розподілу ймовірностей w(x₁, x₂,..., x_m), w(у₁, у₂,..., у_т). Якщо вважати випадкові величини незалежними та врахувати, що ентропія сукупності незалежних випадкових величин дорівнює сумі ентропії окремих таких величин, то диференціальна ентропія повідомлення визначиться як

(4.8)

де - диференціальна ентропія i-го відліку повідомлення у формі (4.6); т = T/ t — кількість відліків повідомлення тривалістю Т, зроблених з інтервалом часу t.

Обмежившись стаціонарними випадковими процесами, дістанемо

звідки

(4.9)

де h(x) - диференціальна ентропія одного відліку повідомлення у формі (4.6).

Аналогічно можна показати, що умовна диференціальна ентропія

(4.10)

де h(x|y) - умовна диференціальна ентропія одного відліку повідомлення.

Тоді вираз кількості інформації в неперервному повідомленні тривалістю Т матиме вигляд

І_Т(х,у)=m[h(x) - h(x|y)]. (4.11)

Назвемо середньою швидкістю передачі інформації неперервним джерелом кількість інформації, що передається за одиницю часу, тобто

(4.12)

де F _Д=т/Т - частота дискретизації повідомлення.

5.4Пропускна здатність неперервного каналу

Пропускною здатністю неперервного каналу називається максимально можлива швидкість передачі інформації в ньому :

С=max[R_T(x,y)]=F_Дmах[h(x) - h(х|у)]. (4.13)

Як і для дискретного каналу, вираз (4.13) досягає максимуму при максимальному ступені статистичної зумовленості неперервних повідомлень на виході та вході каналу. При цьому умовна диференціальна ентропія прямує до нуля завдяки низькому рівню завад і все меншому спотворенню повідомлень у каналі. Проте функція h(х) матиме максимум лише при певних законах розподілу w(x) ймовірностей (наприклад, якщо як фізичний процес X використовується стаціонарний випадковий процес у вигляді «білого шуму»).

Вираз (4.13) за наявності завади у вигляді «білого шуму» набуває вигляду

(4.14)

де F_m=F_Д/2 — максимальна частота смуги прозорості каналу; Р_с, Р₃ – середні потужності сигналу неперервного повідомлення та завади у вигляді «білого шуму».

Пропускну здатність неперервного каналу можна регулювати, змінюючи F_m, P_c і Р₃. Суть виразу (4.14) полягає у тому, що сума ( ) визначає кількість рівнів (квантів) неперервного повідомлення, які надійно розпізнаються на фоні завади при заданому відношенні сигнал/завада. Тому кількість інформації тут, що припадає на один відлік повідомлення, буде такою самою, як і для дискретного джерела з кількістю станів , коли .