4.3. Продуктивність неперервного джерела та швидкість передачі інформації

Виходячи з того, що ентропія Н(х) неперервного джерела за абсолютним значенням є нескінченною, продуктивність такого джерела також нескінченна. Про продуктивність неперервного джерела доцільно говорити лише в диференціальному відно­шенні, допускаючи похибку або порівнюючи диференціальну ентропію h_x(x) і h₂{x) сусідніх відліків повідомлення, взятих з інтервалом часу At = t₂ - t_x [18].

Відповідно до теореми відліків неперервні повідомлення х, у можуть бути подані сукупностями відліків їх х₍ та у₍ в дискрет­ні моменти часу з кроком At.

Розподіл сукупності випадкових величин описується бага­товимірною щільністю розподілу ймовірностей w(x_x, х₂,..., х_т), w(y_x,y₂,...,у_т). Якщо вважати випадкові величини незалежни­ми та врахувати, що ентропія сукупності незалежних випадко­вих величин дорівнює сумі ентропії окремих таких величин, то диференціальна ентропія повідомлення визначиться як

т

М*) = 5>(*/Ь (4-8)

оо

де h(x_t) = - jw(x_i)\ogw(x_i)dx_i —диференціальна ентропія

—оо

/-го відліку повідомлення у формі (4.6); т = ТІ At — кількість 68

■■- і щ*ні ііііиїломиашн Іринами їх» /, фоЬлсішх з інтервалом »t» \ Лі < HiM!*jfcMitiiiiti'i> стаціонарними випадковими процесами,

ІИ ІНІІГМО

h(x_l) = h(x₂) = ...=h(x_m) = h(xl

IhlilhM

h_T(x) = mh(x), (4.9)

<іе h(\) диференціальна ентропія одного відліку повідомлен­ий у формі (4.6).

Аналогічно можна показати, що умовна диференціальна нн іронія

h_T(x/y) = mh(x/y\ (4.10)

t\v h{ к/у) — умовна диференціальна ентропія одного відліку повідомлення.

Годі вираз кількості інформації в неперервному повідомленні ірииалістю Г матиме вигляд

I_T(x,y) = m[h(x)-h(x/y)]. (4.11)

І Іазвемо середньою швидкістю передачі інформації неперерв­ним джерелом кількість інформації, що передається за одини­цю часу, тобто

l<r(^y)=^Y^-=Y^(x)-h(x/y)]=F_Jl[h(x)~h(x/y)),(4A2) це / _л = т/Т— частота дискретизації повідомлення.

4.4. Пропускна здатність . . . .

НЕПЕРЕРВНОГО КАНАЛУ

Пропускною здатністю неперервного каналу називається мак-к имально можлива швидкість передачі інформації в ньому [44]:

С = max[R_T(x,y)] = i^max[A(jc) - h(x/y)]. (4.13)

Як і для дискретного каналу, вираз (4.13) досягає максимуму мри максимальному ступені статистичної зумовленості непе­рервних повідомлень на виході та вході каналу. При цьому умовна диференціальна ентропія прямує до нуля завдяки низь­кому рівню завад і все меншому спотворенню повідомлень у каналі. Проте функція h{x) матиме максимум лише при певних

69

законах розподілу w(x) імовірностей (наприклад, якщо як фі­зичний процес X використовується стаціонарний випадковий процес у вигляді «білого шуму»).

Вираз (4.13) за наявності завади у вигляді «білого шуму» набуває вигляду

C = FJog₂(l+P_c/PJ, (4.14)

де F_m = FJ2 — максимальна частота смуги прозорості каналу; Р_с, Р₃ — середні потужності сигналу неперервного повідомлен­ня та завади у вигляді «білого шуму».

Пропускну здатність неперервного каналу можна регулюва­ти, змінюючи F_m, Р_с і Р₃. Суть виразу (4.14) полягає у тому, що сума (1 + PJ Р^ визначає кількість рівнів (квантів) неперервного повідомлення, які надійно розпізнаються на фоні завади при заданому відношенні сигнал/завада. Тому кількість інформації тут, що припадає на один відлік повідомлення, буде такою самою, як і для дискретного джерела з кількістю станів к = 1 + PJ Р₃, KonnI(x₉y) = \og₂(\+P_c/P₃).

КОНТРОЛЬНІ ЗАДАЧІ

1. Неперервний канал характеризується відношенням середніх потуж­ностей сигналу та шуму PJP_m, де Р_ш = N_QA/ (N₀ — спектральна щільність потужності завад; А/ — ширина смуги частот каналу). Сигнал, який передається, має тривалість х. Визначити потрібне відношення PJP_at для випадку, коли тривалість сигналу зменшується до т,, а ширина смуги ча­стот каналу змінюється до A/J.

2. Довести, що h(z) = h(y) при z = у ± к або z = -у, де к = const.

3. Визначити диференціальну ентропію випадкового відліку повідом­лення X, якщо розподіл його ймовірностей рівномірний у проміжку x_vx_Y

4. Неперервна випадкова величина змінюється за рівноймовірним зако­ном розподілу в проміжку х - 0.. .1,8 та х = 0.. .0,3. Визначити диференціаль­ну ентропію джерела для цих випадків і порівняти здобуті результати.

5. Визначити швидкість передачі інформації в неперервному каналі з повідомленням, розподіленим за законом

0при>><0;

у² при0<>><1;

Ф) =

у² при0< 1при>>>1

8. При частотній модуляції носійної неперервним сигналом з рівномі­рним розподілом частота змінюється в межах 15...60 МГц. Визначити ентропію сигналу при вимірюванні частоти з похибкою 5 кГц.

9. Пропускна здатність неперервного каналу С = 9600 біт/с при відно­шенні Р_сІР_г - 10. Як зміниться С при зменшенні цього відношення до 1?

10. Неперервний процес має нормальний розподіл імовірностей із щіль­ ністю w(x) = —j=— е~* ^^2с К Визначити ентропію цього процесу при

у/2по

похибці вимірювання Дл\

11. Значення сигналу рівномірно лежать у діапазоні 0...10 В. Визначи­ти диференціальну ентропію цього джерела. Якою буде ця ентропія, якщо значення сигналу виразити в мілівольтах?

12. Телеметрична станція за 10 с передає покази 20 датчиків. Спектр частот неперервних повідомлень лежить у межах 0...30 Гц. Рівень сигна­лів становить 0...10 В, а допустима відносна похибка дорівнює 0,5 % його максимуму. Визначити потрібну швидкість передачі інформації в каналі.

КОНТРОЛЬНІ ЗАПИТАННЯ

1. Що таке ентропія неперервного джерела?

2. Що таке диференціальна ентропія неперервного джерела? З.Як обчислюється диференціальна ентропія неперервного дже­рела?

4. Як визначається кількість інформації на одне повідомлення непе­рервного джерела?

5. За яких умов диференціальна ентропія неперервного джерела буде від'ємною?

6. Що означає відносність диференціальної ентропії неперервного джерела?

7. Як визначається пропускна здатність неперервного каналу?

8. Яке граничне значення пропускної здатності С = A/log[l + PJ(N₀AJ)] (біт/с) неперервного каналу з нормальним шумом, якщо ширина А/смуги його частот прямує до °° при Р_с = const і N₀ = const?

9. Як визначається швидкість передачі інформації про неперервний процес?

10. Як визначається період відліків неперервної величини за теоре­мою відліків Котельникова?

11. Що таке епсилон-ентропія випадкової величини?

та з періодом відліків 10"⁶ с

6. Телефонний канал зв'язку характеризується такими даними: А/ = = 3100 Гц; PJP_m = 10. Текст передається з ентропією 3,5 біт/символ, а середня швидкість його читання дорівнює 200 символів/хв. Визначити, наскільки ефективно використовується при цьому пропускна здатність каналу.

7. Напруга в електричному колі вимірюється в межах 150... 180 мВ. Як зміниться ентропія випадкової величини напруги при вимірюванні її в мікровольтах?

70

КОДУВАННЯ

В ДИСКРЕТНИХ

І НЕПЕРЕРВНИХ КАНАЛАХ

Передача інформації по лініях і каналах зв 'язку пов язана з певними труднощами. Головним чином — це дія завад на сигнали, що несуть інформацію. Тому для усунення помилок, які виникають при передачі сигналів під впливом завад, повідомлення кодують, оскільки кодування є найефективнішим способом їх захисту.

Для кращого розуміння процесу кодування повідомлень треба знати сис­теми числення, деякі основні операції над елементами поля GF(q), способи подання кодів, основні теореми кодування для каналів. Про все це йтиметься в цьому розділі. Крім того, тут викладено класифікацію кодів, наведено ха­рактеристики їх, описано основні принципи оптимального кодування.