У випадку нерівноймовірних і взаємозалежних символів різної тривалості

R = [-p(a_i)p(b_j/a_i)log₂p(b_j/a_i)] / p_i біт/с. (7.4)

^{i j i}

Пропускна здатність (або ємність) каналу зв’язку – є максимальна швидкість передачі інформації по даному каналу зв’язку. Пропускну здатність характеризує максимальна ентропія:

R_max = H_max/ біт/с. (7.5)

При наявності завад пропускна здатність каналу зв’язку обчислюється як добуток кількості прийнятих за секунду знаків п на різницю ентропій джерела повідомлень і умовної ентропії джерела відносно прийнятого сигналу:

С_п=п[Н(А)–Н(А/В)]=п[Н(В)–Н(В/А)]=п[Н(А)+Н(В)-Н(В/А)]б/с(7.6)

Для симетричних бінарних каналів, в яких сигнали передаються з допомогою двох якісних ознак і імовірність хибного прийому р_х = р(1/0) = р(0/1), а імовірність правильного прийому р_п = 1-р_х, втрати враховуються з допомогою умовної ентропії виду

H(B/A) = -[p_xlog₂p_x+(1-p_x)log₂(1-p_x)]біт/символ, (7.7)

пропускна здатність таких каналів

С_п=n[1+p_xlogp_x+(1-p_x)log₂(1-p_x)]біт/с. (7.8) Для несиметричного бінарного каналу зв’язку

C_п=n{p(A₁)[p(1/1)log₂p(1/1)+p(0/1)log₂p(0/1)]+p(A₀)[p(1/0)+

+p(0/0)log₂p(0/0)]–[p(B₀)log₂p(B₀)+p(B₁)log₂p(B₁)]}. (7.9) На практиці часто доводиться визначати пропускну здатність при заданому відсотку спотворень в каналі. У випадку бінарних каналів задається імовірність переходу 1в 0 і навпаки. Для симетричних дискретних каналів зв’язку з кількістю якісних ознак т  2 пропускна здатність

С_п = n{logm+p_xlog[p_x/(m-1)]+(1-p_x)log(1-p_x)}біт/с. (7.10)

Властивості симетричного каналу зв’язку:

1. ентропія Н(А)=Н(В);

2. умовна ентропія Н(А/В)=Н(В/А);

3. середня кількість інформації у прийнятому ансамблі повідомлень відносно переданого І(А,В)=І(В,А)=Н(А) -

--Н(В/А)=Н(А)-Н(А/В)=Н(В)---Н(В/А)=Н(В)-Н(А/В)=Н(А)+Н(В)-

-- Н(В,А);

4. канальні матриці для симетричного каналу з боку джерела і з боку приймача виглядають однаково;

5. у симетричному каналі сума імовірностей у кожному рядку і в кожному стовбці дорівнюють 1;

6. пропускна здатність симетричного каналу від А до В дорівнює пропускній здатності того ж каналу від В до А.

7.2. Інформаційні характеристики неперервних каналів зв’язку

Реальні неперервні канали являють собою складні інерційні об’єкти, характеристики яких випадковим чином змінюються в часі. Для аналізу таких каналів створені математичні моделі різних рівнів складності і степеня адекватності реальним каналам. Найбільш розповсюджені моделі різновидностей гаусового каналу.

Під гаусовим каналом розуміють математичну модель реального каналу, побудовану на таких припущеннях:

основні фізичні параметри каналу є відомими детермінованими величинами;

смуга пропускання каналу обмежена частотою F_к герц;

у каналі діє адитивний гаусовий білий шум – адитивна флюктуаційна завада обмеженої потужності з рівномірним частотним спектром і нормальним розподіленням амплітуд.

Вважається також, що по каналу передаються сигнали з постійною середньою потужністю, статистичні зв’язки між сигналами і шумом відсутні, ширина спектру сигналу і завади обмежена смугою пропускання каналу.

Швидкість передачі інформації по неперервному каналу – це кількість інформації, яка передається в середньому прийнятими неперервними сигналами v(t), відносно переданих u(t) в одиницю часу.

Оскільки смуга пропускання каналу завжди обмежена, неперервні повідомлення на достатньо довгому інтервалі часу Т можуть бути подані послідовностями відліків. Середня швидкість І_с передачі інформації дискретизованим сигналом буде

І_с = І(VU) / Т, (7.11)

де І(VU) = p(VU)log[p(VU)/p(V)p(U)]dVdU. (7.12)

^VU

Перехід до границі при Т означає перехід до середньої швидкості по всіх можливих сигналах.

Максимально можлива швидкість С_н передачі інформації по неперервному каналу є пропускною здатністю неперервного каналу

С_н = max I_c(VU), (7.13)

^{p(u)}

де максимум знаходять по всіх можливих ансамблях вхідних сигналів.

При передачі по гаусовому каналу неперервного сигналу u_T(t) із ансамбля {u_T} із середньої потужністю P_u і дисперсією _u² на виході каналу одержимо сигнал v_T(t) із ансамблю {v_T(t)} , який спотворено гаусовою завадою (t) з середньою потужністю P_ і дисперсією _². Сигнали u_T(t) i v_T(t) можна замінити послідовностями відліків, взятих через інтервали t = 1/(2F_к), де F_к – смуга пропускання каналу. Середня кількість інформації, яка передається сигналом v_T буде

I(VU) = H(V) – H_u(V), (7.14)

де H(V) i H_u(V) – апрірна і апостеріорна ентропії N-вимірного випадкового вектора V. Завада у каналі адитивна і статистично не зв’язана із вхідним сигналом, тому справедлива рівність

H_u(V) = H_u(U+) = H(), (7.15)

де Н() – ентропія N–вимірного випадкового вектора завади . Значення білого шуму в моменти відліку будуть некорельованими, тому

H() = 2F_кTh(), (7.16)

де h() – диференціальна ентропія одного відлікового значення завади. Для завади з нормальним розподіленням і дисперсією _² вона складе

h() = log _2e = ½ log 2eP_. (7.17)

Відлікові значення вихідних сигналів V_T(t) також незалежні. Тоді H(V) можна виразити через диференціальну ентропію h(V) одного відліку вихідного сигналу:

H(V) = 2F_кTh(V). (7.18)

Тоді

I(VU) = 2F_кT[h(V) – 1/2log2e_²]. (7.19)

Відповідно швидкість передачі інформації по неперервному каналу

I_c(VU) = 2F_к[h(V) – 1/2log2e_²]. (7.20)

Визначимо пропускну здатність гаусового каналу. Максимальна величина диференціальної ентропії

h(V)= -log2e(_u²+_²)=1/2log2e(P_u+P_). (7.21)

Тому пропускна здатність гаусового каналу буде

C_н = F_к[log2e(P_u + P_) – log2P_] = F_кlog(1 + P_u/P_).

Залежність пропускної здатності гаусового каналу від ширини смуги пропускання F_к нелінійна, тому що F_к впливає також на потужність завади. З врахуванням рівномірності енергетичного спектру білого шуму його потужність можна виразити через питому потужність Р₀ на одиницю частоти. Тоді

C_н= F_кlog₂[1+P_u/ (P₀F_к)]. (7.22)

Зростання пропускної здатності каналу при необмеженому розширенні його смуги пропускання обмежена границею С_м:

С_м= limС_н = lim{log₂[1+P_u/(P₀F_к)]/(1/F_к)}=1,443P_u/P₀ (7.23)

F_к F_к