Для двоїчних кодів

_{N N}

p_il_i = -p_ilog₂p_i, (6.12)

^{i=1 i=1}

Очевидно, що ця рівність вірна при умові, що довжина коду у вторинному алфавіті

L _i= -log₂p_i = log₂(1/p_i). (6.13)

Величина l_i точно дорівнює H, якщо p_i = 2^-n , де n – довільне ціле число. Якщо п не є цілим числом для всіх літер первинного алфавіту, то l_с  Н і згідно з основною теоремою кодування, середня довжина кодового слова наближається до ентропії джерела повідомлень з укрупненням блоків, що кодуються.

Ефективність ОНК оцінюють з допомогою коефіцієнта статистичного стискання:

_N

K_c.c= H_max/l_c = log₂N/log₂mp_il_i, (6.14)

ⁱ⁼¹

який характеризує зменшення кількості двоїчних знаків на символ повідомлення при застосуванні ОНК порівняно з застосуванням методів нестатистичного кодування і коефіцієнта відносної ефективності

K_в.e= H/l_c, (6.15)

який показує, наскільки використовується статистична надмірність повідомлення, що передається. У випадку нерівноймовірних і взаємно незалежних символів

_{N N}

K_в.e=(-p_ilog₂p_i)/(log₂mp_il_i). (6.16)

^{i=1 i=1}

У випадку нерівноймовірних і взаємозалежних символів

_N

K_в.e=[-p_ip(j/i)log₂p(j/i)]/(log₂mp_il_i) (6.17)

^{i j i=1}

7. Інформаційні характеристики каналів зв’язку

Швидкість передачі інформації по дискретному каналу зв’язку і його пропускна здатність. Бінарний канал зв’язку і його властивості. Пропускна здатність неперервного каналу. Узгодження фізичних характеристик сигналу і каналу.

7.1. Інформаційні характеристики дискретних каналів зв’язку

Інформаційна модель каналу із завадами задається множиною символів на його вході і виході та описом імовірних властивостей передачі окремих символів. Канал буде з “пам’яттю” (з післядією), якщо перехідні імовірності в даному стані каналу залежать від його попередніх станів. Якщо перехідні імовірності постійні, тобто канал має тільки один стан, він називається стаціонарним каналом без пам’яті. Стаціонарний дискретний двоїчний канал без пам’яті однозначно визначається чотирма умовними ймовірностями: р(0/0), р(1/0), р(0/1), р(1/1). Якщо імовірності спотворення символів можна прийняти рівними, тобто р(1/0) = р(0/1), то такий канал називається двоїчним симетричим каналом.

Швидкість передачі інформації по дискретному каналу.

Характеризуючи дискретний канал зв’язку, використовують два поняття швидкості передачі: технічної та інформаційної. Технічна швидкість передачі V_т - це число елементарних сигналів, які передаються по каналу в одиницю часу. Вона залежить від властивостей лінії зв’язку і швидкодії апаратури каналу. З врахуванням можливої різниці у тривалості сигналів приймається середнє значення цієї тривалості _с

V = 1 / _с бод. (7.1)

Інформаційна швидкість, або швидкість передачі інформації R, визначається середньою кількістю інформації, переданої по каналу в одиницю часу. У випадку відсутності завад у каналі зв’язку і однозначного кодування при однаковій тривалості символів 

R = (log₂m) /  біт/с. (7.2)

У випадку нерівноймовірних символів однакової тривалості

_m

R = (-p_ilogp_i) /  біт/с. (7.3)

ⁱ⁼¹