4.2 Передавання інформації без завад

Ємність каналу - гранична швидкість передавання інформації цим каналом:

, (4.16)

де q - кількість елементарних інформативних повідомлень, що передається за час Т.

Якщо сигнали передаються зі швидкістю S імпульсів за секунду, тобто:

, (4.17)

де τ - час передавання одного імпульсу;

то за час T можна передати n імпульсів:

. (4.18)

Рисунок 4.1 – Ентропія Н для двох можливих

Станів з імовірностями р1 та (1 – р1)

Для двійкового каналу, що пропускає лише елементарні сигнали «0» та «1», максимальна кількість комбінацій елементарних сигналів, яка може бути передана за час Т, складає:

. (4.19)

Тоді ємність бінарного каналу зв’язку визначається:

, (4.20)

тобто, чим меншою буде тривалість імпульсу , тим більшою буде ємність каналу С. Для недвійкового каналу:

, (4.21)

де m - кількість символів у алфавіті;

і ємність каналу:

. (4.22)

Ємність каналу зв’язку С може бути виражена у бі­тах на символ. Якщо до входу каналу підключене джерело повідомлень з ентропією на символ, що дорівнює ємності каналу зв’язку, то джерело інформаційно узгоджене з каналом. Якщо ентропія джерела менша ніж ємність каналу, то ємність каналу використовується не повністю (канал інформаційно недовантажений).

Узгодження джерела з каналом є досить складною справою і реалізується за допомогою статистичного кодування. К. Шеннон показав, що інформаційне узгодження, яке досягається статистичним кодуванням, аналогічне енергетичному узгодженню внутрішнього опору електричного генератора з навантаженням за допомогою трансформатора для передавання від генератора максимальної потужності. Тут мається на увазі узгодження джерела з каналом зв’язку за допомогою кодувального пристрою з метою максимального використання ємності каналу.

У своїй фундаментальній праці К. Шеннон навів приклад. Нехай бінарним каналом ємністю 1 біт/символ передається послідовність символів):

001000000011000000000000000000 .

Ентропія цієї послідовності складає:

Р = -0,1log0,1 – 0,9log0,9  0,5 (біт/символ) .

Таким чином ємність каналу удвічі більша за ентропію, тобто канал не узгоджений із джерелом. Статистичне кодування дозволяє збільшити ентропію, скоротивши довжину повідомлення. Оскільки при цьому збільшується ентропія, то збільшується і питома інформаційна вага повідомлення (співвідношення “кількість інформації/символ”). Послідовність символів розбивається на групи з трьох елементів. Після цього можна підрахувати імовірність можливих сполучень. Групам з великою імовірністю присвоюються короткі комбінації нерівномірного двійкового коду без розподільних знаків. У таблиці 4.1 наведені можливі групи послідовностей з трьох елементів, їх імовірності та присвоєний їм код. Нова послідовність кодів буде мати вигляд:

1100011110000000 .

Сформована послідовність складається з 16 елементів і її ентропія близька до 1 біт/символ. Сформована кодова послідовність може бути на приймальному боці декодована однозначно. Але вказаний принцип кодування має цілий ряд недоліків:

• вимагає певної інформації про те, які повідомлення будуть передані;

• викликає досить великі затримки в режимі реального часу;

• може погіршувати завадозахищеність системи.

Таблиця 4.1 - Статистичне кодування

Код	Імовірність	Присвоєне значення
000		0
001		110
010		101
100		011
110		11100
101		11101
011		11110
111		11111