Тема 8. Основи економного кодування.

План

1. Передавання інформації каналами зв’язку.

2. Теоретичні основи побудови економних кодів. Перша теорема Шенона.

3. Алгоритм Шенона—Фано для побудови економного коду.

4. Алгоритм Хаффмена для побудови оптимального коду

5. Оптимальні нерівномірні коди і проблеми стискування інформації

1. Передавання інформації каналами зв’язку

В усіх галузях людської діяльності доводиться мати справу з передаванням інформації. Специфіка різних видів діяльності вимагає різних специфічних систем передавання інформації. Наприклад, система передавання інформації телефонними каналами зв’язку не схожа на систему космічного зв’язку. Проте в принципах побудови та призначення окремих систем передавання інформації є чимало спільного.

Виділивши й проаналізувавши це, Клод Шенон запропонував у 1949р. структурну схему передавання інформації, яку подано на рисунку.

Передавач

Л інія зв’язку

Приймач

Кодуючий пристрій

Декодуючий п ристрій

Джерело інформації

Одержувач Інформації (адресат)

Рисунок 1. Схема передачі інформації

За цією схемою можна передавати найрізноманітніші за фізичною природою повідомлення: цифрові дані, одержані від комп’ютера, мову, тексти програм, результати вимірювання фізичних величин тощо. Всі ці повідомлення попередньо повинні бути перетворені в електричні сигнали, які повністю зберігають властивості вихідних повідомлень, а тоді уніфіковані, тобто подані у формі, яка є зручною для наступної передачі:

Під джерелом інформації розуміють пристрій, у якому виконані перераховані вище операції.

Зазначимо тільки, що кожне джерело має свій алфавіт Хдж.={x₁,x₂,...,x_n}, за допомогою якого формуються повідомлення.

Для більш економного використання лінії зв’язку, а також зменшення впливу різних завад (шумів) і спотворень, інформація, що передається джерелом, знову перетворюється за допомогою кодуючого пристрою. Це перетворення, як правило, складається із цілого ряду операцій, які включають облік статистики інформації, що поступає для усунення надмірності (статистичне кодування), а також введення додаткових елементів для зменшення впливу завад (перешкод) та спотворювань (завадостійке кодування).

У результаті ряду перетворень на виході кодуючого пристрою утворюється послідовність елементів, яка за допомогою передавача перетворюється у форму, яка є зручною для передавання лінією зв’язку.

Лінія зв’язку — це середовище, в якому відбувається передача сигналів від передавача до приймача.

Урахування впливу середовища є необхідним.

Зауважимо, що в теорії передавання інформації часто трапляються поняття «канал зв’язку».

Канал зв’язку — це сукупність засобів, які забезпечують передавання сигналів. Лінія зв’язку може містити багато каналів зв’язку.

Канал зв’язку має дві визначні характеристики: пропускну здатність та перешкодозахищеність (завадозахищеність);

Пропускна здатність каналу (С) — це максимальна кількість біт, що передається по ньому за відсутності перешкод. Вона залежить від фізичних властивостей каналу.

Швидкість передавання інформації каналом (Н) — це кількість біт, які передаються за одну секунду. (1 бод = 1 біт/с).

Похідні одиниці для бода такі ж як і для біта та байта.

На вихід приймача, крім сигналів, як формує передавач, потрапляють також різноманітні перешкоди (шуми). Приймач виділяє із суміші сигналів і перешкод послідовність, яка повинна відповідати послідовності на вході кодуючого пристрою. Проте через дію перешкод, впливу середовища, похибок різних перетворень, таку відповідність одержати неможливо. Тому така послідовність уводиться в декодуючий пристрій, який виконує операції з перетворення її в інформацію, яка відповідає тій, що була передана. Повнота цієї відповідності залежить від якості коректування. Корекція повинна бути виконана так, щоб різниця між інформацією, яка одержується від джерела та інформацією, переданою одержувачу, була незначною і не перевищувала деякої допустимої величини. Основними показниками якості передавання інформації є її достовірність — ступінь відповідності прийнятого повідомлення тому, яке було передано.

Чисельно достовірність передавання інформації характеризується коефіцієнтом похибок: К_nox= N_nox/N, де N_nox- кількість неправильно прийнятих повідомлень; N — загальна кількість прийнятих повідомлень.

При збільшені N коефіцієнт помилок прямує до ймовірності помилкового прийму чи просто до ймовірності похибки.