Частина I Основи теорії інформації та кодування

Розділ 1 ОСНОВНІ ПОЛОЖЕННЯ ТЕОРІЇ ІНФОРМАЦІЇ

1.1 Предмет курсу. Види інформації. Теорема дискретизації

Теорія інформації - це розділ кібернетики, в якому за допомогою математичних методів вивчаються способи вимірювання інформації та методи її кодування з метою стиснення інформації і надійної передачі каналами зв'язку.

При формальному поданні знань кожному досліджуваному об'єкту ставиться у відповідність числовий код, зв'язки між об'єктами так само подаються кодами. Для переведення неформальних даних у формальний цифровий вигляд використовуються спеціальні таблиці кодування. Найпростіший приклад такої таблиці - ASCII (American Standard Code for Information Interchange), що зіставляє друкованим та керуючим символам числа від 0 до 127.

Інформація може бути двох видів: дискретна (цифрова) і неперервна (аналогова).

Неперервна інформація – це дані, що одержані при неперервному за часом процесі змінювання деякої випадкової величини і описуються неперервними (аналоговими) функціями.

Дискретна інформація – це цифрові дані, одержані у результаті квантування (дискретизації) неперервної величини за часом, рівнем або тим і іншим одночасно (рис.1.1). Дискретну інформацію зберігати і обробляти набагато простіше, оскільки вона являє собою послідовність чисел. У двійковій системі числення дискретна інформація являє собою послідовність 0 та 1.

За найменшу одиницю ємності цифрової інформації беруть біт (bit, binary digit) – одну позицію для двійкової цифри. Складені одиниці: 1 Кб = 2¹⁰ = 1024 б; 1 Мб = 2_{­­­­­­­­}²⁰ ≈ 10⁶ б; 1 Гб = 2³⁰ ≈ 10⁹ б; 1 Тб = 2⁴⁰ ≈ 10¹² б; 1 Пб = 2⁵⁰ ≈ 10¹⁵ б.

Для переведення неперервної інформації в дискретну і навпаки використовуються спеціальні пристрої модуляції/демодуляції - модеми. Швидкість передачі інформації вимірюється в кількості переданих за одну секунду бітів – бодах (baud): 1 бод = 1 біт/с (bps).

Пристрій, що реалізовує процес дискретизації неперервного сигналу, називається аналогово-цифровим перетворювачем (АЦП). Частота, з якою АЦП проводить виміри аналогового сигналу і видає його цифрові значення, називається частотою дискретизації. Пристрій, що інтерполює дискретний сигнал у неперервний називається цифро-аналоговим перетворювачем.

Чим вища частота дискретизації, тим точніше переведення неперервної інформації в дискретний сигнал. Проте із зростанням частоти зростає і розмір дискретних даних і, отже, складність їхнього оброблення, передачі і зберігання.

При всіх якісних відмінностях між неперервною і дискретною величинами існує чіткий зв'язок, встановлюваний теоремою дискретизації Шеннона-Котельникова.

Як відомо з відповідного розділу математичного аналізу, будь-яка неперервна функція S(t) може бути розкладеною на скінченному проміжку в ряд Фур’є. Суть цього розкладання полягає в тому, що функція подається у вигляді суми ряду синусоїд з різними амплітудами і фазами, і з кратними частотами. Коефіцієнти (амплітуди) при синусоїдах називаються спектром функції. У гладких функцій спектр швидко спадає (із зростанням номера коефіцієнти швидко прямують до нуля). Для швидко змінюваних функцій спектр спадає поволі, оскільки в сумі гармонічного ряду таких функцій переважають синусоїди з високими частотами.

Вважається, що сигнал має обмежений спектр, якщо після певного номера всі коефіцієнти спектру прямують до нуля. Іншими словами, на заданому проміжку часу сигнал подається у вигляді скінченної суми ряду Фур’є. В цьому випадку говорять, що спектр сигналу знаходиться нижче за граничну частоту f_м, де f_м - частота синусоїди при останньому ненульовому коефіцієнті.

Теорема дискретизації формулюється так:

Неперервна інформація S(t) з обмеженим спектром, тобто така, що має в своєму спектрі складові з частотами, що не перевищують деяку максимальну частоту спектру f_м,, повністю відтворюється послідовністю відліків S(t_i), узятих в дискретні моменти часу з інтервалом .