5.5Контрольні питання

1. Що таке ентропія неперервного джерела?

2. Що таке диференціальна ентропія неперервного джерела?

3. Як обчислюється диференціальна ентропія неперервного джерела?

4. Як визначається кількість інформації на одне повідомлення неперервного джерела?

5. За яких умов диференціальна ентропія неперервного джерела буде від'ємною?

6. Що означає відносність диференціальної ентропії неперервного джерела?

7. Як визначається пропускна здатність неперервного каналу?

8. Яке граничне значення пропускної здатності неперервного каналу (біт/с)з нормальним шумом, якщо ширина f смуги його частот прямує до при Р_с=const і N₀=const?

9. Як визначається швидкість передачі інформації при неперервному процесі?

10. Як визначається період відліків неперервної величини за теоремою відліків Котельникова?

6Кодування інформації

6.1Загальні поняття і визначення

Розглянуті нижче загальні принципи кодування інформації справедливі як для систем, основна функція яких – передача інформації в просторі (системи зв’язку), так і для систем, основна функція яких – передача інформації в часі (системи збереження інформації). В останніх лінією зв’язку рахується середовище, в якому зберігається інформація.

Під кодуванням в широкому розумінні слова розуміється представлення повідомлень в формі, зручній для передачі по даному каналі. обернена операція називається декодуванням.

Повідомленню на виході джерела інформації необхідно поставити у відповідність деякий сигнал. Оскільки кількість можливих повідомлень при необмеженому збільшенні часу наближається до нескінченості, а за достатньо великий проміжок часу досить значне, то створити для кожного повідомлення свій сигнал практично неможливо.

Однак враховуючи, що дискретні повідомлення складаються із букв, а неперервні також можна представити послідовністю цифр в кожний момент відліку, існує можливість обійтись скінченною кількістю стандартних сигналів, які б відповідали окремим буквам алфавіту джерела.

При великому об’ємі алфавіту часто представляють букви в іншому алфавіті з меншою кількістю букв, які називаються символами. Для позначення цієї операції використовується той же термін кодування, але у вузькому розумінні.

Оскільки алфавіт символів менший за алфавіт букв, то кожній букві відповідає деяка послідовність символів, яку назвемо кодовою комбінацією. Число символів в кодовій комбінації називається її розмірністю.

Процес перетворення букв повідомлення в сигнали застосовується в декількох цілях. Перша із них полягає в тому, перетворити інформацію в таку систему символів (код), щоб вона забезпечувала простоту і надійність апаратурної реалізації інформаційних пристроїв і їх ефективність. Ця вимога означає простоту апаратури розпізнавання окремих символів, мінімальний час при передачі або мінімальний об’єм запам’ятовуючого пристрою при збереженні, простоту виконання в цій системі арифметичних і логічних операцій. Статистичні властивості джерела повідомлення і завад в каналі зв'язку при цьому не беруться до уваги. Технічна реалізація процесу кодування в такому простому вигляді при безперервному вхідному сигналі здійснюється аналого-кодовими перетворювачами.

У своїх основних теоремах Шенон обґрунтував ефективність введення в тракт кодуючих, а отже, і декодуючих пристроїв, мета яких полягає в узгодженні властивостей джерела повідомлень з властивостями каналу зв'язку.

Один з них (кодер джерела) має на меті забезпечити таке кодування, при якому шляхом усунення надлишковості істотно знижується середнє число символів, потрібних на букву повідомлення. За відсутності завад це безпосередньо дає виграш в часі передачі або в об'ємі пристрою, що запам'ятовує, тобто підвищує ефективність системи. Тому таке кодування отримало назву ефективного, або оптимального.

За наявності завад в каналі воно дозволяє перетворити вхідну інформацію в послідовність символів, що найкращим чином (у сенсі максимального стискування) підготовлену для подальшого перетворення.

Другий кодуючий пристрій (кодер каналу) має мету забезпечити задану достовірність при передачі або зберіганні інформації шляхом додаткового внесення надлишковості, але вже по простих алгоритмах і з врахуванням інтенсивності і статистичних закономірностей завади в каналі зв'язку. Таке кодування отримало назву завадостійкого.

Доцільність усунення надлишковості повідомлення методами ефективного кодування з подальшим перекодуванням завадостійким кодом обумовлена тим, що надлишковість джерела повідомлення в більшості випадків не погоджена із статистичними закономірностями завади в каналі зв'язку і тому не може бути повністю використана для підвищення достовірності повідомлення, що приймається, тоді як зазвичай можна підібрати відповідний завадостійкий код. Крім того, надлишковість джерела повідомлень часто є наслідком вельми складних імовірнісних залежностей і дозволяє виявляти і виправляти помилки лише після декодування всього повідомлення, користуючись складними алгоритмами і інтуїцією.

Отже, вибір кодуючих і декодуючих пристроїв залежить від статистичних властивостей джерела повідомлень, а також рівня і характеру завад в каналі зв'язку. Якщо надлишковість джерела повідомлення і завади в каналі зв'язку практично відсутні, то введення як кодера джерела, так і кодера каналу недоцільно.

Коли надлишковість джерела повідомлення висока, а завади вельми малі, доцільне введення кодера джерела. Коли надлишковість джерела мала, а завади великі, доцільне введення кодера каналу.

При великій надлишковості і високому рівні завад доцільне введення обох додаткових кодуючих (і що декодують) пристроїв.

Загальна структура моделі системи передачі інформації, наведену на рис.5.1.

Рисунок 5.1 – Загальна структура моделі системи передачі інформації

Коротко охарактеризуємо призначення і функції елементів цієї моделі.

Джерело інформації або повідомлення - це фізичний об'єкт, система або явище, що формують повідомлення. Повідомлення - це значення або зміна деякої фізичної величини, що відображають стан об'єкту. Як правило, первинні повідомлення - мова, музика, зображення, виміри параметрів довкілля і так далі - є функції часу. З метою передачі по каналу зв'язку ці повідомлення перетворяться в фізичний сигнал, зміни якого в часі відображують повідомлення. Значна частина повідомлень за своєю природою не є сигналами - це масиви чисел, текстові або інші файли. Повідомлення такого типа можна представити у вигляді деяких векторів .

Кодер джерела. Переважна частина вихідних повідомлень - мова, музика, зображення і так далі - призначена для безпосереднього сприйняття органами чуття людини і в загальному випадку мало пристосована для їх ефективної передачі по каналах зв'язку. Тому повідомлення ( або ), як правило, піддаються кодуванню. У процедуру кодування як правило включають і дискретизацію безперервного повідомлення , тобто його перетворення в послідовність елементарних дискретних повідомлень .

Під кодуванням в загальному випадку розуміють перетворення алфавіту повідомлення , ( ) в алфавіт деяким чином вибраних кодових символів , ( ).

Під кодуванням джерела розуміється скорочення об'єму (стискування) інформації з метою підвищення швидкості її передачі або скорочення смуги частот, потрібних для передачі.

Кодування джерела називають економним, безнадлишковим, або ефективним кодуванням, а також стискуванням даних. Під ефективністю в даному випадку розуміється міра скорочення об’єму даних, що забезпечується кодуванням.

Таким чином, на виході кодера джерела по повідомленню або формується послідовність кодових символів X, яка називається інформаційною послідовністю, що допускає точне або наближене відновлення вихідного повідомлення і має, по можливості, як можна менший розмір.

Кодер каналу. При передачі інформації по каналу зв'язку з завдами в отриманих даних можуть виникати помилки. Кодування в каналі, або завадостійке кодування, є спосіб обробки даних передачі, який забезпечує зменшення кількості помилок, що виникають в процесі передачі по каналу з завадами. На виході кодера каналу в результаті формується послідовність кодових символів Y(X), яка називається кодовою послідовністю.

Модулятор. Функції модулятора - узгодження повідомлення джерела або кодових послідовностей, що виробляються кодером, з властивостями каналу зв'язку і забезпечення можливості одночасної передачі великої кількості повідомлень по загальному каналу зв'язку.

Модулятор повинен перетворити повідомлення джерела або відповідні їм кодові послідовності X і Y в сигнали , властивості яких забезпечували б найбільш ефективну передачу по каналах зв'язку - телефонним, оптичним і так далі. На сьогодні існує велика кількість методів модуляції сигналів, найпростішими з них є амплітудна, частотна і фазова модуляції безперервних сигналів.

Канал зв'язку. Призначення каналу зв'язку – передача сигналів від джерела до споживача інформації. Проходячи по каналу зв'язку сигнал як правило, піддається послабленню, отримує деяку часову затримку і спотворюється, в результаті на виході буде сигнал . Для послаблення впливу цих небажаних ефектів використовує спеціальні засоби.

Демодулятор. Для відтворення оцінки повідомлення або приймач системи повинен по прийнятому сигналу і, з врахуванням відомостей про використаних при передачі вигляді сигналу і способі модуляції, отримати оцінку кодової послідовності , яка називається прийнятою послідовністю. Ця процедура називається демодуляцією, детектуванням або прийняттям сигналу. Демодуляція повинна виконуватися таким чином, щоб прийнята послідовність в мінімальній мірі відрізнялася від переданої кодової послідовності Y.

Декодер каналу. Прийняті послідовності в загальному випадку можуть відрізнятися від переданих кодових слів Y, тобто містити помилки. Завдання декодера каналу - виявити і, по можливості, виправити ці помилки. Процедура виявлення і виправлення помилок в прийнятій послідовності називається декодуванням каналу. У тих випадках, коли вимоги до достовірності інформації, що приймається, дуже великі (у комп'ютерних мережах передачі даних, в дистанційних системах управління і тому подібне), передача без завадостійкого кодування взагалі неможлива.

Декодер джерела. Оскільки інформація джерела ( або ) в процесі передачі піддавалася кодуванню з метою її більш компактного (або більш зручнішого) представлення (кодування джерела), необхідно відновити її до вихідного вигляду по прийнятій послідовності X*.