В.Г.Абакумов

Теорія інформації та кодування

Частина1

Київ, НТУУ «КПІ»

Кафедра звукотехніки та реєстрації інформації

2011

В.Г.Абакумов

Теорія інформації та кодування

Частина1

Київ, НТУУ «КПІ»

Кафедра звукотехніки та реєстрації інформації

2011

УДК 621.391.13

Абакумов В.Г.

Теорія інформації та кодування. Ч. 1: Підручник. – Київ: Національний технічний університет України «КПІ». Кафедра звукотехніки та реєстрації інформації, 2011. - с.

У підручнику висвітлено базові поняття теорії інформації, розглянуто властивості неперервних та дискретних повідомлень, основні підходи до вимірювання інформації з врахуванням Ії призначення та корисності для вирішення конкретних задач. Докладно розглянуто процеси дискретизації та квантування повідомлень, визначено джерела та наведено критерії оцінки похибок, що виникають. Наведено вирази для оцінювання втрат інформації внаслідок дії шумів та інших факторів.

Для студентів напрямів підготовки 6.050803 «Акустотехніка», та 6.050903 «Телекомунікації» усіх форм навчання. Також може бути корисним для студентів інших напрямів підготовки, спеціальності яких передбачають вивчення радіоелектронних інформаційних систем.

© Абакумов в.Г., 2011

Зміст

Передмова………………………………………………………………………………	6
Вступ……………………………………………………………………………………	7
РОЗДІЛ 1. ЕЛЕМЕНТИ ТЕОРІЇ ІНФОРМАЦІЇ
1.1. Поняття інформації. Форми інформації…………………………………………	10
1.2. Повідомлення та відповідні їм сигнали…………………………………………	12
1.2.1. Поняття стаціонарності випадкового процесу…………………………….	18
1.2.2. Енергетичний спектр стаціонарного випадкового процесу………………	22
1.3. Вимірювання інформації…………………………………………………………	26
1.3.1. Структурні міри інформації………………………………………………...	26
1.3.2. Статистичні міри інформації……………………………………………….	28
1.3.3. Деякі властивості ентропії………………………………………………….	32
1.3.4. Ентропія статистично залежних повідомлень……………………………..	33
1.3.5. Ентропія неперервних повідомлень………………………………………..	38
1.3.6. Надмірність повідомлень…………………………………………………...	42
1.3.7. Семантичні міри інформації………………………………………………..	43
1.4. Дискретизація інформації……………………………………………………….	44
1.4.1. Дискретизація за часом……………………………………………………..	45
1.4.2. Теорема Котєльнікова……………………………………………………….	48
1.4.3. Принцип дискретизації Желєзнова………………………………………...	56
1.4.4. Дискретизація неперервних повідомлень з використанням критерію найбільшого відхилення……………………………………………………………...	57
1.4.5. Поняття про адаптивну дискретизацію…………………………………….	60
1.5. Квантування за рівнем……………………………………………………………	61
1.6. Оцінювання кількості інформації за наявності завад…………………………..	66
1.6.1. Джерела завад. Характеристики завад……………………………………..	66
1.6.2. Втрати інформації за наявності завад……………………………………...	72
1.7. Контрольні запитання та вправи………………………………………………...	77

Передмова

На всіх етапах розвитку суспільства знання відігравали вирішальну роль. Притаманна людині цікавість спонукала до нових досліджень, експериментів, результатом яких ставали нові знання, набутий досвід, вміння здійснювати нові види діяльності.

Спілкування між людьми, обмін добутим досвідом сприяли подальшому розвитку суспільства в цілому та окремої особистості зокрема. Проте лише недавно в науковій та повсякденній термінології з’явилось слово “інформація”.

У наш час немає людини, яка б не розумілась на цьому терміні, а вирази “передавання інформації”, “реєстрація інформації”, “оброблення інформації” стали термінами, які люди вживають повсякденно, не замислюючись над реальним змістом цих термінів та процесами, що відповідають цим поняттям.

З урахуванням цього в підручнику наведено базові теоретичні знання про сутність поняття “інформація”, висвітлено основні підходи до оцінювання кількості інформації, її важливості, розглянуто способи передавання, зберігання, стиснення, перероблення та захисту інформації від дії завад та несанкціонованих доступу та використання.

Сподіваюсь, що отримані знання дадуть змогу майбутнім спеціалістам краще орієнтуватись у сучасному інформаційному просторі, свідомо використовувати наявні інформаційні технології та створювати нові. Цьому сприятимуть численні питання для контролю знань та вправи, наведені у підручнику. В основу підручника покладено матеріали лекційних та практичних занять із цієї дисципліни, яку автор викладає в Національному технічному університеті України “КПІ”, навчальних посібників автора та численних літературних джерел.

Матеріал підручника може бути корисним студентам спеціальностей радіоелектронного, радіотехнічного та інформаційного напрямів для вивчення дисциплін, пов’язаних з теорією інформації та процесами її перетворення, зберігання та безпосереднього використання в технічних системах.

ВСТУП

Заглядаючи в далеке минуле, можна дійти до висновку, що у процесі еволюції людство займалось трьома основними видами діяльності: видобуттям та переробленням речовини, енергії, знань та досвіду. Ці основні види діяльності щільно пов’язані один з одним. Отримання знань та досвіду, обмін ними в процесі спілкування сприяли подальшому вдосконаленню наявних на той час технологій, виникненню нових напрямів виробничої та дослідницької діяльності, удосконаленню людини як такої.

З позицій сьогодення, вводячи поняття “інформація” як істотні репрезентативні характеристики, виділену сутність явищ, процесів, об’єктів матеріального світу, можна третім видом діяльності людства вважати отримання, передавання та перероблення інформації.

З погляду на логіку функціонування сучасних електронних інформаційних систем та пристроїв можна виділити такі процеси, пов’язані з рухом інформації.

Отримання інформації пов’язане зі сприйняттям та оцінюванням явищ, об’єктів, процесів. Результатом сприйняття, звичайно, є повідомлення або сигнал у зручній, придатній для подальшого використання формі.

Відзначимо, що в багатьох випадках корисну інформацію спотворюють шуми та завади.

Передавання інформації – це перенесення її на відстань за допомогою сигналів різного фізичного походження механічними, акустичними, проводовими, електромагнітними, оптичними та іншими каналами зв’язку. Частіше за все використовують кабельні, ефірні, оптичні канали зв’язку, для яких розроблено ефективні технічні системи передавання.

Оброблення інформації – здійснюють перетворенням аналогових повідомлень у дискретні під час розв’язання різноманітних технічних задач засобами комп’ютерної техніки; стисненням повідомлень, групуванням окремих повідомлень у пакети та інформаційні контейнери в телекомунікаційних системах; формуванням рішень та керувальних сигналів у системах керування технологічними процесами тощо. Проміжним етапом може бути зберігання інформації в запам’ятовувальних пристроях.

Відтворення (відображення) інформації – буває необхідним у випадках, коли споживачем інформації є людина, яка приймає безпосередню участь або виконує наглядову функцію під час роботи інформаційної або виробничої системи. Сутність відтворення полягає у представленні людині зображень, які характеризують стан системи в цілому та її окремих елементів. Створення зображення, зазвичай, здійснюють на основі якісних і кількісних характеристик інформації, що рухається в системі. Для цього використовують такі технічні засоби: монітори, інформаційні табло, мнемосхеми, алфавітно-цифрові індикатори, різні пристрої реєстрації.

Визначені інформаційні процеси можна доповнити також формуванням сигналів керування на підставі інформаційних сигналів та прийнятих у процесі оброблення інформації рішень.

У реальних системах завжди можна виділити технічні засоби, в яких відбуваються означені інформаційні процеси. Оскільки функціонування складних електронних, телекомунікаційних, відеотехнічних та інших технічних систем пов’язане з перетворенням інформації, важливими характеристиками технічних засобів, які визначатимуть доцільність застосування їх у конкретних системах, будуть такі характеристики як інформаційна ємність, пропускна здатність, інформаційна продуктивність і т. ін. Їх можна отримати застосуванням теорії інформації та інформаційних підходів на етапах проектування технічних систем.

Теорію інформації було створено як науку на початку ХХ століття. Визначальними працями, які стали класичними, були праці К. Шеннона, В. А. Котєльникова, О. О. Харкевича, А. Н. Колмогорова, Н. Вінера.

У цих працях закладено підґрунтя сучасної теорії інформації, доведено можливість передавання аналогових сигналів цифровими методами, розвинуто теорію оптимального та завадостійкого кодування, теорію потенціальної завадостійкості, створено фундамент сучасної теорії електричного зв’язку.

Основні ідеї теорії інформації успішно розробляли вітчизняні та зарубіжні вчені. Значну увагу приділяють питанням доцільності інформації, її цінності для вирішення конкретних задач. Ціннісний та семантичний аспекти інформації стають суттєвими для розробки алгоритмів оброблення складних зображень, розпізнавання образів, вибору доцільних шляхів подальшого руху в процесі розробки складних проектів.

Не лишаються без уваги також питання взаємодії інформації та матерії, інформації та енергії. Цим питанням присвячені монографії О. О. Борисенка та З. В. Партика, опубліковані останнім часом і наведені у списку літератури.

Інтенсивний розвиток досліджень у області теорії інформації та її прикладних застосувань свідчать про перспективність застосування інформаційних підходів для дослідження технічних, біологічних та суспільних систем.