Рецензенти: засл. діяч науки і техніки України, д-р техн. наук, проф. В. К. Стеклов (Київський філіал Української держав­ної академії зв'язку); д-р техн. наук, проф. Л. М. Лучук (Інститут кібернетики НАН України); д-р техн. наук, проф. О. М. Романке-вич; канд. техн. наук, доц. Л. Ф. Карачун (Національний технічний університет України «Київський політехнічний інститут»)

Редакція літератури з економіки і фундаментальних наук Редактор В. Ф. Хміль

Жураковський Ю. П., Полторак В. П.

— К.

Ж91 Теорія інформації та кодування: Підручник. Вища шк., 2001. — 255 с: іл. ISBN 966-642-031-7

Викладено основні поняття та положення теорії інформації, методи математичного опису та інформаційні характеристики дискретних і неперервних джерел повідомлень, визначення кіль­кості інформації та ентропії в повідомленні. Розглянуто основні принципи кодування повідомлень, способи коректувального коду­вання двійковими та недвійковими кодами, способи ефективного стиснення повідомлень, методику розрахунку завадостійкості ко­дованих повідомлень. Наведено контрольні задачі, приклади роз­в'язання типових задач і контрольні запитання, що сприяє кра­щому засвоєнню матеріалу.

Для студентів вищих технічних навчальних закладів. Може бути корисним для фахівців з телекомунікацій, обчислювальної техніки, автоматизованих систем.

УДК 621.391(075.8) ББК 32.811я73

ISBN 966-642-031-7

Ю. П. Жураковський, В. П. Полторак, 2001

til 'И- •:

НІ

Передмова 6 _f Г о і д і л 1. Інформація та інформаційні процеси

|.|. Повідомлення та інформація 8

1,2, Моделі інформаційних систем 10

І S, Математичні моделі каналу зв'язку 13

І 4. Предмет теорії інформації та кодування 19

Контрольні запитання 20

І* о і Л і л 2. Кількісні характеристики інформації

•І Ансамблі та джерела повідомлень 21

' ' Кількісна міра інформації 23

/ \ ентропія та її властивості 28

,' «І 1>е зумовна ентропія 32

ІЛ Умовна ентропія 34

2Л Ннтропія об'єднання двох джерел 45

Контрольні задачі 47

Контрольні запитання 48

Ф о і д і л 3. Характеристики дискретних джерел інформації

*ї, 1. Продуктивність дискретного джерела та швидкість

передачі інформації 49 ¹1,2. Інформаційні втрати при передачі інформації

по дискретному каналу 51

J.3. Пропускна здатність дискретного каналу 53

1.4. Теорема Шеннона про кодування дискретного джерела 54

Контрольні задачі 58

Контрольні запитання 59

Розділ 4. Характеристики неперервних джерел інформації

4.1 Квантування сигналів 60

2. Інформаційні втрати при кодуванні неперервних джерел 65

3. Продуктивність неперервного джерела та швидкість

передачі інформації 68

4.4. Пропускна здатність неперервного каналу 69 Контрольні задачі 70 Контрольні запитання 71

І* о і л І л 5 . К'ол) пишім н лискреших і неперервних каналах

5.1 Класифікація кодів і характеристики їх 72

2. Системи числення 76

3. Основні операції над елементами поля 78

4. Способи подання кодів 82

5. Надмірність повідомлень і кодів 89

6. Основні теореми кодування для каналів 92

7. Оптимальне кодування 99 Контрольні задачі 105 Контрольні запитання 110

Розділ 6. Кодування повідомлень

1. Класифікація первинних кодів 112

2. Нерівномірні двійкові первинні коди 113

1. Код Морзе 113

2. Число-імпульсні коди 114

6.3. Рівномірні двійкові первинні коди 115 6.3.1.Числові двійкові коди 115

2. Двійково-десяткові коди 122

3. Двійково-десяткові коди з самодоповненням 124

4. Двійково-шістнадцятковий код 125

5. Рефлексні коди 125

6.4. Недвійкові первинні коди 128 Контрольні задачі 130 Контрольні запитання 133

Розділ 7. Коди, що виявляють помилки

7.1. Двійкові коди, що виявляють помилки 134

1. Код із перевіркою на парність 134

2. Код із перевіркою на непарність 135

3. Код із простим повторенням 135

4. Інверсний код 136

5. Кореляційний код 136

6. Код зі сталою вагою 137

7. Код із кількістю одиниць у комбінації, кратною трьом 137

7.2. Недвійкові коди, що виявляють помилки 138

1. Код із перевіркою за модулем q 139

2. Код із повторенням 139

3. Незвідні змінно-позиційні коди 140

7.3. Штрихові коди 146 Контрольні задачі 153 Контрольні запитання 157

Розділ 8. Коди, що виправляють помилки

8.1. Двійкові групові коди 158

1. Лінійний систематичний груповий (блоковий) код 158

2. Коди Хеммінга 166

3. Циклічні коди 171

4. Коди Боуза — Чоудхурі — Хоквінгема 180

5. Код Файра 185

6. Код із багатократним повторенням 187

7. Ітеративні коди 188

8. Каскадні коди 190

' ІVkурентні коди 191

и \ Недвійкові коди ""'" 192

Н Н. Код із багатократним повторенням 193

К \1. Узагальнений код Хеммінга 194

Н \Л. Коди Боуза — Чоудхурі — Хоквінгема 196

Н. 1.4. Коди Ріда — Соломона 198

К 15. Багатовимірні ітеративні коди 200

8 V6. Нсдвійковий ланцюговий код 202

к. чітро іьні задачі 203

контрольні запитання 214

І*їїі д і л 9. Ефективність кодування та передачі інформації

ч І Вірогідність передачі кодованих повідомлень 216

ч ,' Стиснення інформації 221

У.2.1. Способи стиснення даних при передачі 223

V.2.2. Способи стиснення даних при архівації 235

*М Чбільшсння основи коду 239 ч А Використання зворотного зв'язку для підвищення

ефективності передачі інформації 243

контрольні задачі 246

контрольні запитання 250

Дшшіки 252

ґптик використаної та рекомендованої літератури 254

4

ПЕРЕДМОВА

З кожним роком зростають обсяги інформації, які потрібно передавати, обробляти та зберігати для своєчасного викорис- | тання їх при вирішенні виробничих, наукових, економічних та інших завдань.

Деякі теоретичні знання про інформацію, її кількість, способи кодування повідомлень та захисту їх від завад і спотворень, викладені в цьому підручнику, допоможуть користувачам кра­ще зрозуміти процеси перетворення повідомлень при передачі, а також скористатися цими знаннями для захисту інформації від спотворень.

Елементи теорії інформації розглядалися Р. Хартлі в праці, присвяченій вимірюванню кількості інформації (1928 p.), але першим фундаментальним дослідженням, яке, по суті, започат­кувало теорію інформації, є праця К. Шеннона «Математична теорія зв'язку» (1948 р.). У ній обґрунтовано методику вимірю­вання кількості інформації та запропоновано теореми про оп­тимальне кодування, що доводять можливість досягнення мак­симальних швидкостей передачі інформації.

Вагомий внесок у розвиток окремих розділів теорії ін­формації зробили вчені X. Найквіст, Н. Вінер, Д. Міддлтон, А. Файнстейн, К. Хелстром, В. Котельников, О. Харкевич, А. Колмогоров, О. Хінчин, В. Фано, У. Пітерсон, Р. Боуз, Д. Рой-Чоудхурі, П. Еліас, Е. Берлекемп, Л. Бородін, Л. Фінк, Р. Стратонович, А. Зюко, Ф. Катков, К. Зігангіров.

Без знання основ теорії інформації та кодування неможливе створення нових сучасних систем передачі інформації. Тому її вивчення є невід'ємною частиною теоретичної підготовки фа­хівців у галузі комп'ютеризованих систем, автоматики та управ­ління, комп'ютерної інженерії, телекомунікацій тощо.

В основу підручника покладено матеріали лекційних і прак­тичних занять з цієї дисципліни, яка викладається авторами в Національному технічному університеті України («Київський

політехнічний інститут»). У ньому також використано матері-л им, опубліковані в літературних джерелах, та дані деяких нау-коно-дослідних робіт, виконаних авторами.

(' груктура підручника дає змогу читачеві послідовно від про-і mm до більш складного вивчити всі основні поняття та поло­жения теорії інформації й кодування, хоча й потребує від нього асиких знань з таких розділів математики, як теорія ймовірно-гісй та математична статистика, теорія матриць, комбінато­рика.

Набутими знаннями з цієї дисципліни студенти та фахівці можуть скористатися під час вивчення інших дисциплін, тісно пов'язаних з теорією інформації та кодуванням, а також при курсовому та дипломному проектуванні зі споріднених дис­циплін.

Розд. 1, 5—8 (крім п. 8.3.4), 9 (крім п. 9.3) та п. 4.1 написано ц ром техн. наук, проф. Ю. П. Жураковським, решту матеріа-ііу канд. техн. наук, доц. В. 77. Полтораком.

6

_і

РОЗДІЛ У

ІНФОРМАЦІЯ

ТА ІНФОРМАЦІЙНІ

ПРОЦЕСИ

Як відомо, всі процеси, що відбуваються в природі, в тому числі вироб­ничі, пов 'язані з інформацією — її здобуттям, перетворенням, накопи­ченням, передаванням, зберіганням і відображенням.

У цьому розділі наводяться основні поняття та визначення з теорії інформації, описуються моделі інформаційних систем і рух інформації в них, подаються моделі каналів інформації, а також оцінюється вплив характеристик каналів на якість передачі інформації.

1.1. Повідомлення та інформація

Насамперед слід визначитися з такими поняттями, як дані, повідомлення та інформація.

Під даними розуміють усі відомості, здобуті від навколиш­нього світу та подані у формалізованому вигляді (літерами, цифрами, символами тощо). Дані, що підлягають передачі, на­зиваються повідомленнями. Повідомлення стають інформацією тільки в момент їх застосування, тобто інформація — це вико­ристовувані повідомлення, причому такі, які відзначаються новизною і раніше не були відомі одержувачеві (оператору ЕОМ). Є й інше, більш широке визначення інформації, згідно з яким інформація — це відомості, що є об'єктом зберігання, пе­редавання та перетворення [47].

Для можливості технічного оброблення (передачі, запису та ін.) повідомлення має бути перетворене на сигнал — матеріаль­ний носій, що відображує повідомлення [47].

Розрізняють сигнали звукові (акустичні), електричні, оптич­ні, гідравлічні та ін. Один вид сигналу можна перетворювати на інший (електричний на звуковий, оптичний на електричний тощо).

Будь-який сигнал характеризується такими основними па­раметрами: тривалістю, шириною частотного спектра та ди­намічним діапазоном.

8

Під тривалістю Т_с сигналу розуміють час, протягом якого киї знаходиться в каналі зв'язку. Частотний спектр F_c сигналу нишачає смугу частот, яку він охоплював під час передачі по кііиалу зв'язку. Залежно від виду сигналу (аналоговий, дискрет­ний) частотний спектр може бути і нескінченним; тому на прак-іи ці його обмежують для можливості передачі по каналах з обмеженою смугою частот. Так, телефонні розмови ведуться по каналах зі смугою пропускання 3100 Гц (300... 3400 Гц), хоча сам початковий сигнал займає спектр до 15 ... 17 кГц.

Середньою потужністю Р_с сигналу є потужність, яка забез­печується апаратурою під час його надходження до каналу зв'яз­ку. На практиці частіше замість Р_с користуються поняттям ди­намічного діапазону D_c, що визначається логарифмом відно­шення найбільшої (максимальної) миттєвої потужності сигналу (і> _тах = Р_с) до найменшої (мінімальної) Р_{с тіп} , дозволене -шачення якої дорівнює потужності завад (Р_стїп = Р^

D_c = log (Р_с/Р₃).

Усі ці параметри сигналу є його обсягом:

V = Т F D .

^ус с с^с

Аналогічними параметрами характеризується також канал иГязку. Ними є тривалість використання Т_к каналу, смуга його частот F_K та динамічний діапазон D_K. У цьому разі під Т_к розу­міють час використання каналу для передачі сигналів, під F_K— смугу частот, яка забезпечується каналом, а під D_K — динаміч­ний діапазон рівнів сигналів, які можуть бути передані ним. ; убуток цих трьох параметрів визначає ємність каналу зв'язку

V = Т F D .

^г к к к к

Для забезпечення передачі сигналів по каналу зв'язку необ­хідно, щоб V_K > V_c; крім того, мають виконуватися такі умови:

t_k>t_c;f_k>f_c,d_k>d_c.

Якщо деякі з них не виконуються, треба досягти їх за раху­нок інших. Так, якщо V_K > V_c, Т_к > Т_с і D_K > D_c, але F_K < F_c, то, ібільшуючи Т_с, можна зменшити частотний спектр F_c сигналу і виконати умову F_K > F_c.

Повідомлення та відповідні сигнали можуть бути неперервни­ми (аналоговими) та дискретними (знаковими). Перші описуються неперервною функцією часу. До них належать такі повідомлення, и к музика, телевізійне зображення, радіомовлення. За допомо-іою спеціальних пристроїв неперервні повідомлення перетворю-

9

ються на неперервні електричні сигнали, якими передаються по­відомлення по каналу зв'язку від передавача до приймача.

Дискретними повідомленнями є скінченна послідовність окремих символів (знаків, літер) з обмеженою тривалістю. Вони характерні для телеграфії, передачі даних, телекомунікацій. Для перетворення дискретного повідомлення на сигнал потрібна операція кодування.

Неперервні повідомлення можна передавати дискретними способами. В цьому разі неперервні сигнали, якими передаються ці повідомлення, перетворюються на дискретні за допомогою операцій квантування за рівнем та дискретизації в часі. На прий­мальному боці виконується обернене перетворення: за прийня­тими дискретними сигналами відновлюються передані непе­рервні сигнали.

Дискретні сигнали як засіб передачі повідомлень більш по­ширені, ніж неперервні, завдяки тому що вони меншою мірою зазнають впливу завад і спотворень в каналах зв'язку, а в разі спотворення їх легше регенерувати (відновити) і, крім того, вони досить легко обробляються в ЕОМ.