Державний заклад “Київський коледж зв'язку”

ТЕОРІЯ ІНФОРМАЦІЇ ТА КОДУВАННЯ

Конспект лекцій

для студентів коледжу, що навчаються за напрямом

6.050102 – «Комп’ютерна інженерія»

Київ 2012

Укладач:

Куліковська Ю.А. – викладач 2-ої категорії циклової комісії прикладної математики, моделювання та програмування, ДЗ «ККЗ».

Рецензент:

Котенко Н.О. – викладач 1-ої категорії циклової комісії прикладної математики, моделювання та програмування, ДЗ «ККЗ».

Збірник лабораторних робіт розглянуто та схвалено на засіданні циклової комісії ПММП

Протокол № ____ від ____________ 2012 р.

Голова комісії ___________________ (Котенко Н.О.)

Затверджено заступником директора з НВР __________ Коновалов О.Ю.

«____»____________2012р.

З М І С Т

1. ДИСКРЕТНІ ДЖЕРЕЛА ІНФОРМАЦІЇ 7

1.1. Теоретичні положення 7

1.2. Приклади розв’язання задач 16

Щоб обчислити безумовні ентропії кожного з джерел, знайдемо безумовні ймовірності появи символів на виході джерел за виразом (1.13): 20

Із виразу (1.16) отримаємо 23

Отримаємо 23

Нарешті 24

Задача 1.2.6 24

2. ЕФЕКТИВНЕ КОДУВАННЯ 30

2.1. Теоретичні положення 30

2.2. Приклади розв’язання задач 40

Задача 2.2.2 41

Рис. 2.3. Кодове дерево до задачі 2.2.2 42

Рис. 2.6. Кодове дерево для укрупненого по два символи алфавіту джерела задачі 2.2.5 51

3. ДИСКРЕТНІ КАНАЛИ ЗВ’ЯЗКУ 55

3.1. Теоретичні положення 55

3.2. Приклади розв’язання задач 66

Розв’язання. Аналізуючи матрицю перехідних ймовірностей ка-налу, можна зробити висновок, що канал є симетричним в посиленому значенні, тому для розрахунку пропускної здатності каналу скористуємося виразом (3.14): 66

P (  1,10 ) = 1 – P ( 0,10 ) = 1 – ( 1 – p ) ¹⁰ = 1 – ( 1 – 0,01 ) ¹⁰ = 0,095618. 75

4. КОДИ, ЇХ КЛАСИФІКАЦІЯ ТА ОСНОВНІ ХАРАКТЕРИСТИКИ 82

4.1. Теоретичні положення 82

4.2. Приклади розв’язання задач 85

5. ДВІЙКОВО-ДЕСЯТКОВІ ТА ДВІЙКОВІ РЕФЛЕКСНІ КОДИ 88

5.1. Теоретичні положення 88

ДДК 89

5.2. Приклади розв’язання задач 94

6. ШТРИХОВІ КОДИ 97

6.1. Теоретичні положення 97

6.2. Приклади розв’язання задач 102

7. ПОМИЛКИ 104

7.1. Теоретичні положення 104

7.2. Приклади розв’язання задач 109

8. ДВІЙКОВІ КОДИ, ЩО ВИПРАВЛЯЮТЬ 113

ОДНОКРАТНІ ПОМИЛКИ 113

8.1. Теоретичні положення 113

8.2. Приклади розв’язання задач 122

9. ДВІЙКОВІ ЦИКЛІЧНІ КОДИ 131

9.1. Теоретичні положення 131

10. НЕДВІЙКОВІ КОДИ 145

10.1. Теоретичні положення 145

Код на перестановки: 145

Код на певне число розміщень: 145

Код на певне число сполучень: 145

Код на всі сполучення: 145

Змінно-якісний код: 145

N₀ = q ( q – 1 ) ^n – 1 . 145

N₀  =  ( – Q ) ^n – Q  ( – Q + n ) ^Q / n ⁿ , 148

N₀ =  ( l ^m / n ) ⁿ ; 148

якщо ж для кожного кодового елемента  m  різних позицій вибираються із однієї групи ( l  m, v = n ), то 148

N₀ =  () ⁿ . 148

Таблиця 10.1.3 154

10.2. Приклади розв’язання задач 157

N₀₁ =  [ l ^m / n ] ⁿ , 159

N₀₁ =  [( 6 ) ² / 2 ] ²  = 324. 159

N₀₂ =  ()=  ( ) ²   = 225 . 159

N₀  =  ( – Q ) ^n – Q  ( – Q + n ) ^Q / n ⁿ , 159

N₀  =  ( 21 – 1 )  ( 21 – 1 + 2 )  / 2 ²  = 110 . 159

10.3. Задачі 167

11. СТИСНЕННЯ ПОВІДОМЛЕНЬ ПРИ ПЕРЕДАЧІ ДАНИХ 174

11.1. Теоретичні положення 174

N 177

. 177

11.2. Приклади розв’язання задач 179

N 182

11.3. Задачі 184

12. КАНАЛЬНІ КОДИ 189

12.1. Теоретичні положення 189

12.2. Приклади розв’язання задач 192

12.3. Задачі 196

ЛІТЕРАТУРА 198

ДОДАТКИ 200

Додаток А. Двійкові логарифми цілих чисел 200

Додаток Б. Таблиця значень функції – p log ₂ p 201

Додаток В. Десяткові коди країн, що використовуються при штриховому кодуванні 202