Державний економіко-технологічний університет транспорту
Факультет “Інфраструктура рухомого складу і зв’язку ”
Кафедра “Телекомунікаційні технології і автоматика”
Методичні вказівки
для виконання контрольних робіт
з дисципліни “Теорія інформації і кодування”
Київ 2013
Зміст|вміст|
1 КІЛЬКІСНА ОЦІНКА ІНФОРМАЦІЇ 3
2. УМОВНА ЕНТРОПІЯ І ЕНТРОПІЯ ОБ'ЄДНАННЯ 7
4. ВИЗНАЧЕННЯ НАДМІРНОСТІ ПОВІДОМЛЕНЬ. ОПТИМАЛЬНЕ КОДУВАННЯ 19
5. ВИЯВЛЕННЯ І ВИПРАВЛЕННЯ ПОМИЛОК В ПОВІДОМЛЕННЯХ 28
5.1. Поняття про ідею корекції помилок 28
5.2. Лінійні групові коди 34
5.3. Тривіальні систематичні коди. Код Хеммінга 42
5.4. Циклічні коди 44
5.5. Побудова|шикування| і декодування конкретних циклічних код 53
6. УЩІЛЬНЕННЯ|стиснення| ІНФОРМАЦІЇ 62
7. ВАРІАНТИ КОНТРОЛЬНОЇ РОБОТИ 72
8. ОСНОВНІ ВИМОГИ ДО ОФОРМЛЕННЯ КОНТРОЛЬНОЇ РОБОТИ 86
9. ЕКЗАМЕНАЦІЙНІ ПИТАННЯ 87
10. ЛІТЕРАТУРА 88
Застосування I 89
Приложение II 92
1 Кількісна оцінка інформації
Загальне число повідомлень, що не повторюються, яке може бути складене з алфавіту m шляхом комбінування по n символів в повідомленні
.
(1)
Невизначеність, що припадає на символ первинного (кодованого)1 алфавіту, складеного з рівноймовірних і взаємнонезалежих символів
.
(2)
Логарифм впливає лише на зручність обчислення. У разі оцінки ентропії:
а) у двійкових одиницях
б) у десяткових одиницях
де
;
в) у натуральних одиницях
де
Оскільки інформація є невизначеністю, яка знімається при отриманні повідомлення, тоді кількість інформації може бути представлена як добуток загального числа повідомлень к на середню ентропію Н, що припадає на одне повідомлення:
(3)
Для випадків рівноймовірних і взаємонезалежних символів первинного алфавіту кількість інформації в к повідомленнях алфавіту m рівно
Для нерівно ймовірних алфавітів ентропія на символ алфавіту
(4)
а кількість інформації в повідомленні, складеному з к нерівноймовірних символів
(5)
При розв’язанні
задач, в яких ентропія
обчислюється як сума добутків
ймовірностей на її
логарифм, незалежно від того, чи є вони
безумовними
,
умовними
або ймовірностю
сумісних подій
.
Кількість інформації визначається виключно характеристиками первинного алфавіту, об'єм – характеристиками вторинного алфавіту. Об'єм2 інформації
(6)
де lсер– середня довжина кодових слів вторинного алфавіту.
Для рівномірних кодів (всі комбінації коду містять однакову кількість розрядів)
де
n
–
довжина коду (число елементарних посилок
в коді). Згідно до (3), об'єм дорівнює
кількості інформації, якщо lсер=Н,
тобто у разі максимального інформа-ційного
навантаження на символ повідомлення.
У решті всіх випадків
.
Наприклад, якщо кодувати в коді Бодо деякий рівноймовірний алфавіт, що складається з 32 символів, то
Якщо закодувати в коді Бодо російський 32-буквений алфавіт, то без урахування кореляції між буквами|літерами| кількість інформації
тобто,
якщо в коді існує надмірність і
,
то об'єм|обсяг|
в бітах завжди більше кількості інформації
в тих
самих одиницях.
Завдання 1.1: Припустимо, є набір з 3-х букв А, В, С.
1) Скласти максимальну кількість повідомлень, комбінуючи по дві букви в повідомленні.
2) Яка кількість інформації припадає на одне таке повідомлення?
Розв’язок:
1) АА, ВА, СА, АВ, ВВ, СВ, АС, ВС, СС;
2)
;
.
Завдання
1.2: Символи
алфавіту володіють двома якісними
ознаками (m = 2, символів первинного
алфавіту).
1) Яку кількість повідомлень можна отримати, комбінуючи по 3, 4, 5 і 6 елементів в повідомленнях?
2) Яка кількість інформації доводиться на ці повідомлення?
Розв’язок:
1)
;
;
2)
