- •Тема 1. Інформація та інформаційні процеси.
- •1. Повідомлення та інформація.
- •2. Моделі інформаційних систем
- •3. Математичні моделі каналу зв’язку
- •4. Предмет теорії інформації та кодування
- •Тема 2. Вимірювання інформації.
- •1. Основні підходи до вимірювання інформації, їх особливості.
- •2. Технічний (об’ємний) спосіб оцінювання інформації та його застосування в комп’ютерних системах.
- •3. Інформаційний обсяг повідомлення
- •4. Поняття про алгоритмічний підхід до вимірювання інформації.
- •Тема 3. Поняття ентропії інформації. Умовна та безумовна ентропії.
- •1. Кількісна міра інформації.
- •2. Ентропія та її властивості.
- •3. Безумовна ентропія
- •4. Умовна ентропія
- •5. Ентропія об’єднання двох джерел.
- •Тема 4. Методи визначення ентропії.
- •1. Ентропія по Хартлі.
- •2. Ентропія по Шеннону.
- •3. Ентропія по Колмогорову та ентропія 3
- •4. Ентропія по Шульцу та Мідлтону
- •5. Ентропія по Николайчуку. Інші методи визначення ентропії.
- •Тема 5. Характеристика дискретних джерел інформації. Теорема Шеннона.
- •1. Продуктивність дискретного джерела та швидкість передачі інформації
- •2. Інформаційні втрати при передачі інформації по дискретному каналу зв'язку
- •3. Пропускна здатність дискретного каналу. Основна теорема про кодування дискретного джерела.
- •Тема 6. Характеристики неперервних джерел інформації.
- •1. Інформаційні втрати при кодуванні неперервних джерел.
- •2. Продуктивність неперервного джерела та швидкість передачі інформації
- •3. Пропускна здатність неперервного каналу
- •Тема 7. Поняття про коди та кодування.
- •1. Поняття про коди та кодування. Потужність та довжина коду.
- •2. Рівномірні коди. Основна теорема про рівномірні коди.
- •3. Нерівномірні коди
- •4. Основні напрями кодування
- •Тема 8. Основи економного кодування.
- •1. Передавання інформації каналами зв’язку
- •2. Теоретичні основи побудови економних кодів. Перша теорема Шенона
- •3. Алгоритм Шенона—Фано для побудови економного коду
- •Алгоритм кодування за методом Шенона—Фано
- •4. Алгоритм Хаффмена для побудови оптимального коду
- •Алгоритм Хаффмена
- •5. Оптимальні нерівномірні коди і проблеми стискування інформації
- •Тема 9. Нерівномірні двійкові первинні коди.
- •1. Класифікація первинних кодів
- •2. Код Морзе
- •3. Число-імпульсні коди
- •Тема 10. Рівномірні двійкові первинні коди.
- •1. Числові двійкові коди
- •2. Двійково-десяткові коди
- •3. Двійково-десяткові коди з самодоповненням
- •4. Двійково-шістнадцятковий код
- •5. Рефлексні коди
- •Тема 11. Двійкові коди з виявленням помилок.
- •1. Коди з перевіркою на парність та непарність
- •2. Код із простим повторенням
- •3. Інверсний код
- •4. Кореляційний код
- •5. Код зі сталою вагою
- •6. Код із кількістю одиниць в комбінації, кратною трьом
- •Тема 12. Недвійкові коди з виявленням помилок.
- •1. Код з перевіркою за модулем q
- •2. Код із повторенням
- •3. Незвідні змінно-позиційні коди
- •4. Штрихові коди
- •Тема 16. Кодування в системі залишкових класів.
- •1. Побудова кодів у системі залишкових класів, породжених базисом Крестенсона
- •2. Переваги та недоліки кодування у системі залишкових класів
- •3. Ефективність математичних операцій у системі залишкових класів
- •4. Надлишковість та здатність виявляти та виправляти помилки
- •Тема 17. Коди Галуа.
- •1. Методика формування кодів Галуа, їх переваги
- •2. Надлишковість та здатність виявляти та виправляти помилки
3. Число-імпульсні коди
У числоімпульсному коді, який ще має назву одинично-десяткового, кожний розряд десяткового числа записується у вигляді відповідної кількості одиниць. Для можливості приймання їх приймачем окремі розряди кодових комбінацій відокремлюються інтервалами. Код не є рівномірним, хоча може бути перетворений на рівномірний дописуванням у кожній комбінаціії зліва нулів для заповнення загальної кількості їх елементів до 10. Так, запис десяткового числа 45 має вигляд 1111, 11111 (у варіанті рівномірного числоімпульсного коду це число записується так: 0000001111, 0000011111).
Тема 10. Рівномірні двійкові первинні коди.
План
1. Числові двійкові коди.
2. Двійково-десяткові коди.
3. Двійково-десяткові коди з самодоповненням.
4. Двійково-шістнадцятковий код
5. Рефлексні коди
1. Числові двійкові коди
У цих кодах, які ще називаються простими, всі повідомлення нумеруються порядковою послідовністю в двійковій системі числення, що утворює їхній двійковий код. Кількість комбінацій двійкового коду N = 2n, тобто для запису в двійковому коді N повідомлень треба мати п розрядів: п = log 2 N, де п ціле число.
У числових двійкових кодах використовуються всі можливі комбінації (Nд = N); тому ці коди є безнадмірними та завадонезахищеними, а мінімальна кодова відстань у них dmin = 1.
Для використання в телеграфних апаратах МККТТ рекомендується міжнародний телеграфний код № 2 (табл. 1).
Таблиця 1. Побудова коду Морзе
У цьому п’ятиелементному коді з 32 комбінацій 29 застосовуються для передачі літер, цифр, розділових іслужбових знаків у трьох регістрах (латинському, національному, цифровому), для яких призначено решту кодових комбінацій.
У зв’язку з тим, що при спотворенні кодової комбінації, яка відповідає алфавітному регістру (латинському, національному), вся послідовність комбінацій, що передається після неї, декодується неправильно, для перемикання регістрів вибираються комбінації, найбільш захищені від дії завад (латинський регістр – 11111, національний регістр – 00000).
2. Двійково-десяткові коди
У двійково-десятковому коді (ДДК) кожний розряд десяткового числа записується у вигляді табл.6.2 розрядного двійкового числа (тетради), що дає змогу сформувати 24 = 16 кодових комбінацій. Через те, що в десятковій системі числення використовується 10 цифр, шість комбінацій є надмірними і, як наслідок, вибір 10 комбінацій ДДК, які застосовуються для його побудови, має 16!6! ≈ 291010 варіантів.
Усі ДДК можна поділити на вагові та невагові, де в гою кожного розряду двійкового числа є її еквівалент у десятковій системі числення. Підсумовуючи вагу всіх чотирьох розрядів, дістають цифру десяткового числа. Вагомим називається такий ДДК, в якому вага кожного розряду для всіх 10 комбінацій залишається сталою. Будується він з урахуванням таких умов:
вага найменшого розряду q1 дорівнює 1;
вага другого за мінімальним значенням розряду q2 може дорівнювати 1 або 2;
вага, що відповідає останнім двом розрядам q3 та q4 коду, підбирається так, щоб сума їх була більшою або дорівнювала шести (якщо q2=2) чи семи (якщо q2 = 1).
Згідно з цим можна дістати 17 варіантів ДДК з додатною вагою розрядів (табл. 2). Крім коду 8 4 2 1, решта 16 кодів не мають однозначності в зображенні десяткових чисел. Так, код 3 3 2 1 дає змогу записати цифру 5 у двійковій формі як 1010 або 0110.
Таблиця 6.2 – Побудова двійково десяткових кодів з додатною вагою розрядів
В інших ДДК вага окремих розрядів може бути додатною або від'ємною.
Усі ДДК мають деяку надмірність, що, як правило, застосовується для виявлення помилок. З цією метою, крім 10 робочих, мають фіксуватися й решта шість комбінацій, причому під час приймання останніх, які можуть бути тільки результатом помилок при передачі ДДК, має забезпечуватися заборона відтворення інформації, хоча при цьому виявляються далеко не всі, навіть найпростіші, однократні помилки.
