- •Тема 1. Інформація та інформаційні процеси.
- •1. Повідомлення та інформація.
- •2. Моделі інформаційних систем
- •3. Математичні моделі каналу зв’язку
- •4. Предмет теорії інформації та кодування
- •Тема 2. Вимірювання інформації.
- •1. Основні підходи до вимірювання інформації, їх особливості.
- •2. Технічний (об’ємний) спосіб оцінювання інформації та його застосування в комп’ютерних системах.
- •3. Інформаційний обсяг повідомлення
- •4. Поняття про алгоритмічний підхід до вимірювання інформації.
- •Тема 3. Поняття ентропії інформації. Умовна та безумовна ентропії.
- •1. Кількісна міра інформації.
- •2. Ентропія та її властивості.
- •3. Безумовна ентропія
- •4. Умовна ентропія
- •5. Ентропія об’єднання двох джерел.
- •Тема 4. Методи визначення ентропії.
- •1. Ентропія по Хартлі.
- •2. Ентропія по Шеннону.
- •3. Ентропія по Колмогорову та ентропія 3
- •4. Ентропія по Шульцу та Мідлтону
- •5. Ентропія по Николайчуку. Інші методи визначення ентропії.
- •Тема 5. Характеристика дискретних джерел інформації. Теорема Шеннона.
- •1. Продуктивність дискретного джерела та швидкість передачі інформації
- •2. Інформаційні втрати при передачі інформації по дискретному каналу зв'язку
- •3. Пропускна здатність дискретного каналу. Основна теорема про кодування дискретного джерела.
- •Тема 6. Характеристики неперервних джерел інформації.
- •1. Інформаційні втрати при кодуванні неперервних джерел.
- •2. Продуктивність неперервного джерела та швидкість передачі інформації
- •3. Пропускна здатність неперервного каналу
- •Тема 7. Поняття про коди та кодування.
- •1. Поняття про коди та кодування. Потужність та довжина коду.
- •2. Рівномірні коди. Основна теорема про рівномірні коди.
- •3. Нерівномірні коди
- •4. Основні напрями кодування
- •Тема 8. Основи економного кодування.
- •1. Передавання інформації каналами зв’язку
- •2. Теоретичні основи побудови економних кодів. Перша теорема Шенона
- •3. Алгоритм Шенона—Фано для побудови економного коду
- •Алгоритм кодування за методом Шенона—Фано
- •4. Алгоритм Хаффмена для побудови оптимального коду
- •Алгоритм Хаффмена
- •5. Оптимальні нерівномірні коди і проблеми стискування інформації
- •Тема 9. Нерівномірні двійкові первинні коди.
- •1. Класифікація первинних кодів
- •2. Код Морзе
- •3. Число-імпульсні коди
- •Тема 10. Рівномірні двійкові первинні коди.
- •1. Числові двійкові коди
- •2. Двійково-десяткові коди
- •3. Двійково-десяткові коди з самодоповненням
- •4. Двійково-шістнадцятковий код
- •5. Рефлексні коди
- •Тема 11. Двійкові коди з виявленням помилок.
- •1. Коди з перевіркою на парність та непарність
- •2. Код із простим повторенням
- •3. Інверсний код
- •4. Кореляційний код
- •5. Код зі сталою вагою
- •6. Код із кількістю одиниць в комбінації, кратною трьом
- •Тема 12. Недвійкові коди з виявленням помилок.
- •1. Код з перевіркою за модулем q
- •2. Код із повторенням
- •3. Незвідні змінно-позиційні коди
- •4. Штрихові коди
- •Тема 16. Кодування в системі залишкових класів.
- •1. Побудова кодів у системі залишкових класів, породжених базисом Крестенсона
- •2. Переваги та недоліки кодування у системі залишкових класів
- •3. Ефективність математичних операцій у системі залишкових класів
- •4. Надлишковість та здатність виявляти та виправляти помилки
- •Тема 17. Коди Галуа.
- •1. Методика формування кодів Галуа, їх переваги
- •2. Надлишковість та здатність виявляти та виправляти помилки
Тема 9. Нерівномірні двійкові первинні коди.
План
1. Класифікація первинних кодів.
2. Код Морзе.
3. Число-імпульсні коди.
1. Класифікація первинних кодів
Повідомлення, що надходять від первісних джерел, як правило, кодуються. Кодування застосовується як для спрощення оброблення повідомлень, так і для підвищення завадостійкості їх передачі по лініях і в каналах зв’язку, де спотворюються сигнали, що спричиняє появу помилок у повідомленнях.
Для кодування повідомлень, які надходять з джерела інформації, на першому етапі (первинне оброблення повідомлень) використовуються первинні коди, які мають мінімальну кодову відстань dmin = 1 і не можуть застосовуватися для виявлення та виправлення помилок. Для підвищення завадостійкості передачі повідомлень використовується вторинне кодування комбінацій первинного коду коректувальними кодами, що виявляють і виправляють помилки.
Для кодування повідомлень при підготовці та введенні даних у системи передачі й оброблення інформації застосовуються, як правило, первинні коди, до яких належать nрозрядні коди з основою (алфавітом) q, в яких використовуються всі qn кодових комбінацій з потужністю qn ≥ Nд > qn1.
Розрізняють нерівномірні та рівномірні первинні коди. З перших найвідомішими є оптимальні двійкові коди Шеннона-Фано та Хаффмена, а також двійковий код Морзе.
До рівномірних первинних кодів, які широко застосовуються на практиці, належать рекомендовані МККТТ (Міжнародний консультативний комітет з телеграфії та телефонії тепер Міжнародний союз електрозв'язку) та Міжнародною організацією із стандартизації (ISO) коди: п'ятирозрядний двійковий, міжнародний стандартний телеграфний код № 2 (МТК2), міжнародний семирозрядний стандартний двійковий код №5 для передачі даних. З метою кодової сумісності Єдиної системи ЕОМ у 70ті роки ХХ століття були розроблені стандарти, прийняті свого часу країнами Ради Економічної Взаємодопомоги, у зв’язку з чим було рекомендовано використовувати двійкові коди між машинного обміну інформацією КОІ7Н0, КОІ7С1, КОІ8, код ДКОІ для внутрішнього обміну інформацією та код КПК12 для подання даних на перфокартах.
Крім перелічених вище, до первинних кодів належать також коди, що мають специфічне використання. Це рівномірні рефлексні коди, що застосовуються в техніці аналого-цифрового перетворення і телевимірюванні, та двійководесяткові коди, що поширені в системах відображення інформації або використовуються як проміжні при введенні в ЕОМ даних, поданих у десятковому коді.
2. Код Морзе
Крім двійкових ОНК Шеннона Фано та Хаффмена, до цього часу широко застосовується нерівномірний (неповний) код Морзе, комбінації якого передаються елементами різної тривалості (крапки та тире). Цей код в основному використовується для передачі телеграфних повідомлень при радіозв'язку з морськими суднами, геологорозвідувальними та пошуковими партіями, полярними станціями.
Спочатку код Морзе було розроблено для латинського алфавіту з урахуванням частоти появи окремих літер у тексті. При переході до українського алфавіту необхідно збільшити кількість кодових комбінацій, щоб можна було передавати літери, які не мають аналогів у латинському алфавіті (ш, щ, я тощо).
До переваг коду Морзе слід зарахувати його простоту, легкість запам'ятовування, можливість візуального приймання та приймання на слух, до недоліків – необхідність декодування тексту перед врученням споживачеві, а також надмірність. Крім того, цей код не враховує особливостей української мови, тобто частоту появи літер в українському тексті.
Наприклад: НАДІЯ – NADIA _ . . _ _ . . . . . _ . _
НАТАЛЯ – NATALIA _ . . _ _ . _ . _ . . . _ . _