- •Тема 1. Інформація та інформаційні процеси.
- •1. Повідомлення та інформація.
- •2. Моделі інформаційних систем
- •3. Математичні моделі каналу зв’язку
- •4. Предмет теорії інформації та кодування
- •Тема 2. Вимірювання інформації.
- •1. Основні підходи до вимірювання інформації, їх особливості.
- •2. Технічний (об’ємний) спосіб оцінювання інформації та його застосування в комп’ютерних системах.
- •3. Інформаційний обсяг повідомлення
- •4. Поняття про алгоритмічний підхід до вимірювання інформації.
- •Тема 3. Поняття ентропії інформації. Умовна та безумовна ентропії.
- •1. Кількісна міра інформації.
- •2. Ентропія та її властивості.
- •3. Безумовна ентропія
- •4. Умовна ентропія
- •5. Ентропія об’єднання двох джерел.
- •Тема 4. Методи визначення ентропії.
- •1. Ентропія по Хартлі.
- •2. Ентропія по Шеннону.
- •3. Ентропія по Колмогорову та ентропія 3
- •4. Ентропія по Шульцу та Мідлтону
- •5. Ентропія по Николайчуку. Інші методи визначення ентропії.
- •Тема 5. Характеристика дискретних джерел інформації. Теорема Шеннона.
- •1. Продуктивність дискретного джерела та швидкість передачі інформації
- •2. Інформаційні втрати при передачі інформації по дискретному каналу зв'язку
- •3. Пропускна здатність дискретного каналу. Основна теорема про кодування дискретного джерела.
- •Тема 6. Характеристики неперервних джерел інформації.
- •1. Інформаційні втрати при кодуванні неперервних джерел.
- •2. Продуктивність неперервного джерела та швидкість передачі інформації
- •3. Пропускна здатність неперервного каналу
- •Тема 7. Поняття про коди та кодування.
- •1. Поняття про коди та кодування. Потужність та довжина коду.
- •2. Рівномірні коди. Основна теорема про рівномірні коди.
- •3. Нерівномірні коди
- •4. Основні напрями кодування
- •Тема 8. Основи економного кодування.
- •1. Передавання інформації каналами зв’язку
- •2. Теоретичні основи побудови економних кодів. Перша теорема Шенона
- •3. Алгоритм Шенона—Фано для побудови економного коду
- •Алгоритм кодування за методом Шенона—Фано
- •4. Алгоритм Хаффмена для побудови оптимального коду
- •Алгоритм Хаффмена
- •5. Оптимальні нерівномірні коди і проблеми стискування інформації
- •Тема 9. Нерівномірні двійкові первинні коди.
- •1. Класифікація первинних кодів
- •2. Код Морзе
- •3. Число-імпульсні коди
- •Тема 10. Рівномірні двійкові первинні коди.
- •1. Числові двійкові коди
- •2. Двійково-десяткові коди
- •3. Двійково-десяткові коди з самодоповненням
- •4. Двійково-шістнадцятковий код
- •5. Рефлексні коди
- •Тема 11. Двійкові коди з виявленням помилок.
- •1. Коди з перевіркою на парність та непарність
- •2. Код із простим повторенням
- •3. Інверсний код
- •4. Кореляційний код
- •5. Код зі сталою вагою
- •6. Код із кількістю одиниць в комбінації, кратною трьом
- •Тема 12. Недвійкові коди з виявленням помилок.
- •1. Код з перевіркою за модулем q
- •2. Код із повторенням
- •3. Незвідні змінно-позиційні коди
- •4. Штрихові коди
- •Тема 16. Кодування в системі залишкових класів.
- •1. Побудова кодів у системі залишкових класів, породжених базисом Крестенсона
- •2. Переваги та недоліки кодування у системі залишкових класів
- •3. Ефективність математичних операцій у системі залишкових класів
- •4. Надлишковість та здатність виявляти та виправляти помилки
- •Тема 17. Коди Галуа.
- •1. Методика формування кодів Галуа, їх переваги
- •2. Надлишковість та здатність виявляти та виправляти помилки
3. Нерівномірні коди
Код, у якому кодові слова мають різну довжину, називають нерівномірним кодом.
Перший практичний нерівномірний код створив американський художник та винахідник Семюель Морзе (1794-1872). У 1837 році він винайшов електромагнітний телеграф, а в 1838 році розробив телеграфний код – азбуку Морзе. Алфавіт цього коду складається із трьох символів: крапки, тире і пропуску.
Для прикладу наведемо фрагмент цього коду (таб.1).
Таблиця 1
Букви українського алфавіту |
Кодові слова азбуки Морзе |
А |
∙ − |
Б |
− ∙ ∙ ∙ |
Н |
─ ∙ |
Я |
∙ ─ ∙ ─ |
Наприклад, слово БАНЯ кодом Морзе запишуть так:
─ ∙ ∙ ∙ │ ∙ ─ │ ─ ∙ │ ∙ ─ ∙ ─
4. Основні напрями кодування
Відповідно до мети кодування є декілька напрямів кодування, серед яких можна виділити два основні.
Перший напрям кодування пов’язаний із захистом інформації.
Проблеми захисту інформації люди почали розв’язувати ще з сивої глибини віків. Під захистом інформації розуміють:
а) обмеження доступу до інформації особам, що не мають відповідного дозволу (несанкційований, нелегальний доступ);
б) обмеження незумисного або недозволеного використання, зміни чи руйнування інформації.
Захист інформації є необхідним для зменшення ймовірності її розголошення, зумисного спотворення (модифікації) або втрати, знищення інформації, яка має певну цінність для її власника. Руйнування чи зміни інформації можуть мати місце в результаті збоїв або нестабільності роботи технічних пристроїв, які використовують для зберігання інформації (техногенний фактор), а також у результаті несвідомої діяльності людини (людський фактор).
Проблеми захисту інформації шляхом такого її перетворення, що унеможливлює її розуміння сторонніми особами, людство почало розв’язувати ще на світанку людської цивілізації, в період створення мовних засобів. З розвитком людського суспільства, появою приватної власності, державного устрою, боротьби за владу, інформація почала набувати значної ціни. Цінною стає та інформація, яка дає можливість її дійсним та потенційним власникам одержати певні дивіденди — матеріальні, політичні, військові тощо.
Проблеми захисту інформації від самовільного (несанкціонованого) доступу особливо загострилася в наш час. Поява комп’ютерів та створення на їх базі інформаційних систем порушила проблему створення методів захисту інформації (криптографічних) ще більш актуально. Це обумовлено двома причинами. Першою причиною є те, що різко розширилося використання комп’ютерних мереж, зокрема комп’ютерної мережі Інтернет, по якій передаються величезні обсяги інформації державного, військового та комерційного характеру, що не допускають можливості доступу до неї сторонніх осіб. Отже, всю цю інформацію потрібно надійно засекретити (зашифрувати). Другою причиною є те, що поява потужних комп’ютерних систем, технологій мереживних та нейтронних обчислень створили можливості для розкриття систем, які вважалися такими, яких практично розкрити неможливо. Виникла проблема створення на базі комп’ютерів нових більш надійних шифросистем. А для цього необхідна відповідна теорія їх побудови.
Для ефективного розв’язання проблеми захисту інформації створено спеціальну науку криптологію ( kryptos – таємний, logos – наука). Криптологія має дві складові: криптографію та криптоаналіз. Криптографія займається пошуком та дослідженням методів засекречення (шифрування) інформації. Криптоаналіз досліджує можливості розшифрування інформації.
Другий напрям у теорії і практиці кодування тісно пов’язаний із проблемами ефективного передавання інформації каналами зв’язку, зберігання інформації.
Тут можна виділити три основних аспекти:
подання повідомлення (інформації) у вигляді, який є найбільш зручним для передавання його каналом зв’язку;
кодування повідомлення з мінімальною можливою кількісно двійкових символів (оптимальне кодування);
кодування повідомлення, яке забезпечує надійність одержання його адресатом без спотворень (завадостійке кодування).
