- •Тема 1. Інформація та інформаційні процеси.
- •1. Повідомлення та інформація.
- •2. Моделі інформаційних систем
- •3. Математичні моделі каналу зв’язку
- •4. Предмет теорії інформації та кодування
- •Тема 2. Вимірювання інформації.
- •1. Основні підходи до вимірювання інформації, їх особливості.
- •2. Технічний (об’ємний) спосіб оцінювання інформації та його застосування в комп’ютерних системах.
- •3. Інформаційний обсяг повідомлення
- •4. Поняття про алгоритмічний підхід до вимірювання інформації.
- •Тема 3. Поняття ентропії інформації. Умовна та безумовна ентропії.
- •1. Кількісна міра інформації.
- •2. Ентропія та її властивості.
- •3. Безумовна ентропія
- •4. Умовна ентропія
- •5. Ентропія об’єднання двох джерел.
- •Тема 4. Методи визначення ентропії.
- •1. Ентропія по Хартлі.
- •2. Ентропія по Шеннону.
- •3. Ентропія по Колмогорову та ентропія 3
- •4. Ентропія по Шульцу та Мідлтону
- •5. Ентропія по Николайчуку. Інші методи визначення ентропії.
- •Тема 5. Характеристика дискретних джерел інформації. Теорема Шеннона.
- •1. Продуктивність дискретного джерела та швидкість передачі інформації
- •2. Інформаційні втрати при передачі інформації по дискретному каналу зв'язку
- •3. Пропускна здатність дискретного каналу. Основна теорема про кодування дискретного джерела.
- •Тема 6. Характеристики неперервних джерел інформації.
- •1. Інформаційні втрати при кодуванні неперервних джерел.
- •2. Продуктивність неперервного джерела та швидкість передачі інформації
- •3. Пропускна здатність неперервного каналу
- •Тема 7. Поняття про коди та кодування.
- •1. Поняття про коди та кодування. Потужність та довжина коду.
- •2. Рівномірні коди. Основна теорема про рівномірні коди.
- •3. Нерівномірні коди
- •4. Основні напрями кодування
- •Тема 8. Основи економного кодування.
- •1. Передавання інформації каналами зв’язку
- •2. Теоретичні основи побудови економних кодів. Перша теорема Шенона
- •3. Алгоритм Шенона—Фано для побудови економного коду
- •Алгоритм кодування за методом Шенона—Фано
- •4. Алгоритм Хаффмена для побудови оптимального коду
- •Алгоритм Хаффмена
- •5. Оптимальні нерівномірні коди і проблеми стискування інформації
- •Тема 9. Нерівномірні двійкові первинні коди.
- •1. Класифікація первинних кодів
- •2. Код Морзе
- •3. Число-імпульсні коди
- •Тема 10. Рівномірні двійкові первинні коди.
- •1. Числові двійкові коди
- •2. Двійково-десяткові коди
- •3. Двійково-десяткові коди з самодоповненням
- •4. Двійково-шістнадцятковий код
- •5. Рефлексні коди
- •Тема 11. Двійкові коди з виявленням помилок.
- •1. Коди з перевіркою на парність та непарність
- •2. Код із простим повторенням
- •3. Інверсний код
- •4. Кореляційний код
- •5. Код зі сталою вагою
- •6. Код із кількістю одиниць в комбінації, кратною трьом
- •Тема 12. Недвійкові коди з виявленням помилок.
- •1. Код з перевіркою за модулем q
- •2. Код із повторенням
- •3. Незвідні змінно-позиційні коди
- •4. Штрихові коди
- •Тема 16. Кодування в системі залишкових класів.
- •1. Побудова кодів у системі залишкових класів, породжених базисом Крестенсона
- •2. Переваги та недоліки кодування у системі залишкових класів
- •3. Ефективність математичних операцій у системі залишкових класів
- •4. Надлишковість та здатність виявляти та виправляти помилки
- •Тема 17. Коди Галуа.
- •1. Методика формування кодів Галуа, їх переваги
- •2. Надлишковість та здатність виявляти та виправляти помилки
3. Двійково-десяткові коди з самодоповненням
Необхідність заміни операції віднімання в ЕОМ операцією додавання, що виконується за допомогою спеціальних машинних кодів, привела до розробки ДДК, які мають властивість самодоповнення.
В оберненому коді з самодоповненням кожний розряд [аi]2 подається як доповнення до 2-1, тобто [аi]2 = 2-1 – аi. Доповнення до 2-1=1 дорівнює 0, якщо аі = 1, і 1, якщо аі = 0, тобто є інверсією цифри аi. Для десяткового коду потрібно знаходити доповнення до 9.
Зручність цих кодів полягає в тому, що ДДК цифри, яка є доповненням до 9, аналогічно двійковому коду знаходиться простою інверсією двійкових зображень десяткового числа в коді, для якого відшукується доповнення. Таким чином, якщо розряд десяткового числа аi подано тетрадою двійкових розрядів q4 q3 q2 q1, то доповнення до 9 визначається як [аі]10 = 1234 qqqq , де iq заперечення двійкової цифри qі.
Найбільшого поширення з ДДК із самодоповненням дістали код Айкена (2 4 2 1) і код із надмірністю 3 (8 4 2 1), які наведено в табл. 4. Як випливає з таблиці, при заміні цифр усіх чотирьох розрядів коду з 0 на 1 (або навпаки) дістаємо доповнення до 9 для кодованої десяткової цифри.
Таблиця 4 – Побудова кода Айкена та кода з надмірністю 3
4. Двійково-шістнадцятковий код
У двійковошістнадцятковому коді для запису двійкового байта (вісім розрядів двійкового коду) використовується шістнадцяткова система числення. При цьому чотирирозрядні двійкові числа (тетради) записуються шістнадцятковим символом. Так, запис двійкових послідовностей 1100 0110, 0010 1101 має вигляд .С6 і .2D, де крапка перед символами вказує на відмінність дворозрядного двійковошістнадцяткового числа від дворозрядних шістнадцяткових чисел. У цьому прикладі (С6)16 = =(198)10 і (2D)16 = (45)10. Двійковошістнадцятковий код широко застосовується для скороченого запису кодових комбінацій байтової структури.
5. Рефлексні коди
Особливість побудови рефлексних кодів полягає в тому, що сусідні кодові комбінації на відміну від двійкових простих кодів різняться цифрою тільки в одному розряді, тобто кодова відстань між ними дорівнює одиниці.
Іншою особливістю цих кодів є те, що зміна елементів у кожному розряді при переході від комбінації до комбінації відбувається в два рази рідше, ніж у простому коді, завдяки чому значно спрощується кодер. Крім того, при додаванні двох сусідніх комбінацій рефлексного коду за модулем 2 кількість одиниць дорівнюватиме кількості розрядів мінус 3, тобто одиниці, що використовується для перевірки правильності прийнятої кодової комбінації.
Свою назву рефлексні коди дістали через наявність осей симетрії, відносно яких виразно проглядається ідентичність елементів у деяких розрядах. Вісь симетрії, що розміщується в nзначному рефлексному коді між комбінаціями, які відповідають рівням (2n-1-1) і 2n-1, називається головною. Щодо неї є ідентичність елементів в (n-1) розрядах симетричних кодових комбінацій.
Можна утворити велику кількість двійкових рефлексних кодів, у яких дві сусідні комбінації відрізнятимуться тільки одним символом.
Найбільшого поширення з рефлексних кодів дістав код Грея (табл. 6), який, на відміну від інших, простіший при перетворенні його на двійковий простий код. Для утворення комбінації коду Грея практично досить зсунути двійкову комбінацію простого коду на один розряд праворуч, порозрядно додати її за модулем 2 до початкової кодової комбінації без перенесення між розрядами і відкинути молодший розряд здобутої суми.
Таблиця 6. Побудова коду Грея
