23. Метод Хаффмана побудови оптимального коду.

Метод побудови оптимальної схеми алфавітного кодування. Спочатку здійснюють послідовні стиснення алфавіту А до отримання алфавіту із двох букв, оптимальна схема кодування для якого очевидна: першу букву кодують символом 0, другу – символом 1, після цього використовують послідовні розщеплення отриманої схеми. Очевидно, що отримана схема є префіксною. Описаний метод кодування запропоновано 1532 року американським математиком Хаффманом і названий його ім’ям.

Ґрунтуючись на алгоритмі Хаффмана, можна безпосередньо побудувати кодове дерево оптимального коду. Це дерево називають деревом Хаффмана.

За алгоритмом Хаффмана бінарне дерево, яке відповідає оптимальному коду, будують знизу вверх, починаючи з |А|=r листків, у цьому разі виконують (r-1) злиття. Злиття полягає в побудові нового дерева із двох наявних дерев (або листків) з найменшими ймовірностями. Причому листок або дерево з більшою ймовірністю – ліве піддерево, а сума ймовірностей лівого і правого піддерев дорівнює ймовірності отриманого дерева. (Її записують у корінь). Помішають 0 на ребро до лівого піддерева, а 1 – на ребро до правого піддерева. Список ймовірностей перед кожним злиттям упорядковують за спаданням.

24. Коди, стійкі до перешкод. Загальна теорія.

Розглянемо схему рівномірного кодування σ_k,n іщ параметрами k,n:

…

Де - слова довжини, відповідно, k та n (n>k). Кажуть, що схема σ_k,n визначена кодом .

Нормою ||α|| двійкового вектора α=а₁а₂…а_n називають число, яке дорівнює кількості його одиничних компонент. Отже,

||α||=

Припустимо, що в каналі зв’язку діє джерело адитивних перешкод, яке описують множиною P(n,t). Елементи цієї множини – двійкові вектори-помилки x₁x₂…x_s, у яких норма будь якого фрагмента не більша, ніж t, якщо довжина фрагмента l<=n. Це означає, що якщо на вході каналу зв’язку передано повідомлення α, то на виході може бути отримано будь-яке слово із множини .

Оскільки проблема локалізації інформації (розділення закодованого повідомлення на елементарні коди) у моделі рівномірного кодування тривіальна, то виявлення помилок полягає в знаходженні незбігу локалізованої групи n символів з жодним елементарним кодом. Якщо внаслідок помилки елементарний код перейде в інший елементарний код, то помилку не буде виявлено. Іноді можливе виправлення помилки.

Канал зв’язку називають надійним, якщо будь-які помилки виявляються або виправляються відповідно до заданої мети декодування.

25. Коди, стійкі до перешкод: коди Хемінга.

Р. Хемінг 1950 р. запропонував коди для виявлення й виправлення помилок у разі t=1. Коди Хемінга лінійні та мають найменшу надлишковість, можливу для даного k.

Коди Хемінга для виявлення помилок у каналі зв’язку із джерелом перешкод P(n,1) визначені для будь-якого n:

.

Код - лінійний. Справді, якщо X, Y є , то

Тобто X Y є . За співвідношенням ρ( )=2, тому, будь-яка помилка в каналі з джерелом перешкод P(n,1) виявляється. Як інформаційні розряди для коду можна взяти будь-які n-1 розрядів, оскільки значення в довільному розряді слова однозначно визначається за значеннями в інших розрядах із рівняння . Маємо Як одну з породжувальних матриць можна взяти

Якщо вибрати I={1,2,j,n-1}, то отримаємо відповідну схему рівномірного кодування :

, де . Надлишковість у разі використання становить .

У цьому коді Хемінга найбільш явно використана ідея перевірки на парність. Коди Хемінга для виправлення помилок у каналі зв’язку з джерелом перешкод P(n,1) будують для значень . Код зручно задавати перевірочною матрицею, яка має s рядків та стовпців. Стопцями є всеможливі ненульові двійкові набори довжини s. Їх зручно розташувати так, щоб і-тий зліва стовпчик h_i був двійковим розкладом числа і (старші розряди зверху):

0 0 0 … 1 1

0 0 0 … 1 1

……………… = H( )

0 1 1 … 1 1

1 0 1 … 0 1

Таке розташування стовпців перевірочної матриці зумовлено вибором як контрольних тих розрядів, у яких номери є степенями двійки.