26. У чому полягає відмінність блокових і згорткових кодів?

Завадостійкі коди поділяються на два великі класи: блокові і згорткові коди. Визначальна різниця між цими кодами – у відсутності або наявності пам'яті кодера.

Кодер для блокових кодів поділяє неперервну інформаційну послідовність на блоки завдовжки k символів. Кодер каналу перетворює блоки повідомлення X у більш довгі послідовності Y, що складаються з n символів й називаються кодовими словами. r=n-k символів, що додаються кодером до кожного блоку повідомлення, називають надлишковими, або перевірними, або контрольними. Вони не несуть додаткової інформації, їх функції полягають у забезпеченні можливостей виявлення й виправлення помилок, спричинених наявністю завад у каналі зв'язку.

k-розрядним двійковим словам можна поставити у відповідність 2^k різних значень з алфавіту джерела, яким відповідатиме 2^k кодових слів на виході кодера. Така множина 2^k кодових слів називається блоковим кодом. Термін «без пам'яті» означає, що кожний блок з n символів залежить лише від відповідного k-символьного інформаційного блоку і не залежить від інших блоків повідомлення.

Кодер для згорткових кодів опрацьовує інформаційні послідовності без розбиття їх на незалежні блоки. У кожний момент часу кодер перетворює невелику послідовність з k інформаційних символів у блок з n кодових символів, де n>k. При цьому кодовий n-символьний блок залежить не тільки від k-символьного інформаційного блоку, наявного на вході у поточний момент часу, але і від попередніх m блоків повідомлення. У цьому і полягає наявність пам'яті кодера.

Блокові коди доцільно використовувати у тих випадках, якщо первинні дані згруповані у блоки або масиви.

Згорткові коди найчастіше використовуються для передачі по радіоканалах і краще підходять для побітової передачі даних. Крім того, при однаковій надмірності згорткові коди, як правило, мають кращу виправну здатність.

Однією з умов практичної реалізації блокового завадостійкого коду є умова його лінійності.

Визначення. Блоковий код завдовжки n символів, що складається з 2^k кодових слів, називається лінійним (k, n)-кодом за умови, що усі його 2^k кодових слів утворюють k-вимірний підпростір векторного простору n-послідовностей двійкового поля GF(2). Іншими словами, двійковий код є лінійним, якщо порозрядна сума за модулем 2 (mod 2) двох кодових слів також є кодовим словом даного коду.

Бажаною якістю лінійних блокових кодів є систематичність. Систематичний код має інформаційну частину з k символів і надмірну (перевірну) частину з n-k символів постійної довжини.

27. У чому полягає метод блокування повідомлень? Як будується блоковий код Хаффмена?

Метод блокування повідомлень полягає в такому.

За заданим>0 можемо знайти таке k, що якщо розбити повідомлення на блоки завдовжки k (всього буде n/k блоків), то, використовуючи оптимальне статистичне кодування таких блоків, що розглядаються як одиниці повідомлень, можна досягти середньої довжини коду більше ентропії менш ніж на .

Припустимо, що X₁, X₂, …, X_n– незалежні д. в. в., що мають однаковий розподіл ймовірностей. Тоді ентропія n-вимірної д. в. в.