9. Які коди називаються префіксними? Що таке вектор Крафта? Як записується нерівність Крафта? у чому полягає умова оптимальності префіксних кодів?

Найбільш поширені нерівномірні коди, що однозначно декодуються. Для цього необхідно, щоб всім символам алфавіту відповідали листя кодового дерева (рис. 2.4), причому жодна кодова комбінація не повинна бути початком (префіксом) іншої, більш довгої, - це префіксні коди.

Якщо S={w₁, w₂, …, w_k} – префіксна множина, то можна визначити вектор (S)=(L₁, L₂, …, L_k), що складається із значень довжин відповідних префіксних послідовностей у неспадному порядку. Цей вектор називається вектором Крафта.

нерівність Крафта:

.

Оптимальним є префіксний код, для якого добуток LF мінімальний: LF min.

L(X)=LF=L₁F₁+ L₂F₂+…+ L_kF_k. (2.2)

10. Як визначаються вага і відстаньХеммінга для двійковихпослідовностей? ЩотакемінімальнакодовавідстаньХеммінгалінійногоблокового коду? Як вона визначається?

Нехайu=(u₁, u₂, …, u_n) - двійковапослідовністьзавдовжкиn.

Число одиниць в ційпослідовностіназиваєтьсявагою Хеммінгадвійкового вектора u і позначаєтьсяw(u).Наприклад: u=(1001011), тодіw(u)=4.Нехай uіv - двійкові слова завдовжкиn.

Число розрядів, в яких ці слова відрізняються, називається відстанню Хеммінга між u і v іпозначається d(u, v).Наприклад: u=(1001011), v=(0100011), тоді d(u, v)=3. Визначив лінійний блоковий код, тобто задав всі його 2^k кодових слів, можна знайти відстані між всіма можливими парами кодових слів, мінімальна з них називається мінімальною кодовою відстаннюХеммінгаd_min. Для виявлення кодом помилок кратності не більше l необхідно і достатньо, щоб мінімальна відстань між його словами була l+1:d_min≥ l+1. Для виправлення кодом помилок кратності не більше l необхідно і достатньо, щоб мінімальна відстань між його словами була 2l+1:d_min≥ 2l+1.

11.У чомуполягає алгоритм побудовиоптимального коду Шеннона-Фано?

 Кодування за методом Шеннона - Фано здійснюється наступним чином:  1. Безліч символів, з яких формуються повідомлення, записуються в порядку убування їх апріорних ймовірностей.  2. Подальше побудова коду проводиться методом послідовного ділення навпіл. Символи повідомлення розбиваються на дві групи з приблизно рівними ймовірностями (оскільки за відсутності статистичного зв'язку між символами швидкість передачі максимальна за умови рівної ймовірності передачі символів). Якщо рівної ймовірності в підгрупах досягти не можна, то бажано щоб сумарна ймовірність нижньої підгрупи була більше верхньої.  3. Всім символам верхньої групи приписується кодовий символ 1, а символам нижньої - 0. Можна, навпаки, тому що для кодової реалізації байдуже 0 або 1, але з точки зору потужності, краще, якщо в кодової комбінації менше одиниць.  4. Потім кожна підгрупа аналогічним чином розбивається на підгрупи по можливості з однаковими ймовірностями. Розбиття здійснюється до тих пір, поки в кожній підгрупі залишиться по одному символу.  Приклад побудови коду наведено в таблиці 1.  Таблиця 1 

a i	p i	Розбиття	Кодова комбінація	Довжина
a 1  a 2  a 3  a 4	1 / 2  1 / 4  1 / 8  1 / 8	} 1  0} 1  0} 1  } 0	1  01  001  000	? t  2? T  3? T  3? T

Побудований код є префіксним.