2.1. Побудова оптимального нерівномірного коду Шеннона-Фано

Основний принцип оптимального кодування полягає в тому, що повідомленням, що мають більшу ймовірність, привласнюють більш короткі коди, тобто утворяться кодові слова різної довжини - нерівномірні коди.

Для однозначності кодування й декодування оптимальних нерівномірних кодів необхідно, щоб вони були префіксними, тобто для них повинне виконуватися умова Фано: ніяке кодове слово не є початком іншого кодового слова.

Побудова коду Шеннона–Фано. Бінарний оптимальний нерівномірний код (ОНК) Шеннона-Фано будується ітераційним методом дихотомії в кілька кроків.

Попередній крок. Повідомлення x_i ранжується в порядку убування їхніх ймовірностей p(x_i);

Крок 1. Повідомлення x_i розбивається на дві групи із приблизно рівними сумарними ймовірностями;

Крок 2. Повідомленням 1-ої першої групи привласнюється перший символ кодового слова, дорівнює нулю, а другої групи - символ, рівний одиниці;

Крок 3. Кожну групу знову ділимо на дві рівномірні підгрупи й повідомленням перших підгруп привласнюємо другий символ кодового слова дорівнює нулю, а другим підгрупам - символ, дорівнює одиниці.

Такі розбивки на усе більш дрібні групи проводиться доти, поки в кожній із груп виявиться по одному повідомленню - кодові слова будуть побудовані.

Для заданих повідомлень необхідно побудувати рівномірний і кілька варіантів оптимальних кодів.

Для оцінки ефективності побудованого ОНК необхідно обчислити наступні показники:

1. Відносна ентропія онк µ:

µ=

де H- ентропія ОНК,

H_max= максимальна ентропія, H_max=log N,

N - загальна кількість переданих повідомлень

2. Інформаційна надмірність D, що показує відносне недовантаження на символ коду:

D=

3. Абсолютне недовантаження на символ повідомлень, ΔD

ΔD=(H_max-H), біт/символ.

4. Коефіцієнт статичного стиску К_с, що характеризує зменшення кількості двійкових знаків на символ повідомлення при застосуванні ОНК:

К_с=

5. Коефіцієнт відносної ефективності ОНК К_э, що показує ступінь використання статичної надмірності переданого повідомлення:

К_э=

Завдання 1. Побудувати рівномірний код й ОНК методом Шеннона – Фано для повідомлень а₁, а₂, а₃, а₄, а₅, а₆, а₇, а₈, імовірності появи яких утворять повну групу:

р(а₁)=р(а₂)=0,25; р(а₃)=р(а₄)=0,125; р(а₅)=р(а₆)=р(а₇)=р(а₈)=0,0625.

Побудувати кодове дерево, обчислити всі інформаційні характеристики ОНК, оцінити його ефективність й оптимальність.

Рішення.

1. Перевіряємо ймовірність р(а_i) на повну групу, тобто

2. Ранжуємо імовірності в порядку їхнього убування, записуємо в таблицю й, застосовуючи послідовно метод дихотомії, будуємо кроки розподілу, поки в кожній групі залишиться по одному повідомленню. Становимо варіанти кодів: рівномірний, ОНК й інверсний ОНК. Результати обчислень зводимо в таблицю 2.1

Таблиця 2.1

аi	pi	Рівномірний код	1-й крок	2-й крок	3-й крок	4-й крок	ОНК	li	lpi	H	Інверсний ОНК
a1	0.25	000	I 0	I 0			00	2	0.5	0.5	11
a2	0.25	001		I 1			01	2	0.5	0.5	10
а3	0. 125	010	I 1	I 0	I 0		100	3	0. 375	0. 375	011
а4	0. 125	011			I 1		101	3	0. 375	0. 375	010
а5	0. 0625	100		I 1	I 0	I 0	1100	4	0.25	0.25	0011
а6	0. 0625	101				I 1	1101	4	0.25	0.25	0010
а7	0. 0625	110			I 1	I 0	1110	4	0.25	0.25	0001
а8	0. 0625	111				I 1	1111	4	0.25	0.25	0000
		—					: —	—	lcp=2.75	H=2.75	—

3. Середня довжина ОНК:

Ентропія ОНК : H= біт/символ

Значення -р(а_i)log p(а_i) вибираємо з таблиці ентропії.

Аналогічно будується інверсний ОНК Шеннона-Фано.

4. Будуємо кодові дерева рівномірного коду й ОНК Шеннона-Фано, мал. 2.1 і мал. 2.2

0 1 0 1

Рис. 4.1. Кодове дерево III порядку

рівномірного коду

Рис. 4.2. Кодове дерево IV

порядку ОНК Шеннона-Фано

Побудований ОНК Шеннона-Фано має властивість однозначного декодування, тому що для нього виконується умова Фано й всі кодові слова утворяться з кінцевих вузлів кодового дерева.

5. Обчислюємо показники ефективності ОНК:

H_max=log₂8=3 біт/символ

б) відносна ентропія

µ =

в) інформаційна надмірність

D=

г) абсолютне недовантаження

ΔD=H_max-H=3-2.75=0.25 біт/символ

д) коефіцієнт стиску інформації

K_c=

е) коефіцієнт відносної ефективності

К_э=

побудований ОНК Шеннона-Фано має високі інформаційні характеристики, а К_э=1, отже, цей код є оптимальним і максимально ефективним.

Завдання вирішене.