Блочное кодирование

Пусть первичный алфавит содержит 2-е буквы: а и б. p(A) = 0.7; p(B) = 0.3

H = - 0.7*log 0.7 – 0.3 log 0.3 = 0.881 бит/символ

Составим новый алфавит из 2-х буквенных комбинаций

АА	0.49	1
АВ	0.21	0	1
ВА	0.21	0	0	1
ВВ	0.09	0	0	0

L_ср = 1 * 0.49 + 2 * 0.21 + 3 * 0.21 + 4 * 0.09 = 1.81 бит

На одну букву

бит < 1 l_ср > H 3%

Пример: Составим алфавит из трёх буквенных комбинаций.

Буква	Вероят.	1	2	3	4
ААА	0.343	1	1
ААВ	0.147	1	0
АВА	0.147	0	1	1
ВАА	0.147	0	1	0
АВВ	0.063	0	0	1	1
ВАВ	0.063	0	0	1	0
ВВА	0.063	0	0	0	1
ВВВ	0.027	0	0	0	0

l_ср = 2.686 бит

.895 бит - это больше 1,5% и H, следовательно, можно делить по четыре группы.

Избыточность от округления

Пример: Кодируются цифры от 0 до 10. Чтобы их представить в виде двоичных, надо

2³<10<2⁴

4 бита

1 Символ – 4 бита

Кодируем блоки по 2 цифры

00

01

…

99

Для передачи информации с помощью двоичной системы 2⁶<99<2⁷

7 бит

На 1 символ: 7/ 2 = 3,5 бита

Кодируются блоки по 3 цифры

000

2¹⁰ = 1024, 10 бит информации, следовательно, на один символ: 10/3 = 3,3 бита

001

…

999

Подсчитаем энтропию

Н = log n = log 10 = 3,32 бит

Чтобы определить избыточность, вызванную округлением, воспользуемся:

где m₁ – число символов первичного алфавита;

m₂ – число символов вторичного алфавита;

L – длина кодовой комбинации.

,

Пример: Передается алфавит из 5 символов: 1, 2, 3, 4, 5, следовательно, m₁=5 с помощью двоичных символов 0,1 , следовательно, m₂=2.

Для передачи сообщения потребуется:

D₀ – избыточность от округления

- коэффициент;

К – большее целое число.

Пример:

Пример: Определить избыточность сообщений от округления при побуквенном и поблочном кодировании, если кодируются цифровые сообщения и передаются в двоичном коде. Кодирование осуществляется блоками по 4, 5, 6 цифр.

Первичный алфавит m₁=10

Вторичный алфавит m₂ = 2

Первичный алфавит из 2-х букв m₁=10000 m₂=2

Первичный алфавит из блоков по пять m₁=100000

Кодируются символы по шесть букв m₁=10⁶

, следовательно, этот алфавит наиболее близок к оптимальному.

Код Хафмана

Относят к группе неравномерных кодов. С помощью кодов Хафмана получают сообщения, в которых содержатся наименьшее среднее число символов на букву, т.е. это оптимизирующие коды.

Методика построения кодов следующая:

Пусть есть алфавит А, содержащий буквы а₁, а₂, …, а_n, вероятности появления которых р₁, р₂,…, р_n. Буквы алфавита располагаем в порядке убывания их вероятностей .Берем две последние буквы и объединяем их в одну букву b. Получаем новый алфавит А₁

а₁, а₂, …, а_n-2 b

p₁, р₂,…, р_n-2 p_n-1 + p_n

Алфавит А₁ называют сжатым, полученным из алфавита А путем однократного сжатия.

Буквы алфавита А₁ располагаем в порядке убывания их вероятностей. Затем проводим процедуру сжатия, получаем алфавит А₂. Продолжаем процедуру сжатия до тех пор, пока у нас не останется 2 буквы.

Буква а1 а2 а3 а4 а5 а6	А Вероятность 0,4 0 0,2 10 0,2 111 0,1 1101 0,05 11001 0,05 11000	Сжатые алфавиты
		А1 0,4 0 0,2 10 0,2 111 0,1 1101 0,1 1100	А2 0,4 0 0,2 10 0,2 111 0,2 110	А3 0,4 0 0,4 11 0,2 10	А4 0,6 (1) 0,4 (0)