2.2 Задание №2 Эффективное кодирование методом Хаффмана

Сформировать кодовые комбинации для передачи последовательности знаков алфавита в соответствии со своими ФИО и закодировать полученный алфавит:

а) равномерным кодом (табл. 2);

б) кодом Хаффмана;

в) сделать вывод.

г) Определить энтропию источника сообщений.

Д) Определить среднюю длину кодовой комбинации.

е) Составить кодовую комбинацию при передаче заданной последовательности сообщений Z_i, Z_j, Z_k, Z_l, Z_m, Z_p.

и) Ввести ошибку в N разряд кодовой комбинации табл.4 и записать декодированную последовательность сообщений. Сравните переданную и принятую последовательность сообщений.

Таблица 4. Место ошибки в сообщении.

№ ошибочного разряда		Последняя цифра студенческого билета
		0	1	2	3	4	5	6	7	8	9
N	n		n-1	n-2	n-3	n	n-1	n-2	n-3	n	n-1

2.2.1 Методические рекомендации и пример

Закодировать источник сообщений – это значит сопоставить каждому символу на выходе источника определенную последовательность элементарных символов, например двоичных. Будем называть эту последовательность кодовым словом или кодовой комбинацией.

Код является равномерным, если все кодовые слова имеют одну длину (содержат одинаковое число двоичных символов). В противном случае код называется неравномерным.

Выбор способа кодирования зависит от вероятностей появления символов источника. Если заранее известно, что в большинстве случае результатом измерений будет а₁, то есть Р(а₁)>>P(a₂), P(a₃), P(a₄), то для записи результатов длинной последовательности измерений при неравномерном кодировании потребуется гораздо меньше двоичных символов.

В равномерных кодах не требуется специальных знаков, отделяющих кодовые слова друг от друга. При использовании неравномерных кодов встает задача однозначного декодирования. Неравномерный код является однозначно декодируемым, если ни одно более короткое кодовое слово не является началом другого более длинного кодового слова. Такой код называется префиксным.

Любой код, кодовые слова которого соответствуют различным вершинам дерева, является однозначно декодируемым, то есть префиксным. Если кодовые слова соответствуют некоторым промежуточным узлам, код не обладает свойством префиксности.

Например, существует источник, алфавит которого содержит четыре символа: A={a₁, a₂, a₃, a₄} проводятся измерения, результатом которых может быть одно из четырех событий. Каждый из результатов необходимо представить в двоичной форме записи. Исходя из выше сказанного, можно построить равномерный и неравномерный код, реализация представлена в таблице 5. Обратите внимание, что из таблицы не очевидна эффективность неравномерного кодирования.

Таблица 5. Реализация кодов.

ai	Равномерный	Неравномерный
a1	00	0
a2	01	10
a3	10	110
a4	11	111

В настоящее время в оконечной аппаратуре передачи данных широко используются равномерные двоичные коды:

- EBCDIC;

- ASCII;

- 8-битовый код КОИ-8, кодировка 1251.

Кодирование по методу Хаффмана (неравномерное, эффективное кодирование) нашло широкое применение на практике, например, в факсимильных устройствах и современных протоколах сжатия для передачи данных – MNP5(7), LZW.

В общем случае математиками доказано, что код Хаффмана является самым экономным в том смысле, что никакой другой метод кодирования алфавита не позволяет получить среднее число двоичных символов на один символ алфавита меньше, чем в случае кода Хаффмана.

Построение кода Хаффмана основывается на преобразовании, которое называется сжатием алфавита.

Метод использует то, что современные СПД работают с промежуточным хранением данных, поэтому перед передачей в канал связи есть возможность проанализировать данные и, выявив частоту появления конкретного символа присвоить бинарную комбинацию по принципу: чем чаще встречается символ, тем меньшее количество бит ему присваивается. Проведите параллель с азбукой С. Морзе.

В нашем случае необходимо:

- пересчитать все буквы, встречающиеся в ФИО - Длинношеев Василий Олегович:

а) число букв -25;

б) частота появления букв - Д – 1, Л – 3, И – 4, Н – 2, 0 - 3, Ш – 1, Е – 3, В – 3, А – 1, С – 1, Й – 1, Г – 1, Ч – 1;

в) вычислить вероятность появления каждой буквы, при учёте того что 25 букв это 100%;

- выполнить действия в соответствии с нижеуказанным алгоритмом.

Алгоритм кодирования:

1. Расположить символы исходного алфавита А в порядке убывания вероятности.

2. Два наименее вероятных символа алфавита А будем считать одним символом нового сжатого алфавита А₁.

3. Располагаем символы алфавита А₁ в порядке убывания вероятности. И снова подвергаем его сжатию, как в пункте 2.

4. Повторяем процедуру, пока не придем к алфавиту, содержащему всего два символа.

5. Припишем символам последнего алфавита кодовые обозначения 0 (например - верхнему) и 1 (в нашем примере – нижнему). Это старшие символы будущих кодовых слов.

6. В предпоследнем алфавите кодовые обозначения получаются следующим образом:

- символ, который сохранился в последнем алфавите, имеет то же кодовое обозначение.

- символам, которые слились в последнем алфавите, приписывают справа 0 (в нашем примере – верхнему символу) и 1 (нижнему символу).

7. Повторяем процедуру, последовательно возвращаясь к исходному алфавиту.

Пример

Исходные данные (не соответствуют рассмотренному ФИО): Z₁ = 0,0055; Z₂ = 0,19; Z₃= 0,21; Z₄ = 0,145; Z₅ = 0,120; Z₆ = 0,05; Z₇ = 0,11; Z₈ = 0,12; Z_i, Z_j, Z_k, Z_l, Z_m, Z_p = Z₄, Z₁, Z₄, Z₆, Z₅, Z₅.

Решение:

Кодовое дерево (упрощённое)

1 1 - Z₃ = 0,21 1 0,545

101 – Z₂ = 0,19 1 0,335 0 1 – введ. ошибка 1

100 – Z₄ = 0,145 0 1

011 – Z₅ = 0,120 1 0,24

010 – Z₈ = 0,12 0 1 0,455 0

001 – Z₇ = 0,11 1 0,215 0

0001 –Z₁ = 0,055 1 0 0,105

0000 – Z₆ = 0,05 0

2. Энтропия источника сообщений бит/с:

3. Средняя длина кодовой комбинации бит:

4. Составим кодовую комбинацию при передаче заданной последовательности.

Z₄ Z₁ Z₄ Z₆ Z₅ Z₅

100 0001 100 0000 011 011

5. Введем ошибку в разряд n-1 и покажем введенную ошибку на кодовом дереве

110 000 111 00000011 011

Ошибка появилась еще в одном разряде.