Алгоритм Хаффмана Классический алгоритм Хаффмана

Один из классических алгоритмов, известных с 60-х годов. Использует только частоту появления одинаковых байт в изображении. Сопоставляет символам входного потока, которые встречаются большее число раз, цепочку бит меньшей длины. И, напротив, встречающимся редко — цепочку большей длины. Для сбора статистики требует двух проходов по изображению.

Для начала введем несколько определений.

Определение. Пусть задан алфавитY={a₁, ..., a_r}, состоящий из конечного числа букв. Конечную последовательность символов изY

будем называть словомв алфавитеY, а числоn—длиной словаA. Длина слова обозначается какl(A).

Пусть задан алфавит W,W={b₁, ..., b_q}. ЧерезBобозначим слово в алфавитеWи черезS(W)— множество всех непустых слов в алфавитеW.

Пусть S=S(Y) — множество всех непустых слов в алфавитеY, иS'— некоторое подмножество множестваS. Пусть, также задано отображениеF, которое каждому словуA, AÎS(Y), ставит в соответствие слово

B=F(A), BÎS(W).

Слово Вбудем назватькодом сообщения A, а переход от словаAк его коду —кодированием.

Определение. Рассмотрим соответствие между буквами алфавитаYи некоторыми словами алфавитаW:

a₁ — B₁, a₂ — B₂, . . . a_r — B_r

Это соответствие называют схемойи обозначают черезS. Оно определяет кодирование следующим образом: каждому слову изS'(W)=S(W) ставится в соответствие слово , называемоекодом слова A.СловаB₁ ... B_rназываютсяэлементарными кодами. Данный вид кодирования называюталфавитным кодированием.

Определение. Пусть словоВ имеет вид

B=B'B"

Тогда слово B'называетсяначалом илипрефиксом слова B, аB"—концом слова B. При этом пустое словоLи само словоBсчитаются началами и концами словаB.

Определение. СхемаSобладает свойством префикса, если для любыхi иj (1£i, j£r, i¹j) словоB_i не является префиксом слова B_j.

Теорема 1. Если схема Sобладает свойством префикса, по алфавитное кодирование будет взаимно однозначным.

Предположим, что задан алфавит Y={a₁,...,a_r}(r>1) и набор вероятностейp₁, . . . , p_r появления символовa₁,...,a_r. Пусть, далее, задан алфавитW,W={b₁, ...,b_q}(q>1). Тогда можно построить целый ряд схемSалфавитного кодирования

a₁ — B₁, . . . a_r — B_r

обладающих свойством взаимной однозначности.

Для каждой схемы можно ввести среднюю длину l_ср, определяемую как математической ожидание длины элементарного кода:

— длины слов.

Длина l_ср показывает, во сколько раз увеличивается средняя длина слова при кодировании со схемойS.

Можно показать, что l_срдостигает величины своего минимумаl_*на некоторойS и определена как

Определение. Коды, определяемые схемойSсl_ср=l_*, называютсякодами с минимальной избыточностью, или кодами Хаффмана.

Коды с минимальной избыточностью дают в среднем минимальное увеличение длин слов при соответствующем кодировании.

В нашем случае, алфавит Y={a₁,...,a_r}задает символы входного потока, а алфавитW={0,1}, т.е. состоит всего из нуля и единицы.

Алгоритм построения схемы Sможно представить следующим образом:

Шаг 1.Упорядочиваем все буквы входного алфавита в порядке убывания вероятности. Считаем все соответствующие словаB_i, из алфавитаW={0,1} пустыми.

Шаг 2.Объединяем два символаa_ir-1и a_irс наименьшими вероятностямиp_{i r-1}и p_{i r}в псевдосимвол a'{a_ir-1 a_ir} c вероятностьюp_ir-1+p_ir. Дописываем 0 в начало словаB_ir-1(B_ir-1=0B_ir-1), и 1 в начало слова иB_ir(B_ir=1B_ir).

Шаг 3.Удаляем из списка упорядоченных символовa_ir-1и a_ir, заносим туда псевдосимвол a'{a_ir-1a_ir}. Проводим шаг 2, добавляя при необходимости 1 или ноль для всех словB_i, соответствующих псевдосимволам, до тех пор, пока в списке не останется 1 псевдосимвол.

Пример:Пусть у нас есть 4 буквы в алфавитеY={a₁,...,a₄}(r=4),p₁=0.5, p₂=0.24, p₃=0.15, p₄=0.11 . Тогда процесс построения схемы можно представить так:

Производя действия, соответствующие 2-му шагу мы получаем псевдосимвол с вероятностью 0.26 (и приписываем 0 и 1 соответствующим словам). Повторяя же эти действия для измененного списка, мы получаем псевдосимвол с вероятностью 0.5. И, наконец, на последнем этапе мы получаем суммарную вероятность 1.

Для того, чтобы восстановить кодирующие слова, нам надо пройти по стрелкам от начальных символов к концу получившегося бинарного дерева. Так, для символа с вероятностью p₄, получимB₄=101, дляp₃получимB₃=100, дляp₂получимB₂=11, дляp₁получимB₁=0.Что означает схему:

a₁ — 0, a₂ —11a₃ —100 a₄ — 101

Эта схема представляет собой префиксный код, являющийся кодом Хаффмана. Самый часто встречающийся в потоке символ a₁мы будем кодировать самым коротким словом 0, а самый редко встречающийсяa₄длинным словом 101.

Для последовательности из 100 символов, в которой символ a₁встретится 50 раз, символa₂— 24 раза, символa₃— 15 раз, а символa₄— 11 раз, данный код позволит получить последовательность из 176 бит (). Т.е. в среднем мы потратим 1.76 бита на символ потока.

Доказательства теоремы, а также того, что построенная схема действительно задает код Хаффмана смотри в [10].

Как стало понятно из изложенного выше, классический алгоритм Хаффмана требует записи в файл таблицы соответствия кодируемых символов и кодирующих цепочек.

На практике используются его разновидности. Так, в некоторых случаях резонно либо использовать постоянную таблицу, либо строить ее “адаптивно”, т.е. в процессе архивации/раз­архи­вации. Эти приемы избавляют нас от двух проходов по изображению и необходимости хранения таблицы вместе с файлом. Кодирование с фиксированной таблицей применяется в качестве последнего этапа архивации в JPEG и в рассмотренном ниже алгоритмеCCITT Group 3.

Характеристики классического алгоритма Хаффмана:

Коэффициенты компрессии: 8, 1,5, 1(Лучший, средний, худший коэффициенты)

Класс изображений:Практически не применяется к изображениям в чистом виде. Обычно используется как один из этапов компрессии в более сложных схемах.

Симметричность:2 (за счет того, что требует двух проходов по массиву сжимаемых данных).

Характерные особенности:Единственный алгоритм, который не увеличивает размера исходных данных в худшем случае (если не считать необходимости хранить таблицу перекодировки вместе с файлом).