Сжатие данных, звука и изображений

Глава 1. Статистические методы

ным образом, однако, по мере сжатия и сбора статистики, кодер улучшает используемый префиксный код, что приводит к улучше­ нию компрессии. Алгоритм должен быть разработан таким обра­ зом, чтобы декодер мог повторить каждый шаг кодера, собрать ту же статистику и улучшить префиксный код в точности тем же спо­ собом. Пример адаптивного сжатия рассмотрен в § 1.5.

1.4. Кодирование Хаффмана

Кодирование Хаффмана является простым алгоритмом для построе­ ния кодов переменной длины, имеюп];их минимальную среднюю дли­ ну. Этот весьма популярный алгоритм служит основой многих ком­ пьютерных программ сжатия текстовой и графической информа­ ции. Некоторые из них используют непосредственно алгоритм Хаф­ фмана, а другие берут его в качестве одной из ступеней многоуров­ невого процесса сжатия. Метод Хаффмана [Huffman 52] произво­ дит идеальное сжатие (то есть, сжимает данные до их энтропии), если вероятности символов точно равны отрицательным степеням числа 2. Алгоритм начинает строить кодовое дерево снизу вверх, затем скользит вниз по дереву, чтобы построить каждый индиви­ дуальный код справа налево (от самого младшего бита к самому старшему). Начиная с работ Д.Хаффмана 1952 года, этот алгоритм являлся предметом многих исследований. (Последнее утверждение из § 3.8.1 показывает, что наилучший код переменной длины можно иногда получить без этого алгоритма.)

Алгоритм начинается составлением списка символов алфавита в порядке убывания их вероятностей. Затем от корня строится дере­ во, листьями которого служат эти символы. Это делается по шагам, причем на каждом шаге выбираются два символа с наименьшими вероятностями, добавляются наверх частичного дерева, удаляются из списка и заменяются вспомогательным символом, представляю­ щим эти два символа. Вспомогательному символу приписывается вероятность, равная сумме вероятностей, выбранных на этом ша­ ге символов. Когда список сокращается до одного вспомогатель­ ного символа, представляющего весь алфавит, дерево объявляется построенным. Завершается алгоритм спуском по дереву и построе­ нием кодов всех символов.

Jlymie всего проиллюстрировать этот алгоритм на простом примере. Имеется пять символов с вероятностями, заданными на рис. 1.3а.

1.4- Кодирование Хаффмана

Символы объединяются в пары в следующем порядке:

1. а4 объединяется с аз, и оба заменяются комбинированным сим­ волом а45 с вероятностью 0.2; 2. осталось четыре символа, а\ с вероятностью 0.4, а также 02, «з

и 045 с вероятностями по 0.2. Произвольно выбираем «з и «45, объ­ единяем их и заменяем вспомогательным символом аз45 ^^ вероятно­ стью 0.4;

3. теперь имеется три символа ai, 02 и аз45 с вероятностями 0.4, 0.2 и 0.4, соответственно. Выбираем и объединяем символы «2 и аз45 во вспомогательный символ 02345 с вероятностью 0.6; 4. наконец, объединяем два оставшихся символа а\ и а2345 и заме­ няем на а12345 с вероятностью 1.

Дерево построено. Оно изображено на рис. 1.3а, «лежа на боку», с корнем справа и пятью листьями слева. Для назначения кодов мы про­ извольно приписываем бит 1 верхней ветке и бит О нижней ветке дерева для каждой пары. В результате получаем следующие коды: О, 10,

Средняя длина этого кода равна 0.4 х 1 + 0.2x24-0.2x34-0.1x44- 4-0.1 X 4 = 2.2 бит/символ. Очень важно то, что кодов Хаффмана бывает много. Некоторые шаги алгоритма выбирались произволь­ ным образом, поскольку было больше символов с минимальной ве­ роятностью. На рис. 1.3b показано, как можно объединить символы по-другому и получить иной код Хаффмана (11, 01, 00, 101 и 100). Средняя длина равна 0.4 х 2 + 0.2 х 2 4- 0.2 х 2 + 0.1 х 3 4- 0.1 х 3 = 2.2 бит/символ как и у предыдущего кода.

1.4- Кодирование Хаффмаиа

няется Ё любом учебнике по статистике). Дисперсия кода 1.3а равна

0.4(1-2.2)2+0.2(2-2.2)2+0.2(3-2.2)2+0.1(4-2.2)2+0.1(4-2.2)2 = 1.36,

а для кода 1.3b

0.4(2-2.2)2+0.2(2-2.2)2+0.2(2-2.2)2+0.1(3-2.2)2+0.1(3-2.2)2 = 0.16.

Код 1.3b является более предпочтительным (это будет объяснено ниже). Внимательный взгляд на деревья показывает, как выбрать одно, нужное нам. На дереве рис. 1.3а символ «45 сливается с симво­ лом аз, в то время как на рис. 1.3b он сливается с ai. Правило будет такое: когда на дереве имеется более двух узлов с наименьшей веро­ ятностью, следует объединять символы с наибольшей и наименьшей вероятностью; это сокрап];ает общую дисперсию кода.

Если кодер просто записывает сжатый файл на диск, то диспер­ сия кода не имеет значения. Коды Хаффмана с малой дисперсией бо­ лее предпочтительны только в случае, если кодер будет передавать этот сжатый файл по линиям связи. В этом случае, код с большой дисперсией заставляет кодер генерировать биты с переменной ско­ ростью. Обычно данные передаются по каналам связи с постоянной скоростью, поэтому кодер будет использовать буфер. Биты сжато­ го файла помепцаются в буфер по мере их генерации и подаются в канал с постоянной скоростью для передачи. Легко видеть, что код с нулевой дисперсией будет подаваться в буфер с постоянной скоро­ стью, поэтому понадобится короткий буфер, а большая дисперсия кода потребует использование длинного буфера.

Следующее утверждение можно иногда найти в литературе по

смотря на справедливость этого утверждения во многих примерах, в общем случае оно не верно. Я весьма признателен Гаю Блелоку, который указал мне на это обстоятельство и сообщил пример кода, приведенного в табл. 1.5. Во второй строке этой таблицы стоит сим­

Табл. 1.5. Пример кода Хаффмана.

Глава 1. Статистические методы

Длина кода символа a«, конечно, зависит от его вероятности Pj. Однако она также неявно зависит от размера алфавита. В боль­ шом алфавите вероятности символов малы, поэтому коды Хаффмана имеют большую длину. В маленьком алфавите наблюдается обратная картина. Интуитивно это понятно, поскольку ^\ля малого алфавита требуется всего несколько кодов, поэтому все они корот­ ки, а большому алфавиту необходимо много кодов и некоторые из них должны быть длинными.

Рис. 1.6. Код Хаффмана для английского алфавита.

На рис. 1.6 показан код Хаффмана для всех 26 букв английского алфавита.

Случай алфавита, в котором символы равновероятны, особенно интересен. На рис. 1.7 приведены коды Хаффмана для алфавита с

L4' Кодирование Хаффмана

5, 6, 7 и 8 равновероятными символами. Если размер алфавита п является степенью 2, то получаются просто коды фиксированной длины. В других случаях коды весьма близки к кодам с фиксиро­ ванной длиной. Это означает, что использование кодов переменной длины не дает никаких преимуществ. В табл. 1.8 приведены коды, их средние длины и дисперсии.

Рис. 1.7. Коды Хаффмана с равными вероятностями.

Тот факт, что данные с равновероятными символами не сжима­ ются методом Хаффмана может означать, что строки таких симво­ лов являются совершенно случайными. Однако, есть примеры строк, в которых все символы равновероятны, но не являются случайны­ ми, и их можно сжимать. Хорошим примером является последо-

Глава 1. Статистические методы

вательность aia\... «102^2 • • • «г^^з^з •.., в которой каждый символ встречается длинными сериями. Такую строку можно сжать мето­ дом RLE, но не методом Хаффмана. (Буквосочетание RLE означает «run-length encoding», т.е. «кодирование длин серий». Этот простой метод сам по себе мало эффективен, но его можно использовать в алгоритмах сжатия со многими этапами, см. [Salomon, 2000].)

Табл. 1»8. Коды Хаффмана для 5-8 символов.

Заметим, что метод Хаффмана не работает в случае двухсимвольного алфавита. В таком алфавите одному символу придется присвоить код О, а другому - 1. Метод Хаффмана не может присво­ ить одному символу код короче одного бита. Если исходные данные (источник) состоят из индивидуальных битов, как в случае двух­ уровневого (монохромного) изображения, то возможно представле­ ние нескольких бит (4 или 8) в виде одного символа нового недво­ ичного алфавита (из 16 или 256 символов). Проблема при таком подходе заключается в том, что исходные битовые данные могли иметь определенные статистические корреляционные свойства, ко­ торые могли быть утеряны при объединении битов в символы. При сканировании монохромного рисунка или диаграммы по строкам пикселы будут чаще встречаться длинными последовательностями одного цвета, а не быстрым чередованием черных и белых. В итоге получится файл, начинающийся с 1 или О (с вероятностью 1/2). За нулем с большой вероятностью следует нуль, а за единицей - едини­ ца. На рис. 1.9 изображен конечный автомат, иллюстрирующий эту ситуацию. Если биты объединять в группы, скажем, по 8 разрядов, то биты внутри группы будут коррелированы, но сами группы не бу­ дут иметь корреляцию с исходными пикселами. Если входной файл содержит, например, две соседние группы 00011100 и 00001110, то они будут кодироваться независимо, игнорируя корреляцию послед­ них нулей первой группы и начальных нулей второй. Выбор длин­ ных групп улучшает положение, но увеличивает число возможных групп, что влечет за собой увеличение памяти р^ля хранения табли­ цы кодов и удлиняет время создания этой таблицы. (Напомним, что

1.4- Кодирование Хаффмана 37J

если группа длины s увеличивается до длины 5 + п, то число групп растет экспоненциально с 2* до 2*"^".)

Start ( S

0 , 6 7 ^ - ^ 0'40% ^ - ^ 1,60% Рис. 1.9. Конечный автомат.

Более сложный подход к сжатию изображений с помощью ко­ дов Хаффмана основан на создании нескольких полных множеств кодов Хаффмана. Например, если длина группы равна 8 бит, то порождается несколько семейств кодов размера 256. Когда необхо­ димо закодировать символ S^ выбирается одно семейство кодов, и S кодируется из этого семейства.

Давид Хаффман (1925-1999)

Давид начал свою научную карьеру студентом в Массачусетском техноло­ гическом институте (MIT), где построил свои коды в начале пятидесятых годов прошлого века.

Он поступил на факультет MIX в 1953 году. В 1967 году Хаффман перешел в университет Сайта Круз на факультет компьютерных наук. Он играл заметную роль в развитии академической программы факультета и в подборе преподава­ телей, возглавляя его с 1970 по 1973 года. Выйдя на пенсию в 1994 году, Давид Хаффман продолжил свою научную деятельность в качестве заслуженного про­ фессора в отставке, читая курсы по теории информации и по анализу сигналов. Он умер в 1999 году в возрасте 74 лет.

Хаффман сделал важный вклад во многих областях науки, включая теорию информации и теорию кодирования. Он много занимался прикладными задача­ ми, например, проектированием сигналов для радаров, разработкой процедур для асинхронных цепей и другими коммуникационными проблемами. Побочным результатом его работы по математическим свойствам поверхностей «нулевой кривизны» стало развитие им оригинальной техники свертывания из бумаги не­ обычных скульптурных форм [Grafica 96].

Пример: Представим себе изображение из 8-и битовых пиксе­ лов, в котором половина пикселов равна 127, а другая половина име­ ет значение 128. Проанализируем эффективность метода RLE для индивидуальных битовых областей по сравнению с кодированием Хаффмана.

Глава 1. Статистические методы

(Анализ.) Двоичная запись 127 равна 01111111, а 128 - 10000000. Половина пикселов поверхности будет нулем, а вторая половина - единицей. В самом плохом случае область будет походить на шах­ матную доску, то есть, иметь много серий длины 1. В этом случае каждая серия требует кода в 1 бит, что ведет к одному кодовому биту на пиксел на область, или 8 кодовых битов на пиксел для всего изображения. Это приводит к полному отсутствию сжатия. А ко­ ду Хаффмана для такого изображения понадобится всего два кода (поскольку имеется всего два разных пиксела), и они могут быть длины 1. Это приводит к одному кодовому биту на пиксел, то есть к восьмикратному сжатию.

1,4'1» Декодирование Хаффмана

Перед тем как начать сжатие потока данных, компрессор (кодер) должен построить коды. Это делается с помощью вероятностей (или частот появления) символов. Вероятности и частоты следует запи­ сать в сжатый файл для того, чтобы декомпрессор (декодер) Хаф­ фмана мог сделать декомпрессию данных (см. различные подходы ⧧1.3и1.5). Это легко сделать, так как частоты являются целыми числами, а вероятности также представимы целыми числами. Обыч­ но это приводит к добавлению нескольких сотен байтов в сжатый файл. Можно, конечно, записать в сжатый файл сами коды, однако это вносит дополнительные трудности, поскольку коды имеют раз­ ные длины. Еще можно записывать в файл само дерево Хаффмана, но это потребует большего объема, чем простая запись частот.

В любом случае, декодер должен прочесть начало файла и по­ строить дерево Хаффмана для алфавита. Только после этого он мо­ жет читать и декодировать весь файл. Алгоритм декодирования очень прост. Следует начать с корня и прочитать первый бит сжа­ того файла. Если это нуль, следует двигаться по нижней ветке де­ рева; если это единица, то двигаться надо по верхней ветке дерева. Далее читается второй бит и происходит движение по следующей ветке по направлению к листьям. Когда декодер достигнет листа дерева, он узнает код первого несжатого символа (обычно это сим­ вол ASCII). Процедура повторяется д^ля следующего бита, начиная опять из корня дерева.

Описанная процедура проиллюстрирована на рис. 1.10 для алфа­ вита из 5 символов. Входная строка «a4«2«5^i» кодируется последо­ вательностью 1001100111. Декодер начинает с корня, читает первый бит «1» и идет вверх. Второй бит «О» направляет его вниз. То же са­ мое делает третий бит. Это приводит декодер к листу ^4- Получен