1 / Salmon_sjatie_dannyh_izobrajeniy_i_zvuka[torrents.ru]

1.5. Адаптивные коды Хаффмана

ные два раза. В первый раз, чтобы вычислить частоты, а во второй раз, чтобы сделать сжатие. В промежутке компрессор строит дере­ во Хаффмана. Такой метод называется полуадаптивным (см. § 1.3), и он работает медленно для практического использования. На прак­ тике применяется метод адаптивного (или динамического) кодиро­ вания Хаффмана. Этот метод лежит в основе программы compact операционной системы UNIX.

А0.55

в0.25

0.45-

С 0.15

0 . 2 ^

D0.03-

0.05

Е 0.02

(а)

(Ь)

Рис, 1ЛЗ. Деревья для кодов Хаффмана.

Более подробно про адаптивный метод, излагаемый ниже, мож­ но прочитать в [Lelewer, Hirschberg 87], [Knuth 85] и [Vitter 87].

Основная идея заключается в том, что и компрессор, и деком­ прессор начинают с пустого дерева Хаффмана, а потом модифи­ цирует его по мере чтения и обработки символов (в случае ком­ прессора обработка означает сжатие, а для декомпрессора - деком­ прессию). И компрессор и декомпрессор должны модифицировать дерево совершенно одинаково, чтобы все время использовать один и тот же код, который может изменяться по ходу процесса. Будем говорить, что компрессор и декомпрессор синхронизованы, если их

Глава 1. Статистические методы

работа жестко согласована (хотя и не обязательно выполняется в одно и то же время). Слово зеркально, возможно, лучше обозначает суть их работы. Декодер зеркально повторяет операции кодера.

В начале кодер строит пустое дерева Хаффмана. Никакому сим­ волу код еще не присвоен. Первый входной символ просто записы­ вается в выходной файл в несжатой форме. Затем этот символ по­ мещается на дерево и ему присваивается код. Если он встретится в следующий раз, его текущий код будет записан в файл, а его ча­ стота будет увеличена на единицу. Поскольку эта операция моди­ фицировала дерево, его надо проверить, является ли оно деревом Хаффмана (дающее наилучшие коды). Если нет, то это влечет за собой перестройку дерева и перемену кодов (§ 1.5.2).

Декомпрессор зеркально повторяет это действие. Когда он чи­ тает несжатый символ, он добавляет его на дерево и присваивает ему код. Когда он читает сжатый код (переменной длины), он ис­ пользует текущее дерево, чтобы определить, какой символ отвечает данному коду, после чего модифицирует дерево тем же образом, что и кодер.

000

Рис. 1.14, Коды ecs.

Однако, имеется одно тонкое место. Декодер должен знать явля­ ется ли данный образчик просто несжатым символом (обычно, это 8-битный код ASCn, однако, см. § 1.5.1) или же это код перемен­ ной длины. Для преодоления двусмысленности, каждому несжатому символу будет предшествовать специальный esc (escape) код пере­ менной длины. Когда декомпрессор читает этот код, он точно зна­ ет, что за ним следуют 8 бит кода ASCII, который впервые появился на входе.

Беспокойство вызывает то, что esc код не должен быть пере­ менным кодом, используемым для символов алфавита. Поскольку это коды все время претерпевают изменения, то и код для esc сле­ дует также модифицировать. Естественный путь - это добавить к

Глава 1. Статистические методы

0 том, как это делается. Дерево на рис. 1.15а содержит пять симво­ лов А, В, С, D и Е. Для всех символов указаны их текущие частоты (в круглых скобках). Свойство Хаффмана означает, что при изу­ чении дерева по всем уровням слева направо и снизу вверх (от ли­ стьев к корню) частоты будут упорядочены по возрастанию (неубы­ ванию). Таким образом, нижний левый узел (А) имеет наименьшую частоту, а верхний правый (корень) имеет наибольшую частоту. Это свойство принято называть свойством соперничества.

Причина этого свойства заключается в том, что символы с боль­ шими частотами должны иметь более короткие коды и, следователь­ но, находиться на дереве на более высоком уровне. Требование для частот быть упорядоченными на одном уровне устанавливается для определенности. В принципе, без него можно обойтись, но оно упро­ щает процесс построения дерева.

Приведем последовательность операций при модификации де­ рева. Цикл начинается в текущем узле (соответствующем новому входному символу). Этот узел будет листом, который мы обозна­ чим X, а его частота пусть будет F. На каждой следующей итерации цикла требуется сделать три действия:

1. сравнить X с его ближайшими соседями на дереве (справа и свер­ ху). Если непосредственный сосед имеет частоту F + 1 или выше, то узлы остаются упорядоченными и ничего делать не надо. В против­ ном случае, некоторый сосед имеет такую же или меньшую частоту, чем X. В этом случае следует поменять местами X и последний узел в этой группе (за исключением того, что X не надо менять с его родителем);

2.увеличить частоту X с F до F-\-l. Увеличить на единицу частоту всех его родителей;

3.если X является корнем, то цикл останавливается; в противном случае он повторяется для узла, являющегося родителем X.

На рис. 1.15Ь показано дерево после увеличения частоты узла А с 1 до 2. Легко проследить, как описанные выше три действия влияют на увеличение частоты всех предков А. Места узлов не меняются в этом простом случае, так как частота узла А не превысила частоту его ближайшего соседа справа В.

На рис. 1.15с показано, что произойдет при следующем увеличе­ нии частоты А с 2 до 3. Три узла, следующие за А, а именно. В, С и D, имели частоту 2, поэтому А переставлен с D. После чего ча­ стоты всех предков А увеличены на 1, и каждый сравнен со своими соседями, но больше на дереве никого переставлять не надо.

1.5. Адаптивные коды Хаффмана

Рис . 1.15. Обновление дерева Хаффмана.

Рис. 1.15d изображает дерево после увеличения частоты А до 4. По­ скольку узел А является текущим, его частота (равная пока еще 3) сравнивается с частотой соседа сверху (4), и дерево не меняется. Частота А увеличивается на единицу вместе с частотами всех по­ томков.

На рис. 1.15е узел А опять является текущим. Его частота (4) равна частоте соседа сверху, поэтому их следует поменять местами.

Глава 1. Статистические методы

Это сделано на рис. 1.15f, где частота А уже равна 5. Следующий шаг проверяет родителя А с частотой 10. Его следует переставить с его соседом справа Е, у которого частота 9. В итоге получается конечное дерево, изображенное на рис. 1.15g.

Тот, кто хочет. отведат,ь плод, долоюен влезт.ь на дерево.

— Томас Фуллер

1.5.3. Переполнение счетчика

Счетчики частот символов сохраняются на дереве в виде чисел с фиксированной разрядностью. Поля разрядов могут переполнить­ ся. Число без знака из 16 двоичных разрядов может накапливать счетчик до числа 2^^ — 1 = 65535. Простейшее решение этой пробле­ мы заключается в наблюдении за ростом счетчика в корне дерева, и, когда он достигает максимального значения, следует сделать из­ менение масштаба всех счетчиков путем их целочисленного деления на 2. На практике это обычно делается делением счетчиков листьев с последующим вычислением счетчиков всех внутренних узлов дере­ ва. Каждый внутренний узел равен сумме своих потомков. Однако при таком методе целочисленного деления понижается точность вы­ числений, что может привести к нарушению свойства соперничества узлов дерева.

Простейший пример приведен на рис. 1.15h. После уполовинивания счетчиков листьев, три внутренних узла пересчитаны, как по­ казано на рис. 1.151. Полученное дерево, однако, не удовлетворяет свойству Хаффмана, поскольку счетчики перестали быть упорядо­ ченными. Поэтому после каждой смены масштаба требуется пере­ стройка дерева, которая, по счастью, будет делаться не слишком часто. Поэтому компьютерные программы общего назначения, ис­ пользующие метод сжатия Хаффмана должны иметь многоразряд­ ные счетчики, чтобы их переполнение случалось не слишком часто. Счетчики разрядности в 4 байта будут переполняться при значении равном 2^2 - 1 « 4.3 х 10^.

Стоит отметить, что после смены масштаба счетчиков, новые поступившие ^щя сжатия символы будут влиять на счетчики силь­ нее, чем сжатые ранее до смены масштаба (примерно с весом 2). Это не критично, поскольку из опыта известно, что вероятность появления символа сильнее зависит от непосредственно предшеству­ ющих символов, чем от тех, которые поступили в более отдаленном прошлом.

1.5.Адаптивные коды Хаффмана

вобратном порядке. Когда дерево станет высоким, коды тоже удли­ нятся. Если они накапливаются в виде 16-ти разрядного целого, то коды длиннее 16 бит вызовут сбой программы.

(h)Input: u. Output: Oil.

escrfi1 u2 ^1 3 22 S2 4 4 -> escdi Iriu22i25244

Рис. 1.16. Адаптивный код Хаффмана, пример: часть III.

Правильное решение может заключаться в накоплении битов ко­ да в связанном списке, к которому можно добавлять новые узлы. Тогда ограничением будет служить лишь объем доступной памяти. Это общее решение, но медленное. Другое решение состоит в накап­ ливании кода в длинной целой переменной (например из 50 разря­ дов). При этом следует документировать программу ограничением в 50 бит для максимальной длины кодов.