Сжатие данных, звука и изображений

Глава 1. Статистические методы

обозначение относительного адреса элемента). Такое странное сло­ восочетание объясняется тем, что этот алгоритм является модифи­ кацией одномерной схемы, которая, в свою очередь, по-лучена моди­ фикацией оригинального метода Хаффмана. Метод работает, срав­ нивая текущую отсканированную строку, называемую кодируемощ со строкой, отсканированной на предыдущем проходе, которая на­ зывается справочной строкой. При этом будет сжиматься разность этих строк. Алгоритм исходит из логичного предположения, что две соседние строки обычно отличаются всего несколькими пелами. При этом предполагается, что документ начинается строкой белых пелов, которая служит начальной справочной строкой. После коди­ рования первая строка становится справочной, а вторая строка - кодируемой. Как и при одномерном кодировании предполагается, что строка начинается белым пелом, который игнорируется прием­ ником.

Метод двумерного кодирования менее надежен, чем одномер­ ный метод, поскольку ошибка в декодировании некоторой строки вызовет ошибки при декодировании последующих строк, и эта вол­ на ошибок может распространиться до конца по всему документу. Вот почему стандарт Т4 (Group 3) включает требование, что по­ сле строки, закодированной одномерным методом, следует не более К — 1 строк, закодированных двумерной схемой. Для стандартного разрешения К = 2^ а, А^ЛЯ ТОНКОГО К = 4. Стандарт Т6 не содержит этого требования и использует только двумерное кодирование.

Сканирование кодируемой строки и ее сравнение со справоч­ ной строкой делается в трех случаях или модах. Мода определяется при сравнении очередной серии пелов справочной строки [(6162) на рис. 1.21] с текущей серией (aoai), а также со следующей серией (aia2) кодируемой строки. Каждая из этих серий может быть белой или черной. Опишем эти три моды.

1.Проходная мода. Это случай, когда (6162) находится слева от (aia2), а 62 - слева от ai (рис. 1.21а). Эта мода не включает случай, когда ^2 находится над ai. Когда эта мода установлена, то блок (6162) кодируется с помощью кодов табл. 1.22 и передается. Указа­ тель ао устанавливается под 62^ ^ четыре величины 6i, 62, «i и 02 обновляются.

2.Вертикальная мода. В этом случае (6162) частично перекры­ вается с (aia2), но не более чем тремя пелами (рис. 1.21Ь1 и 1.21Ь2). Если предположить, что соседние строки отличаются не сильно, то это будет самый частый случай. При обнаружении этой моды гене­ рируется один из семи кодов (табл. 1.22) и посылается. Производи-

1.6. Факсимильное слсатие 61

тельность двумерной схемы зависит от того, насколько часто имеет место эта мода.

Табл. 1.22. Двумерные коды для метода Group 4.

3. Горизонтальная мода. Серия (&1&2) перекрывается с (ai«2) бо­ лее чем по трем пелам (рис. 1.21с1 и 1.21с2). При обнаружении этой моды серии («0^1) и (01О2) кодируются с помощью табл. 1.22 и пе­ редаются. Указатели обновляются как в случаях 1 и 2.

В начале сканирования указатель ао устанавливается на вообра­ жаемый белый пел слева от кодируемой строки, а указатель ai ука­ зывает на первый черный пел. (Поскольку ао указывает на вообра­ жаемый пел, то длина первой белой серии равна |aoai | —1.) Указатель «2 устанавливается на следующий первый белый пел. Указатели bi и ^2 указывают на начало первой и второй серии справочной строки, соответственно.

LLLLI1111111 LLI111 LLLLLImr

Рис. 1.23. Пример двумерного кодирования.

После идентификации текущей моды и переда^1и кода в соответ­ ствии с табл. 1.22, указатель ао обновляется как показано на блоксхеме, а остальные указатели обновляются в соответствии с новым

Глава 1. Статистические методы

положением а^. Процесс продолжается до тех пор, пока не достигнет конец кодируемой строки. Кодер предполагает дополнительный пел справа от строки, цвет которого противоположен цвету последнего пела.

Расширенный код в табл. 1.22 используется для преждевремен­ ного обрывания процесса кодирования до достижения конца стра­ ницы. Это необходимо сделать, если оставшаяся часть страницы будет передаваться другими кодами или в несжатой форме.

Пример: Рис. 1.23 изображает, какие моды и какие коды соот­ ветствуют двум соседним строкам пелов.

Статистика здравого смысла говорит, что каэюдый аме­ риканец из чет,ырех - сумасшедший. Подумайте о т.роих ваших лучших друзьях: если они ОК, т,о - эт.о вы.

— Рит,а Мае Браун

1.7. Арифметическое кодирование

Метод Хаффмана является простым и эффективным, однако, как было замечено в § 1.4, он порождает наилучшие коды переменной длины (коды, у которых средняя длина равна энтропии алфавита) только когда вероятности символов алфавита являются степенями числа 2, то есть равны 1/2, 1/4, 1/8 и т.п. Это связано с тем, что ме­ тод Хаффмана присваивает каждому символу алфавита код с целым числом битов. Теория информации предсказывает, что при веро­ ятности символа, скажем, 0.4, ему в идеале следует присвоить код длины 1.32 бита, поскольку — log2 0.4 '^ 1.32. А метод Хаффмана присвоит этому символу код длины 1 или 2 бита.

(Перед тем как углубиться в теорию арифметического кодиро­ вания, стоит указать две работы [Moffat et al. 98] и [Witter 87], где рассмотрены основные принципы этого метода и приведено множе­ ство примеров.)

Арифметическое кодирование решает эту проблему путем при­ своения кода всему, обычно, большому передаваемому файлу вместо кодирования отдельных символов. (Входным файлом может быть текст, изображение или данные любого вида.) Алгоритм читает входной файл символ за символом и добавляет биты к сжатому фай­ лу. Чтобы понять метод, полезно представлять себе получающийся код в виде числа из полуинтервала [0,1). (Здесь [а, 6) обозначает числа от а до 6, включая а и исключая 6. Конец а замкнут, а конец

Глава 1. Статистические методы

зить его, однако окончательным выходом алгоритма является един­ ственное число, которое не является объединением индивидуальных кодов последовательности входных символов. Среднюю длину кода можно найти, разделив размер выхода (в битах) на размер входа (в символах). Отметим, что вероятности, которые использовались на шаге 2.1, могут каждый раз меняться, и это можно использовать в адаптивной вероятностной модели (см. § 1.8).

Следующий пример будет немного более запутанным. Мы про­ демонстрируем шаги сжатия для строки «SWISS-MISS». В табл. 1.24 указана информация, приготовленная на предварительном этапе {статистическая модель данных). Пять символов на входе можно упорядочить любым способом. Для каждого символа сначала вы­ числена его частота, затем найдена вероятность ее появления (ча­ стота, деленная на длину строки, 10). Область [0,1) делится между символами в любом порядке. Каждый символ получает кусочек или подобласть, равную его вероятности. Таким образом, символ «S» получает интервал [0.5,1.0) длины 0.5, а символу «I» достается ин­ тервал [0.2,0.4) длины 0.2. Столбец CumPreq (накопленные частоты) будет использоваться алгоритмом декодирования на стр. 71. Cum­ Preq равно сумме частот всех предыдуш;их символов, например, для «W», CumFreq=l+l+2.

Табл. 1.24. Частоты и вероятности 5 символов.

Символы и частоты табл. 1.24 записываются в начало выходного файла до битов кода сжатия.

Процесс кодирования начинается инициализацией двух перемен­ ных Low и High и присвоением им О и 1, соответственно. Они опре­ деляют интервал [Low,High). По мере поступления и обработки сим­ волов, переменные Low и High начинают сближаться, уменьшая ин­ тервал.

После обработки первого символа «S», переменные Low и High равны 0.5 и 1, соответственно. Окончательным сжатым кодом все-

1.1. Арифметическое кодирование

го входного файла будет число из этого интервала (0.5 < Code < < 1.0). Для лучшего понимания процесса кодирования хорошо пред­ ставить себе, что новый интервал [0.5,1) делится между пятью сим­ волами нашего алфавита в той же пропорции, что и начальный интервал [0,1). Результатом будет пять подынтервалов [0.50,0.55), [0.55,0.60), [0.60,0.70), [0.70,0.75) и [0.75,1.0). После поступления следуюш;его символа «W» выбирается четвертый интервал, который снова делится на пять подынтервалов.

Табл. 1.25. Процесс арифметического кодирования.

С каждым поступившим символом переменные Low и High пересчитываются по правилу:

NewHigh:=01dLow+Range*HighRange(X);

NewLow:=01dLow+Range*LowRange(X);

где Range=01dHigh-01dLow, a HighRange(X)H LowRange(X) обозна­ чают верхний и нижний конец области символа X. В нашем при­ мере второй символ - это «W», поэтому новые переменные будут Low:= 0.5 + (1.0 - 0.5) х 0.4 = 0.7, High := 0.5 + (1.0 - 0.5) х 0.5 = 0.75. Новый интервал [0.70,0.75) покрывает кусок [40%,50%) подобласти

Глава 1. Статистические методы

символа «S». В табл. 1.25 приведены все шаги, связанные с кодирова­ нием строки «SWISS-MISS». Конечный код - это последнее значение переменной Low, равное 0.71753375, из которого следует взять лишь восемь цифр 71753375 для записи в сжатый файл (другой выбор кода будет обсуждаться позже).

Декодер работает в обратном порядке. Сначала он узнаёт сим­ волы алфавита и считывает табл. 1.24. Затем он читает цифру «7» и узнаёт, что весь код имеет вид 0.7... Это число лежит внутри интер­ вала [0.5,1) символа «S». Значит, первый символ был S. Далее деко­ дер удаляет эффект символа S из кода с помощью вычитания нижне­ го конца интервала S и деления на длину этого интервала, равную 0.5. Результатом будет число 0.4350675, которое говорит декодеру, что второй символ был «W» (поскольку область «W» - [0.4,0.5)).

Чтобы удалить влияние символа X, декодер делает следующее преобразование над кодом: Code : = (Code-LowRange(X))/Range, где Range обозначает длину интервала символа X. В табл. 1.26 отражен процесс декодирования рассмотренной строки.

Табл. 1.26. Процесс арифметического декодирования.

Следующий пример имеет дело с тремя символами, вероятности которых приведены в табл. 1.27а. Заметим, что эти вероятности сильно отличаются друг от друга. Одна - большая, 0.975, а другие - существенно меньше. Это случай асимметричных вероятностей.

Кодирование строки агагсцазаз выдаёт числа с точностью в 16 знаков, приведенные в табл. 1.28, в которой для каждого символа в двух строках записаны последовательные значения Low и High.

На первый взгляд кажется, что полученный код длиннее исход­ ной строки, однако в § 1.7.3 показано, как правильно определять степень сжатия, достигаемого арифметическим кодированием.

1.7. Арифметическое кодгьрование

Декодирование этой строки показано в табл. 1.29. Оно обнару­ живает особую проблему. После удаления эффекта от ai в строке 3 стоит число 0. Ранее мы неявно предполагали, что это означает конец процесса декодирования, но теперь мы знаем, что еще имеется два сим­ вола аз, которые следует декодировать. Это показано в строках 4 и 5 таблицы. Эта проблема всегда возникает, если последний символ входного файла является символом, чья область начинается в нуле. Для того, чтобы различить такой символ и конец входного файла, необходимо ввести один дополнительный символ «eof», обозначаю­ щий конец файла (end of file). Этот символ следует добавить в табли­ цу частот, приписав ему маленькую вероятность (см. табл. 1.27Ь), и закодировать его в конце входного файла.

Табл. 1.29. Декодирование строки агагахОзаз.

Глава 1. Статистические методы

В табл. 1.30 и 1.31 показано, как строка аз^з^з^з^оГ будет за­ кодирована маленькой дробью 0.0000002878086184764172, а потом корректно декодирована. Без символа eof строка из одних аз была бы закодирована числом 0.

Обратите внимание на то, что нижнее значение было О, пока не дошли до eof, а верхнее значение быстро стремится к нулю. Как уже отмечалось, окончательным кодом может служить любое число из промежутка от нижнего до верхнего конечного значения, а не обязательно нижний конец. В примере с a3a3a3a3eof кодом может служить более короткое число 0.0000002878086 (или 0.0000002878087, или даже 0.0000002878088).

Табл. 1.30. Кодирование строки азазазазеоГ.

(На рис. 1.32 приведена программа А,ЛЯ системы Matematica, ко­ торая вычисляет табл. 1.28.)

Табл. 1.31. Декодирование строки азазазазео£.

Пример: В табл. 1.33 приведены шаги кодирования строки оди­ наковых символов a2tt2<^2tt2- Из-за высокой вероятности символа а2 переменные Low и High начинаются с сильно различающихся началь­ ных значений и приближаются друг к другу достаточно медленно.

1.7. Арифметическое кодирование

Если размер входного файла известен, тогда можно его коди­ ровать без символа eof. Кодер может начать с записи его размера (в несжатом виде) в заголовок выходного файла. Декодер прочитает этот размер, начнет процесс декомпрессии и остановится после из­ влечения всех символов. Если декодер читает сжатый файл байт за байтом, то кодер может добавить в конце несколько нулевых битов, чтобы сжатый файл мог быть прочитан блоками по 8 бит.

Табл. 1.33. Кодирование строки а2а2а2а2'

1.7.1.Детали реализации метода

Описанный выше процесс кодирования невозможно реализовать на практике, так как в нем предполагается, что в переменных Low и High хранятся числа с неограниченной точностью. Процесс деко­ дирования, описанный на стр. 66 («Далее декодер удаляет эффект символа S из кода с помощью вычитания ... и деления ...») по своей сути очень прост, но совершенно не практичен. Код, который явля­ ется одним числом, обычно будет длинным, очень длинным числом.