1 / Salmon_sjatie_dannyh_izobrajeniy_i_zvuka[torrents.ru]

Глава 1. Статистические методы

Файл объема 1 MB будет сжиматься, скажем, до 500 KB, в котором будет записано всего одно число. Деление чисел в 500 KB делается очень сложно и долго.

Любое практическое применение арифметического кодирования должно основываться на оперировании с целыми числами (арифме­ тика чисел с плавающей запятой работает медленно и при этом про­ исходит потеря точности), которые не могут быть слишком длин­ ными. Мы опишем такую реализацию с помощью двух целых пе­ ременных Low и High. В нашем примере они будут иметь длину в 4 десятичные цифры, но на практике будут использоваться целые длиной 16 или 32 бита. Эти переменные будут хранить верхний и нижний концы текущего подынтервала, но мы не будем им позво­ лять неограниченно расти. Взгляд на табл. 1.25 показывает, что как только самые левые цифры переменных Low и High становятся оди­ наковыми, они уже не меняются в дальнейшем. Поэтому мы будем выдвигать эти числа за пределы переменных Low и High и сохра­ нять их в выходном файле. Таким образом, эти переменные будут хранить не весь код, а только самую последнюю его часть. После сдвига цифр мы будем справа дописывать О в переменную Low, а в переменную High - цифру 9. Для того, чтобы лучше понять весь процесс, можно представлять себе эти переменные как левый конец бесконечно длинного числа. Число Low имеет вид жа^жхОО... а число High=2/?/y2/99....

Проблема состоит в том, что переменная High в начале должна равняться 1, однако мы интерпретируем Low и High как десятичные дроби меньшие 1. Решение заключается в присвоении переменной High значения 9999..., которое соответствует бесконечной дроби 0.9999..., равной 1.

(Это легко доказать. Если 0.9999... < 1, то среднее число а = = (0.9999... + 1) /2 должно лежать между 0.9999 ... и 1; однако, его невозможно выразить десятичной дробью. Нельзя добавить ни од­ ной цифры к числу 0.9999..., поскольку в нем бесконечно много цифр. Также ни одну из его цифр нельзя увеличить, так как все они равны 9. Значит, число 0.9999... равно 1. Рассуждая аналогич­ но, легко показать, что число 0.5 имеет два представления в виде двоичной дроби: 0.1000... и 0.0111...).

В табл. 1.34 представлен процесс кодирования строки символов «SWISS-MISS». В первом столбце записаны символы на входе. Стол­ бец 2 содержит новые значения переменных Low и High. В третьем столбце эти числа представлены в измененном масштабе с умень­ шением High на 1. Строка 4 показывает следующую цифру, носы-

1,7. Арифметическое кодирование

лаемую на выход, а в пятом столбце записаны Low и High после их сдвига влево на одну цифру. Заметьте, что на последнем шаге в выходной файл было записано четыре цифры 3750. Окончательный выходной файл имеет вид 717533750.

Декодер работает в обратном порядке. В начале сделаны при­ своения Low=0000, High=9999, и Code=7175 (первые четыре цифры сжатого файла). Эти переменные обновляются на каждом шаге про­ цедуры декодирования. Low и High приближаются друг к другу (и к Code) до тех пор, пока их самые значимые цифры не будут сов­ падать. Тогда они сдвигаются влево, что приводит к их разделе­ нию, Code тоже сдвигается. На каждом шаге вычисляется перемен­ ная index, которая используется для нахождения столбца CumFreq табл. 1.24, позволяющего определить текущий символ.

Табл. 1.34. Кодирование «SWISS_MISS» сдвигами.

Каждая итерация цикла состоит из следующих шагов:

1.Вычислить число index: = ((Code-Low)* 10-1 )/(High-Low+l) и ок­ руглить его до ближайшего целого (в нашем примере общее Cum­ Freq равно 10).

2.Использовать index для нахождения следующего символа путем сравнения с CumFreq в табл. 1.24. В следующем примере первое зна-

Глава 1. Статистические методы

чение index равно 7.1759, а после округления - 7. Число 7 находится

втаблице между 5 и 10, поэтому выбран символ «S».

3.Изменить Low и High по формулам: Low:=Low+(High-Low+1)*LowCmnFreq[X]/10; High: =Low+(High-Low+1) *HighC\imFreq [X] /10 - 1;

где LowCmnFreqCX] и HighCглnFreq[X] - накопленные частоты сим­ вола X и символа над X в табл. 1.24.

4.Если самые левые цифры в переменных Low и High совпадают, то сдвинуть Low, High и Code на одну позицию влево. В самую правую позицию Low записать О, в High - 9, а в Code считать следующую цифру из сжатого файла.

Приведем все шаги декодирования для нашего примера.

Low=0+(9999-0+l)x5/10 = 5000. High=0+(9999-0+l)x 10/10-1 = = 9999.

2. index=((7175 - 5000 + 1) х 10 - 1)/(9999 - 5000 + 1) = 4 . 3518 - ^4 . Символ «W» выбран.

Low=5000 + (9999-5000 + l) Х4/10 - 7000. High=5000 +(9999-5000 + +1) X 5/10 - 1. = 7499.

После сдвига и выхода цифры 7 имеем Low= 0000, High = 4999 и Code=: 1753.

3. index=((1753-0 + l) х 1 0 - 1 ) / ( 4 9 9 9 - 0 + 1) = 3.5078 ^ 3. Символ «I» выбран.

Low=0+(4999-0+l)x2/10 = 1000, High=0+(4999-О-fl) х 4 / 1 0 - 1 = = 1999.

После сдвига и выхода цифры 1 имеем Low= 0000, High = 9999 и Code= 7533.

4. index=((7533 - О + 1) х 10 - 1)/(9999 - О + 1) = 7.5339 -^ 7. Символ «S» выбран.

1.7. Арифметическое кодирование

Low= 7500 + (9999 - 7500 + 1) х 0/10 = 7500, High = 7500 + (9999 - -7500 + 1) X 1/10 - 1 = 7749.

После сдвига и выхода цифры 7 имеем Low= 5000, High = 7499 и Code= 5337.

7. index= ((53375000 + 1) х 10 - 1)/(7499 - 5000 + 1) = 1.3516 -> 1. Символ «М» выбран.

Low= 5000 + (7499 - 5000 + 1) х 1/10 = 5250, High = 5000 + (7499 - -5000 + 1) X 2/10 - 1 = 5499.

После сдвига и выхода цифры 5 имеем Low= 2500, High = 4999 и Code= 3375.

8. index= ((3375 - 2500 + 1) х 10 - 1)/(4999 - 2500 + 1) = 3.5036 -> 3. Символ «I» выбран.

Low= 2500 + (4999 - 2500 + 1) х 2/10 - 3000, High = 2500 + (4999 - -2500 + 1) X 4/10 - 1 = 3499.

Теперь ясно, что символ eof следует добавлять в исходную таб­ лицу частот и вероятностей. Этот символ будет кодироваться и де­ кодироваться последним, что будет служить сигналом для останов­ ки процесса.

1.7,2. Потеря значащих цифр

В табл. 1.35 даны шаги кодирования строки азазазаз^з- Она похожа на табл. 1.34 и иллюстрирует проблему потери значащих разрядов. Переменные Low и High сближаются, и поскольку в этом примере Low всегда равна О, переменная High теряет свои значащие цифры при приближении к Low.

Потеря значащих цифр происходит не только в этом случае, но всегда, когда Low и High должны близко сходиться. Из-за своего ко­ нечного размера переменные Low и High могут достигнуть значений, скажем 499996 и 500003, а затем, вместо того, чтобы получить зна­ чения с одинаковыми старшими цифрами, они станут равны 499999

Глава 1. Статистические методы

и 500000. Поскольку самые значимые цифры остались разными, ал­ горитм ничего не даст на выход, не будет сдвигов, и следующая итерация только добавит цифры в младший разряд переменных. Старшие цифры будут потеряны, а первые 6 цифр не изменятся. Алгоритм будет работать, не производя выходных цифр, пока не достигнет eof.

Решить эту проблему можно, если заранее распознать эту ситуа­ цию и поменять масштаб обеих переменных. В приведенном приме­ ре это следует сделать, когда обе переменные достигнут значений 49хххх и бОуууу. Необходимо удалить вторую значащую цифру, по­ лучить значения 4хххх0 и 5уууу9, а затем увеличить счетчик cntr. Возможно, смену масштаба придется делать несколько раз до тех пора, пока не сравняются самые значащие цифры. После этого са­ мая значащая цифра (это будет 4 или 5) подается на выход, за кото­ рой следует cntr нулей (если переменные сходятся к 4) или девяток (если они стремятся к 5).

1.7.3. Заключительные замечания

Во всех приведенных примерах мы использовали десятичную си­ стему исчисления для лучшего понимания арифметического метода сжатия. Оказывается, что все эти алгоритмы и правила примени­ мы и к двоичному представлению чисел с одним изменением: каждое появление цифры 9 надо заменить цифрой 1 (наибольшей двоичной цифрой).

Может показаться, что приведенные выше примеры не произво­ дят никакого сжатия, и во всех трех рассмотренных примерах стро­ ки «SWISS-MISS», «а2а2«1«з«з» и «озаз^зозеоГ» кодируются слишком

1.7. Арифметическое кодирование

длинными последовательностями. Похоже, что длина окончательно­ го кода сжатия зависит от вероятностей символов. Длинные числа вероятностей табл. 1.27а породят длинные цифры при кодирова­ нии, а короткие цифры табл. 1.24 породят более разумные значения переменных Low и High табл. 1.25. Это поведение требует дополни­ тельных разъяснений.

Для того, чтобы выяснить степень компрессии, достигаемую с помощью арифметического сжатия, необходимо рассмотреть два факта: (1) на практике все операции совершаются над двоичны­ ми числами, поэтому следует переводить все результаты в двоич­ ную форму перед тем, как оценивать эффективность компрессии;

(2) поскольку последним кодируемым символом является eof, окон­ чательный код может быть любым числом между Low и High. Это позволяет выбрать более короткое число для окончательного сжа­ того кода.

Табл. 1.25 кодирует строку «SWISS_MISS» некоторым числом в интервале от Low=0.71753375 до High=0.717535, чьи двоичные значе­ ния будут приблизительно равны 0.10110111101100000100101010111 и 0.1011011110110000010111111011. Тогда декодер может выбрать строку «10110111101100000100» в качестве окончательного сжатого кода. Строка из 10 символов сжата в строку из 20 битов. Хорошее ли это сжатие?

Ответ будет «да». Используя вероятности из табл. 1.24, легко вычислить вероятность строки «SWISS_MISS». Она равна Р = 0.5^ х хО.1 X 0.2^ X 0.1 X 0.1 = 1.25 X 10~^. Энтропия этой строки — log2 Р = = 19.6096. Значит, двадцать бит - это минимальное число, необхо­ димое для практического кодирования этой строки.

Вероятности символов из табл. 1.27а равны 0.975, 0.001838 и 0.023162. Эти величины требуют довольно много десятичных цифр для записи, а конечные значения Low и High в табл. 1.28 равны 0.994 62270125 и 0.994623638610941. Опять кажется, что тут нет ни­ какого сжатия, однако анализ энтропии показывает отличное сжа­ тие и в этом случае.

Вычисляем вероятность строки «а2а2«1С^з^з» и получаем число

В двои^шом представлении значения переменных Low и High равны 0.111111101001111110010111111001 и 0.1111111010011111100111101. Можно выбрать любое число из этого промежутка, и мы выбираем «1111111010011111100». Этот код имеет длину 19 (он и теоретически должен быть 21-битным, но числа в табл. 1.28 имеют ограниченную точность).

Глава 1. Статистические методы

Пример: Даны три символа oi, а2 и eof с вероятностями Pi = = 0.4, Р2 = 0.5 и Peof = 0.1. Кодируем строку «a2a2a2eof». Размер конечного кода будет равен теоретическому минимуму.

Шаги кодирования просты (см. первый пример на стр. 63). На­ чинаем с интервала [0,1). Первый символ сокращает интервал до [0.4,0.9), второй - до [0.6,0.85), третий - до [0.7,0.825), а четвер­ тый eof - до [0.8125,0.8250). Приблизительные двоичные значения концов равны 0.1101000000 и 0.1101001100, поэтому в качестве кода выбирается 7-битовое число «1101000».

Вероятность этой строки равна 0.5"^ х 0.1 = 0.0125, тогда число

— log2 0.0125 ^ 6.322, то есть, теоретический минимум длины кода равен 7 бит. (Конец примера.)

Следующее рассуждение показывает, почему арифметическое ко­ дирование может быть весьма эффективным методом сжатия. Обо­ значим через S последовательность кодируемых символов, а через Ь - число бит, требуемых для кодирования s. Если длина s растет, то ее вероятность P{s) уменьшается, а число Ь растет. Поскольку ло­ гарифм является функцией информации, легко видеть, ^ITO ЧИСЛО Ь растет с той же скоростью, что log2 P{s) убывает. Значит, их про­ изведение остается постоянным. В теории информации показано, что

Когда s растет, ее вероятность уменьшается, а число — log2 P{s) становится большим положительным числом. Двойное неравенство (1.1) показывает, что в пределе h стремится к — log2 P{s). Вот поче­ му арифметическое кодирование может, в принципе, сжимать стро­ ку до ее теоретического предела.

1.8. Адаптивное арифметическое кодирование

Две характерные черты арифметического кодирования позволяют легко расширить этот метод сжатия.

1. Основной шаг кодирования состоит из двух операций

Low := Low+(High-Low+l)*LowCmnFreq[X]/10;

High := Low+(High-Low+l)*HighCuinFreq[X]/10-l;

Глава 1. Статистические методы

Такой структурой является двоичное сбалансированное дерево. (Сба­ лансированным двоичным деревом служит полное дерево, в котором некоторые правые нижние узлы отсутствуют.) На дереве должны быть узлы для каждого символа алфавита, и поскольку оно сбалан­ сировано, его высота равна [log2 п] , где п - размер алфавита. При п = 256 высота сбалансированного дерева равна 8, поэтому начав с корня, поиск символа займет не более 8 шагов. Дерево организо­ вано так, что более вероятный символ (у которого самый большой счетчик) находится ближе к корню дерева, что ускоряет процесс его поиска. В табл. 1.36а показан пример алфавита из 10 символов вместе со счетчиками. В табл. 1.36b этот же алфавит упорядочен по значениям счетчиков.

Упорядоченный массив размещен на дереве, изображенном на рис. 1.38а. Это простой и элегантный способ построения дерева. Сбалансированное двоичное дерево можно построить без использо­ вания указателей. Правило такое: первый элемент массива (с индек­ сом 1) находится в корне, два узла-потомка элемента с индексом г имеют индексы 2г и 2г -f 1, а родительский узел узла j имеет индекс [j/2\ . Легко видеть, как процесс упорядочения массива разместит символы с большими счетчиками ближе к корню.

В дополнение к символу и его счетчику в каждом узле дерева будет храниться общая сумма счетчиков его левого поддерева. Эти величины будут использоваться при подсчете накопленных частот. Соответствующий массив показан в табл. 1.37а.

Табл. 1.37. Алфавит из 10 символов и их счетчики.

Предположим, что следующий прочитанный из входного файла символ был ад. Его счетчик изменяется с 12 до 13. Модель, имея упорядоченный массив, ищет самый дальний слева от ад элемент, у которого счетчик меньше или равен счетчику ад.

Этот поиск может быть просто линейным, если массив корот­ кий, или двоичным, если массив длинный. В нашем случае это бу-

1.8. Адаптивное арифметическое кодирование 79j

(с)

Рис . 1.38. Адаптивное арифметическое кодирование.