Сжатие данных, звука и изображений
.pdfГлава 2. Словарные методы
1. Использовать стек. Это часто применяемая структура в совре менных компьютерах. Стеком называется массив в памяти, к кото рому открыт доступ только с одного конца. В любой момент вре мени, элемент, который позже попал в стек, будет раньше других извлечен оттуда. Символы, которые извлекаются из словаря, поме щаются в стек. Когда последний символ будет туда помещен, стек освобождается символ за символом, которые помещаются в пере менную J. Строка оказывается перевернутой.
2. Извлекать символы из словаря и присоединять их к J справа на лево. В итоге переменная J будет иметь правильный порядок сле дования символов. Переменная J должна иметь длину, достаточную для хранения самых длинных строк.
2.4-3' LZW в практических |
прилоэ§сениях |
Опубликование в 1984 году алгоритма LZW произвело большое впе чатление на всех специалистов по сжатию информации. За этим по следовало большое количество программ и приложений с различны ми вариантами этого метода. Наиболее важные из них приведены в [Salomon 2000].
2.5. Заключение
Все представленные здесь различные методы словарного сжатия ис пользуют одни и те же общие принципы. Они читают файл символ за символом и добавляют фразы в словарь. Фразы являются от дельными символами и строками символов входного файла. Методы сжатия различаются только способом отбора фраз для сохранения в словаре. Когда строка входного файла совпадает с некоторой фра зой в словаре, в сжатый файл записывается позиция этой фразы или метка. Если для хранения метки требуется меньше бит, чем для за писи самой фразы, то наблюдается эффект сжатия.
В общем случае, словарные методы сжатия, если их применять грамотно, дают лучшие результаты, чем статистические методы компрессии, поэтому они активно используются во всевозможных компрессионных приложениях, или они являются одним из этапов многостадийного сжатия. Много других методов словарного сжа тия можно найти в книге [Salomon 2000].
У Рамси Макдональда имеется замечательный дар сжимать огромные потоки слов в короткие идеи.
— Уинстон Черчилль
ГЛАВА 3
СЖАТИЕ
ИЗОБРАЖЕНИЙ
Современное поле сжатия информации весьма обширно, на нем взо шло огромное количество различных методов компрессии всевоз можных типов данных: текстов, изображений, видео и звука. Сре ди этого многообразия методов особое место занимает сжатие изо бражений, так как, во-первых, это первая область, где пользователи имеют дело с большим числом файлов, которые необходимо эффек тивно сжимать, а во-вторых, здесь мы впервые встречаем сжатие данных с частичной потерей информации.
В кодировке ASCII каждый символ занимает один байт. Типич ная книга в четверть миллиона слов насчитывает примерно миллион символов и занимает около 1MB. Однако, если к этой книге доба вить хоть одну картинку для иллюстрации, то объем занимаемой памяти может удвоиться, так как файл, содержащий изображение, может занимать 1MB и даже больше.
Файл изображения такой большой, потому что он представляет собой двумерный образ. Кроме того, современные дисплеи и другие средства представления изображений способны передавать огром ное число цветов и оттенков, которые требуют много битов (обыч но 24) для представления цвета каждого отдельного пиксела.
Сжатие текста всегда делается без потери информации. Мож но представить себе документы, в которых часть информации не очень важна, и поэтому ее можно опустить без искажения смысла всего текста, однако, не суш;ествует алгоритмов, которые могли бы дать компьютеру возможность самостоятельно, без участия чело века, определять, что в тексте важно, а что - нет. В отличие от сжатия текстов, для компрессии изображений такие алгоритмы су ществуют в большом количестве. Такой алгоритм может удалить большую часть информации из изображения, что приводит к за мечательной компрессии. Проверкой качества сжатия изображения является визуальное сравнение оригинального изображения и изо бражения, полученного из его сжатого образа (с потерей части ин-
Глава 3. Cotcamue изобраэюений
формации). Если испытатель не может отличить одно от другого, то сжатие с потерей допускается. В некоторых случаях человече ский глаз способен уловить разницу, но все равно сжатие считается удовлетворительным.
Обсуждение сжатия изображений в этой главе носит в основном обилий теоретический характер. Здесь будут излагаться основные подходы к решению проблемы сжатия изображений. Из некоторых рассмотренных конкретных методов компрессии, выделяется наи более важный из них - это метод JPEG (§ 3.7).
3.1. Введение
Современные компьютеры весьма интенсивно применяют графику. Операционные системы с интерфейсом оконного типа используют картинки, например, для отображения директорий или папок. Неко торые совершаемые системой действия, например загрузку и пере сылку файлов, также отображаются графически. Многие програм мы и приложения предлагают пользователю графический интер фейс (GUI), который значительно упрощает работу пользователя и позволяет легко интерпретировать полученные результаты. Ком пьютерная графика используется во многих областях повседневной деятельности при переводе сложных массивов данных в графиче ское представление. Итак, графические изображения крайне важны, но они требуют так много места! Поскольку современные дисплеи передают множество цветов, каждый пиксел принято интерпрети ровать в виде 24-битового числа, в котором компоненты красного, зеленого и голубого цветов занимают по 8 бит каждый. Такой 24битовый пиксел может отображать 2^^ ^ 16.78 миллионов цветов. Тогда изображение с разрешением 512 х 512 пикселов будет занимать786432 байта. А изображению размером 1024 х 1024 пиксела потребуется 3145728 байт для его хранения. Мультфильмы и ани мация, которые также весьма популярны в компьютерных приложе ниях, потребуют еш,е большего объема. Все это объясняет важность сжатия изображений. К счастью, изображения допускают частич ную потерю информации при сжатии. В конце концов, изображения призваны для того, чтобы люди на них смотрели, поэтому та часть изображения, которая не воспринимается глазом, может быть опу щена. Эта основная идея вот уже три десятилетия движет разработ чиками методов сжатия, допускающих некоторую потерю данных.
3.1. Введение
В обш;ем случае, информацию можно сжать, если в ней присут ствует избыточность. В этой книге часто повторялось утверждение, что компрессия информации делается путем удаления или сокраще ния избыточности данных. При сжатии с потерями мы имеем дело с нОвой концепцией, с новой парадигмой, которая предполагает сжа тие путем удаления несущественной, нерелевантной информации.
Изображение можно сжать с потерей, удалив несущественную ин формацию, даже если в нем нет избыточности.
Отметим, что изображение без избыточности не обязательно является случайным. На стр. 18 обсуждались два типа избыточно сти, присущей графическим образам. Самой важной из них является корреляция (зависимость) пикселов. В редких случаях корреляция пикселов может быть слабой или вовсе отсутствовать, но изображе ние все еще не будет случайным и даже осмысленным.
Идея о допустимости потери графической информации станет более приятной, после того, как мы рассмотрим процесс образова ния цифровых изображений. Вот три примера: (1) реальное изо бражение может быть сосканировано с фотографии или рисунка и оцифровано (переведено в матрицу пикселов), (2) образ может быть записан видеокамерой, которая сама порождает пикселы и сохраня ет их в памяти, (3) картинка может быть нарисована на экране компьютера с помощью специальной компьютерной программы. Во всех трех случаях некоторая информация теряется при переводе в цифровую форму. Зритель готов позволить некоторую потерю ин формации при условии, что это будет терпимая и малозаметная по теря.
(Оцифровывание изображений состоит из двух этапов: выбор ки образцов и квантования. Выборка образцов, дискретизация, со стоит в разбиении двумерного изображения на маленькие области, пикселы, а под квантованием подразумевается процесс присвоения каждому пикселу некоторого числа, обозначающего его цвет. Заме тим, что оцифровывание звука состоит из тех же этапов, но только звуковой поток является одномерным.)
Приведем простой тест на качественное определение потери ин формации при сжатии изображения. Пусть данный образ А(1) сжат в В, (2) разжат в С, и (3) их разница обозначена D =^ С ~ А. Если А был сжат без потери информации и разжат подобающим образом, то С должен быть идентичен Л, и образ D должен быть равномерно белым. Чем больше информации потеряно, тем дальше будет D от равномерно белого образа.
Глава 3. Сжатие изобраэ/сений
Так как же все-таки следует сжимать изображения? До этого момента мы рассматривали три подхода к задаче компрессии: это RLE, статистический метод и словарный метод. Неявно предпола галось, что эти методы применимы к данным любой природы, но из практических наблюдений мы заметили, что лучше всего эти мето ды работают при сжатии текстов. Поэтому новые методы сжатия должны учитывать три основных различия между текстами и гра фическими изображениями:
1. Текст одномерен, а изображение имеет размерность 2. Весь текст можно рассматривать как одну длинную строку символов. Каждая буква текста имеет двух соседей, слева и справа. Все со седи весьма слабо коррелированы между собой. Например, в этом абзаце букве «и» предшествуют буквы «н», «р», «л», «с», «п», а за ней следуют буквы «е», «в», «н», «м», «р». В других абзацах та же буква «и» может иметь других соседей. В изображении пиксел имеет четы рех непосредственных соседей и восемь ближайших (за исключением пикселов, лежащих на границе, см. рис. 3.1, где восемь ближайших соседей пиксела «*» показаны черным цветом), и между ними суще ствует сильная корреляция.
*#оо#ооо###оо#
•00#*Ф00#*#0#*
ООООФОООФФФОО*
Рис. 3.1. Четыре ближайших и восемь соседних пикселов.
2.Текст состоит из относительно небольшого числа символов алфавита. Обычно, это 128 кодов ASCII или 256 байтов длины по 8 бит каждый. Наоборот, каждый пиксел изображения представим 24 битами, поэтому может быть до 2^^ « 16.78 миллионов различных пикселов. Значит, число элементарных «символов» в изображении может быть огромным.
3.Не известен алгоритм, который определял бы, какая часть текста является неважной или малозначимой, и ее можно удалить без ущерба для всего текста, но существуют методы, которые авто матически удаляют неважную информацию из графического обра за. Этим достигается значительна степень компрессии.
Таким образом, методы сжатия текстовой информации стано вятся малоэффективными и неудовлетворительными при работе с изображениями. Поэтому в этой главе будут обсуждаться совершен-
3.1. Введение I I5J
но другие подходы к решению этой задачи. Они различны, но все они удаляют избыточность с использованием следующего принципа.
Принцип сжатия изображений. Если |
случайно выбрать |
пик |
|
сел изобраэ/сения, то с большой вероятностью блиэюайшие к |
нему |
||
пикселы будут иметь тот оюе или близкий |
цвет. |
|
|
Итак, сжатие изображений основывается на сильной |
корреляции |
||
соседних пикселов. Эта корреляция также |
называется |
простран |
|
ственной избыточностью. |
|
|
|
Вот простой пример того, что можно сделать с коррелирован ными пикселами. Следующая последовательность чисел отражает интенсивность 24 смежных пикселов в одной строке некоторого не прерывно тонового изображения:
12,17,14,19, 21, 26, 23, 29,41,38,31,44,46, 57, 53,50,60, 58, 55, 54,52, 51,56,60.
Здесь только два пиксела совпадают. Их среднее значение равно 40.3. Вычитание каждого предыдущего символа даст последователь ность
12,5, -3,5, 2,5, -3, б, 12, -3, -7,13,2,11, -4, -3,10, -2, -3, -1,-2, -1,5,4.
Эти последовательности пикселов проиллюстрированы графически на рис. 3.2, который показывает потенциал сжатия: (1) разность пикселов существенно меньше их абсолютных величин. Их среднее равно 2.58. (2) Они повторяются. Имеется только 15 различных зна чений. В принципе, каждый из них можно закодировать 4 битами. Они декоррелированы, то есть, разности соседних значений, в сред нем, не уменьшаются. Это видно из последовательности вторых раз ностей:
12, -7, -8,8, -3,3, -8,9,6, -15, -4,20, -11,9, -15, -1,13, -12, -1,2, -1, -1, б, 1.
Эти разности уже больше исходных величин.
Рис. 3.2. Величины и разности 24 соседних пикселов.
Рис. 3.3 предлагает другую иллюстрацию «коррелированных ве личин». Матрица А размером 32x32 заполнена случайными числами.
Глава 3. Сжатие изобралсений
и ее значения на рисунке (а) изображены квадратиками различных серых оттенков. Случайная природа этих элементов очевидна. За тем эту матрицу обратили и результат - матрицу В - изобразили на рисунке (Ь). На этот раз этот массив квадратиков 32 х 32 выглядит на глаз более структурированным. Прямое вычисление корреляции с помощью коэффициента Пирсона по формуле (3.1) показывает, что перекрестная корреляция верхних двух строк матрицы А является относительно малым числом 0.0412, в то время, как соответству ющая величины, вычисленная для верхних строк матрицы В равна относительно большому числу —0.9831. Дело в том, что каждый эле мент матрицы В зависит от всех элементов матрицы А
R = |
^ Е ^гУг - |
Е ^г Е 2/г |
(3.1) |
|
|
nE^l-{E^if][nEyl-{Eyif]
(а) |
(Ь) |
Рис. 3.3. Случайная матрица (а) и ее обратная матрица (Ь).
п=32; a=rand(n); imagesc(a); colormap(gray) b=inv(a); imagesc(b)
Программа на Matlab для рис. 3.3.
Пример: Воспользуемся специальной программой для иллюстра ции ковариационной матрицы для (1) матрицы с коррелированными элементами и (2) матрицы с декоррелированными элементами. На рис. 3.4 показаны две 32 х 32 матрицы. Первая из них а является слу чайной (то есть, декоррелированной), а вторая матрица b является обратной для матрицы а ( значит, она коррелирована). Их ковари ационные матрицы также показаны. Очевидно, что матрица cov(a)
3.1. Введение
близка к диагональной (недиагональные элементы равны нулю или близки к нулю), а матрица cov(6) далека от диагональной. Далее приведена программа для системы Matlab, которая рисует эти кар тинки.
Рис. 3.4. Ковариация коррелированной и декоррелированной матриц.
Если понятие коррелированных величин стало более ясным, то можно легко ответить на вопрос: «Как проверить стали ли пикселы изображения после некоторого преобразования декоррелированными или нет?» Ответ будет таким: «Если матрица содержит декоррелированные значения, то ковариация любой ее строки с любым столбцом равна нулю». В результате ковариационная матрица М будет диагональной. Статистическое понятия дисперсии, ковариации и корреляции обсуждаются в любом учебнике по статистике.
Принцип сжатия изображений имеет и другую сторону. Нам хо рошо известно по опыту, что яркость близких пикселов тоже кор-
Глава 3. Сжатие изображений
релирована. Два смежных пиксела могут иметь разные цвета. Один может быть близок к красному, а второй - к зеленому, однако, если первый был ярким, то его сосед, обычно, тоже будет ярким. Это свойство можно использовать для перевода представления пикселов RGB (red, green, blue) в виде трех других компонентов: яркости и двух хроматических компонентов, определяющих цвет. Одним та ким форматом (или пространством цветов) служит YCbCr, где У (компонента «светимости») отвечает за яркость пиксела, а СЬ и Сг определяют его цвет. Этот формат будет обсуждаться в § 3.7.1, но его преимущество уже легко понять. Наш глаз чувствителен к маленьким изменениям яркости, но не цвета. Поэтому потеря ин формации в компонентах СЬ и Сг сжимает образ, внося искажения, которые глаз не замечает. А искажение информации о компонен те Y, наоборот, является более приметной.
a=rand(32); b=inv(a);
figure(l); imagesc(a); colormap(gray); axis square figure(2); imagesc(b); colormap(gray); axis square figureO); imagesc(cov(a)); colormap(gray); axis square figure(4); imagesc(cov(b)); colormap(gray); axis square
Программа на Matlab для рис. 3.4.
3.2. Типы изображений
Цифровое изображение представляет собой прямоугольную табли цу точек, или элементов изображения, расположенных в т строках и п столбцах. Выражение т х п называется разрешением изобра жения (хотя иногда этот термин используется для обозначения чи сла пикселей, приходящихся на единицу длины изображения). Точки изображения называются пикселами (за исключением случаев, ко гда изображение передается факсом или видео; в этих случаях точка называется пелом). Для целей сжатия графических образов удобно выделить следующие типы изображений:
1. Двухуровневое (или монохроматическое) изображение. В этом случае все пикселы могут иметь только два значения, которые обыч но называют черным (двоичная единица, или основной цвет) и бе лым (двоичный нуль или цвет фона). Каждый пиксел такого изобра жения представлен одним битом, поэтому это самый простой тип изображения.
2. Полутоновое изображение. Каждый пиксел такого изображения может иметь 2^ значений от О до 2^^ — 1, обозначающих одну из
3.2. Типы изобраоюений
2" градаций серого (или иного) цвета. Число п обычно сравнимо с размером байта, то есть, оно равно 4, 8, 12, 16, 24 или другое кратное 4 или 8. Множество самых значимых битов всех пикселов образуют самую значимую битовую плоскость или слой изображения. Итак, полутоновое изображение со шкалой из 2^^ уровней составлено из п битовых слоев.
3.Цветное изобрао/сение. Существует несколько методов задания цвета, но в каждом из них участвуют три параметра. Следователь но, цветной пиксел состоит из трех частей. Обычно, цветной пиксел состоит из трех байтов. Типичными цветовыми моделями являются RGB, HLS и CMYK. Детальное описание цветовых моделей выходит за рамки этой книги, но некоторое базовое рассмотрение вопроса будет приведено в § 3.7.1.
4.Изображение с непрерывным тоном. Этот тип изображений мо жет иметь много похожих цветов (или полутонов). Когда соседние пикселы отличаются всего на единицу, глазу практически невоз можно различить их цвета. В результате такие изображения могут содержать области, в которых цвет кажется глазу непрерывно меня ющимся. В этом случае пиксел представляется или большим числом (в полутоновом случае) или тремя компонентами (в случае цветного образа). Изображения с непрерывным тоном являются природны ми или естественными (в отличие от рукотворных, искусственных); обычно они получаются при съемке на цифровую фотокамеру или при сканировании фотографий или рисунков.
5.Дискретно-тоновое изображение (оно еще называется синтети ческим). Обычно, это изображение получается искусственным пу тем. В нем может быть всего несколько цветов или много цветов, но в нем нет шумов и пятен естественного изображения. Примера ми таких изображений могут служить фотографии искусственных объектов, машин или механизмов, страницы текста, карты, рисунки или изображения на дисплее компьютера. (Не каждое искусственное изображение будет обязательно дискретно-тоновым. Сгенерирован ное компьютером изображение, которое должно выглядеть нату ральным, будет иметь непрерывные тона, несмотря на свое искус ственное происхождение.) Искусственные объекты, тексты, нарисо ванные линии имеют форму, хорошо определяемые границы. Они сильно контрастируют на фоне остальной части изображения (фо на). Прилегающие пикселы дискретно-тонового образа часто бы вают одиночными или сильно меняют свои значения. Такие изо бражения плохо сжимаются методами с потерей данных, посколь ку искажение всего нескольких пикселов буквы делает ее неразбор чивой, преобразует привычное начертание в совершенно неразли-