Сжатие без потерь
Сжатие без потерь (англ. Lossless data compression) — метод сжатия информации, при использовании которого закодированная информация может быть восстановлена с точностью до бита. При этом оригинальные данные полностью восстанавливаются из сжатого состояния. Этот тип сжатия принципиально отличается от сжатия данных с потерями. Для каждого из типов цифровой информации, как правило, существуют свои оптимальные алгоритмы сжатия без потерь.
Сжатие данных без потерь используется во многих приложениях. Например, оно используется во всех файловых архиваторах. Оно также используется как компонент в сжатии с потерями.
Сжатие без потерь используется, когда важна идентичность сжатых данных оригиналу. Обычный пример — исполняемые файлы и исходный код. Некоторые графические файловые форматы, такие как PNG или GIF, используют только сжатие без потерь; тогда как другие (TIFF, MNG) могут использовать сжатие как с потерями, так и без.
Многоцелевые
Кодирование длин серий — простая схема, дающая хорошее сжатие данных, которые содержат много повторяющихся значений
LZW — используется в gif и во многих других.
Deflate — используется в gzip, усовершенствованной версии zip и как часть процесса сжатия PNG.
LZMA — используется в 7-zip.
Сжатие аудио
Apple Lossless — ALAC (Apple Lossless Audio Codec)
Audio Lossless Coding — также известен как MPEG-4 ALS
Direct Stream Transfer — DST
Dolby TrueHD
DTS-HD Master Audio
Free Lossless Audio Codec — FLAC
Meridian Lossless Packing — MLP
Monkey's Audio — Monkey’s Audio APE
OptimFROG
RealPlayer — RealAudio Lossless
Shorten — SHN
TAK — (T)om’s verlustfreier (A)udio (K)ompressor (нем.)
TTA — True Audio Lossless
WavPack — WavPack lossless
WMA Lossless — Windows Media Lossless
Сжатие графики
ABO — Adaptive Binary Optimization
GIF — (без потерь только для изображений содержащих менее 256 цветов)
JBIG2 — (с потерями или без Ч/Б изображений)
JPEG-LS — (стандарт сжатия без потерь/почти без потерь)
JPEG 2000 — (включает сжатие без потерь; также, испытан Sunil Kumar, профессором университета штата Сан-Диего)
PGF — Progressive Graphics File (сжатие с/без потерь)
PNG — Portable Network Graphics
Qbit Lossless Codec — фокусируется на intra-frame («одна картинка») сжатии без потерь
TIFF
WMPhoto — (включая метод сжатия без потерь)
Сжатие видео
Animation codec
CamStudio Video Codec
CorePNG
FFV1
H.264
Huffyuv
Lagarith
LCL
MSU Lossless Video Codec
Qbit Lossless Codec
SheerVideo
TSCC — TechSmith Screen Capture Codec
Сжатие текстов
PPM — архиватор HA (автор Harry Hirvola), использующий алгоритм PPM, известен высокой степенью сжатия на текстовых файлах; по этому параметру он превосходит даже RAR, появившийся несколько лет спустя. Поэтому появившиеся в конце 90-х годов компакт-диски наподобие «Библиотека в кармане» использовали именно HA.
14.1 Алгоритмы сжатия без потерь
Код Хаффмана. Код Хаффмана (Huffman code) - это свободный от префикса код, который может давать самую короткую среднюю длину кода я для данного входного алфавита. Самая короткая средняя длина кода для конкретного алфавита может быть значительно больше энтропии алфавита источника, и тогда эта невозможность выполнения обещанного сжатия данных будет связана с алфавитом, а не с методом кодирования. Часть алфавита может быть модифицирована для получения кода расширения, и тот же метод повторно применяется для достижения лучшего сжатия. Эффективность сжатия определяется коэффициентом сжатия. Эта мера равна отношению среднего числа бит на выборку до сжатия к среднему числу бит на выборку после сжатия.
Код Лемпеля-Зива –Уэлча. Основной сложностью при использовании кода Хаффмана является то, что вероятности символов должны быть известны или оценены и как кодер, так и декодер должны знать дерево кодирования. Если дерево строится из необычного для кодера алфавита, канал, связывающий кодер и декодер, должен также отправлять кодирующее дерево как заголовок сжатого файла. Эти служебные издержки уменьшат эффективность сжатия, реализованную с помощью построения и применения дерева к алфавиту источника. Алгоритм Лемпеля-Зива (Lempel-Ziv) и его многочисленные разновидности используют текст сам по себе для итеративного построения синтаксически выделенной последовательности кодовых слов переменной длины, которые образуют кодовый словарь.
Алгоритм Хаффмана в факсимильной связи.
Факсимильная передача — это процесс передачи двухмерного образа как последовательности последовательных строчных разверток. В действительности наиболее распространенными образами являются документы, содержащие текст и цифры. Положение строчной развертки и положение вдоль развертки квантуются в пространственные расположения, которые определяют двухмерную координатную сетку элементов картинки, называемых пикселями. Ширина стандартного документа МККТТ определяется равной 8,27 дюймов (20,7 см ), а длина- 11,7 дюймов (29,2 см), почти 8,5 дюймов на 11,0 дюймов. Пространственное квантование для нормального разрешения составляет 1728 пикселей/строку и 1188 строк/документ. Стандарт также определяет квантование с высоким разрешением с теми же 1728 пикселями/строку, но с 2376 строками/документ. Общее число отдельных пикселей для факсимильной передачи с нормальным разрешением составляет 2 052 864, и оно удваивается для высокого разрешения. Для сравнения, число пикселей в стандарте NTSC (National Television Standards Committee — Национальный комитет по телевизионным стандартам) коммерческого телевидения составляет 480 х 460, или 307 200. Таким образом, факсимильное изображение имеет разрешение в 6,7 или 13,4 раза больше разрешения стандартного телевизионнго образа.
Лекция 15.
Сжатие аудиосигналов.
Адаптивная дифференциальная ИКМ (АДИКМ), полосно - разделенная АДИКМ.
Рекомендация C.722 МCЭ - Т. CELP кодирование (линейно - прогнозируемое кодирование с кодовой книгой).
Алгоритмы сжатия MPEG, уровни 1,2,3.
Сжатие изображений.
Алгоритм сжатия JPЕG.
Сжатие аудиосигналов.
Аудиосжатие широко применяется в потребительских и профессиональных цифр< аудиопродуктах, таких как компакт-диски (compact disc — CD), цифровая аудиолента (digital audio type — DAT), мини-диск (mini-disk — MD), цифровая компакт-кассета (digital compact cassette — DCC), универсальный цифровой диск (digital versatile disc. DVD), цифровое аудиовещание (digital audio broadcasting — DAB) и аудиопродукция формате МРЗ от экспертной группы по вопросам движущегося изображения (М< Picture Experts Group — (MPEG). К тому же сжатие речи в телефонии, в частности, сотовой телефонии, требуемое для экономии полосы частот и сбережения времени, ни батареи, дало начало процессу разработки множества стандартов сжатия речи, личные алгоритмы применимы к речевым и потребительским сигналам более широкой полосы частот. Аудио- и речевые схемы сжатия можно для удобства разделить согласно приложениям, что отражает некоторую меру приемлемого качества.
Адаптивная дифференциальная ИКМ (АДИКМ). Используя прошлые данные для измерения (т.е. квантования) новых переходим от обычной импульсно-кодовой модуляции (pulse-code modulation — PCM) к дифференциальной (differential PCM — DPCM). В DPCM предсказание следующего выборочного значения формируется на основании предыдущих значений. Устройства квантования называются мгновенными устройствами квантования или устройствами квантования без памяти, так как цифровые преобразования основаны на единичной (текущей) входной выборке. Этими свойствами были неравновероятные уровни источника и зависимые выборочные значения. Корреляционные характеристики источника можно представить во временной области с помощью выборки его автокорреляционной функции и в частотной области — его спектром мощности. Если изучается спектр мощности Gx(f) кратковременного речевого сигнала, как изображено на рисунке , то видим, что спектр имеет глобальный максимум в окрестности от 300 до 800 Гц и убывает со скоростью от 6 до 12 дБ/октаву. Эта операция производится в контуре сказания и сравнения, верхний контур кодера изображен на рисунке 15.2. Кодер корректирует свои предсказания, составляя сумму предсказанного значения и ошибки предсказания.
Рисунок 15.1 - N- отводный дифференциальный импульсно-кодовый модулятор с предсказанием
Эта модель, использующая 12-отводный синтезатор речи, нашла применение в детских говорящих играх.
Рисунок 15.2 - Блочная диаграмма: моделирование речи с помощью линейного кодера с предсказанием
Алгоритм сжатия MPEG, уровни 1,2,3.
Международная организация по стандартизации (International Organization for Standardization - ISO) и экспертная группа по вопросам движущегося изображения (Motion Picture Experts Group - MPEG) разработали стандарт аудиосжатия для сигнала, синхронизированного с сжатым видеосигналом, известный как MPEG. В этой схеме объединены свойства MUS1CAM (Masking pattern adaptive Universal Subband Integrated Coding And Multiplexing - универсальные интегральные средства кодирования и уплотнения по поддиапазонам с маскировкой и адаптацией к кодограмме) и ASPEC (Adaptive Spectral Perceptual Entropy Coding — адаптивное спектрально-восприимчивое кодирование энтропии). В схеме использованы три уровня (коды) увеличивающейся сложности и улучшающейся субъективной производительности. Входные частоты дискретизации равны 32, 44,1 и 48 кГц, а биты на выход подаются со скоростью от 32 до 192 Кбит/с (монофонический канал) или со скоростью от 64 до 384 Кбит/с (стереофонический канал). Стандарт поддерживает режим работы единственного канала, стереорежим, двойственный режим работы канала (для двуязычных аудиопрограмм) и дополнительный совместный стереорежим. В последнем режиме два кодера для левого и правого каналов могут поддерживать друг друга, используя общие статистики с целью снижения скорости передачи бит аудиосигнала, даже большего, чем это возможно при монофонической передаче.
На рисунке 15.3 представлена блочная диаграмма аудиокодера и декодера уровней I и II стандарта MPEG.
На уровне III стандарта MPEG/ISO (MP3) достигается разрешение более высокой частоты, которое весьма точно соответствует критической разрешающей способности человека.
Рисунок 15.3 - Блочная диаграмма аудиокодера и декодера, уровни I и II
Сжатие изображения
Мы часто слышали старое высказывание: Картина стоит тысячи слов. Верно ли оно? 1000 слов содержит 6000 знаков, которые, будучи закодированы как 7-битовые символы ASCII, требуют в общей сложности 42 000 бит. Какого размера образ (или картина) может быть описан с помощью 42 000 бит?
Существует множество стандартов, которые были разработаны для сжатия изображений.
Алгоритм сжатия JPEG. JPEG (Joint Photography Experts Group - объединенная группа экспертов в области фотографии) - это общее название, которое дано стандарту ISO/JPEG 10918-1 и стандарту ITU-T Recommendation T.81 "Цифровое сжатие, постоянных изображений непрерывного тона", JPEG, в основном, известен как основанная на преобразовании схема сжатия с потерями.
Рисунок 15.4 - Блочная диаграмма кодера JPEG
Применение вейвлет – преобразования для сжатия изображений.
Рекурсивный (волновой) алгоритм. Английское название рекурсивного сжатия — wavelet. На русский язык оно также переводится как волновое сжатие и как сжатие с использованием всплесков. Этот вид архивации известен довольно давно и напрямую исходит из идеи использования когерентности областей.
Список литературы
Скляр Б. Цифровая связь. Теоретические основы и практическое применение: 2-е изд. /Пер. с англ. М.: Издательский дом «Вильямс», 2003. 1104 с.
Прокис Дж. Цифровая связь. Радио и связь, 2000.-797с.
Шувалов В. П. , Захарченко Н. В. , Шварцман В. О. и др. Передача дискретных сообщений. М. :Радио и связь, 1990, 464 с.
Сергиенко А.Б.. Цифровая обработка сигналов: Учебник для вузов. - М.:-2002.
Шварцман В.О., Емельянов Г.А. Теория передачи дискретной информации. – М.: Связь, 1979. -424 с.
Передача дискретных сообщений / Под ред. В. П. Шувалова. - М.: Радио и связь, 1990. -464 с.
Емельянов Г. А., Шварцман В. О. Передача дискретной информации. - М.: Радио и связь, 1982. - 240 с.
Дмитриев В.И. Прикладная теория информации: Учебник. – М.: Высш.шк., 1989.
Тутевич В.Н. Телемеханика: Учебное пособие.- М.: Высш. Шк., 1985. -423 с.
Ватолин Д.С. Алгоритмы сжатия изображений. Методическое пособие. Издательский отдел факультета Вычислительной Математики и Кибернетики МГУ им. М.В.Ломоносова (лицензия ЛР № 040777 от 23.07.96), 1999 г. — 76 с.
Лекции по технологии цифровой связи. Изд. АЭС. Алматы.