1 / Salmon_sjatie_dannyh_izobrajeniy_i_zvuka[torrents.ru]

Глава 6. Сжатие звука

Уплотнение не ограничивается уравнениями (6.1) и (6.2). Более изощренные методы, такие как /i-правило и А-правило, широко при­ меняются на практике и входят во многие международные стандар­ ты сжатия.

6.5. Сжатие звука в стандарте MPEG-1

Стандарт MPEG-1 сжатия видеофильмов состоит из двух основных частей: сжатия видео и сжатия звука. В этом параграфе обсужда­ ется принципы компрессии звука в MPEG-1, а именно, его третий слой, который широко известен по аббревиатуре МРЗ. Мы советуем читателям обязательно прочитать первую часть этой главы перед тем, как пытаться освоить этот материал.

Формальное имя стандарта MPEG-1 - international standard for moving picture video compression IS 11172 (международный стандарт для сжатия движуп];ихся изображений). Он состоит из 5 частей, сре­ ди которых часть 3 [ISO/IEC 93] определяет алгоритм сжатия зву­ ка. Как любой стандарт, выработанный ITU или ISO, документ, описывающий MPEG-1, имеет нормативный и описательный раз­ делы. Нормативный раздел содержит спецификации стандарта. Он написан строгим языком р^ля тех, кто будем создавать программ­ ные реализации метода для конкретных машинных платформ. Опи­ сательный раздел иллюстрирует выбранные концепции, объясняет причины выбора того или иного подхода, содержит необходимые базовые сведения.

Примером нормативного раздела являются таблицы с различ­ ными параметрами и с кодами Хаффмана, которые используются в стандарте MPEG. А примером описательного раздела служит алго­ ритм, задающий психоаккустическую модель. MPEG не дает кон­ кретного алгоритма, и кодер MPEG свободен в выборе метода ре­ ализации модели. В этом параграфе просто рассматриваются неко­ торые возможные альтернативы.

Аудиостандарт MPEG-1 описывает три метода сжатия, называ­ емые слоями (layer), которые обозначаются римскими числами I, II и III. Все три слоя входят в стандарт MPEG-1, но здесь будет опи­ сан только слой III. При сжатии видеофильмов используется только один слой, который обозначается в заголовке сжатого файла. Лю­ бой из этих слоев можно независимо использовать для сжатия зву­ ка без видео. Функциональные модули младших слоев могут быть использованы старшими слоями, но более высокие слои использу-

6.5. Сэюатие звука в стандарте MPEG-1

ют дополнительные возможности для лучшего сжатия. Интересной особенностью слоев является их иерархическая структура, то есть, декодер слоя III может декодировать файлы сжатые слоями I и П.

Результатом разработки трех слоев было возрастание популяр­ ности слоя III. Кодер этого метода очень сложен, но он произво­ дит замечательную компрессию, это обстоятельство в сочетании с тем, что декодер существенно прош;е кодера, породило небывалый взрыв популярности звуковых файлов, которые называются МРЗфайлами. Очень легко добыть декодер слоя III, с помощью которо­ го можно прослушивать записи формата МРЗ, которые в огромном количестве находятся во всемирной паутине. Это был настоящий триумф аудиочасти проекта MPEG.

Аудиостандарт MPEG [ISO/IEC 93] начинается нормативным описанием формата сжатого файла для каждого из трех слоев. За­ тем следует нормативное описание декодера. Описание кодера (оно разное для всех слоев), а также двух психоакустических моделей содержится в описательном разделе; любой кодер, способный сге­ нерировать корректно сжатый файл, может считаться допустимым кодером MPEG. Имеется также несколько приложений, в которых обсуждаются смежные вопросы, например, защита от ошибок.

По контрасту с MPEG-видео, где имеется большое число ин­ формационных ресурсов, читателю доступно относительно малое число источников технической литературы по MPEG-аудио. Вме­ сте со ссылками следующего абзаца можно порекомендовать MPEG консорциум [MPEG 2000]. На этом сайте имеется масса ссылок на другие ресурсы, которые время от времени обновляются. Другим источником информации может служить Ассоциация аудиоинженеров (Association of Audio Engeneers, AES). Большинство идей и тех­ нических решений, использованных в аудиостандарте MPEG были опубликованы в трудах многих конференций этой организации. Од­ нако эти материалы не являются свободно доступными и их можно получить только из AES.

Для дополнительной информации по трем слоям см. [Branden­ burg, Stoll 94], [ISO/IEC 93], [Pan 95], [Rao, Hwang 96] и [Shlien 94].

При оцифровывании видеофильмов звуковая часть может состо­ ять из двух звуковых дорожек (стереозвук), каждая из которых сэм­ плирована при 44.1 кГц с 16-битными звуковыми фрагментами. Это приводит к битовой скорости аудиоданных 2 х 44100 х 16 = 1411 200 бит/сек, близкой к 1.5 Мбит/сек. Кроме скорости сэмплирования в 44.1 кГц предусмотрены скорости 32 кГц и 48 кГц. Важным свой-

Глава 6.. Сжатие звука

ством MPEG аудио является возможность задания пользователем коэффициента сжатия. Стандарт позволяет получить битовую ско­ рость сжатого звукового файла в диапазоне от 32 до 224 Кбит/сек на один аудиоканал (их обычно два для стереозвука). В зависимости от исходной частоты сэмплирования, эти битовые скорости означа­ ют фактор сжатия от 2.7 (низкий) до 24 (впечатляющий)! Причина жесткой заданности битовой скорости сжатого файла связана с не­ обходимостью синхронизации звука и сжатого видеоряда.

В основе сжатия звука в MPEG лежит принцип квантования. Однако, квантуемые величины берутся не из звуковых сэмплов, а из чисел (называемых сигналами) которые выделяются из частотной области звука (это обсуждается в следующем абзаце). Тот факт, что коэффициент сжатия (или битовая скорость) известен кодеру означает, что кодер в каждый момент времени знает, сколько бит можно назначить квантуемому сигналу. Следовательно важной ча­ стью кодера является (адаптивный) алгоритм назначения битов. Этот алгоритм использует известную битовую скорость и частот­ ный спектр самых последних аудиосэмплов для определения разме­ ра квантованного сигнала так, чтобы шум квантования (разность между исходным сигналом и его квантованным образом) была не­ слышимой (т.е., она находится ниже порога маскирования^ который обсуждался в § 6.3).

Психоакустические модели используют частоту сжимаемого зву­ ка, но входной файл содержит звуковые сэмплы, а не звуковые ча­ стоты. Эти частоты необходимо вычислить с помощью сэмплов. По этой причине первым шагом аудиокодера MPEG является дискрет­ ное преобразование Фурье, при котором 512 последовательных зву­ ковых сэмплов преобразуется в частотную область. Поскольку коли­ чество частот может быть большим, их группируют в 32 подполосы одинаковой ширины. Для каждой подполосы вычисляется число, ко­ торое указывает на интенсивность звука в данной подполосе. Эти числа, называемые сигналами^ затем квантуются. Грубость кванто­ вания на каждой подполосе определяется с помощью порога мас­ кирования этой подполосы, а также с помощью числа оставшихся для кодирования битов. Порог маскирования для каждой подполосы вычисляется с помощью психоакустической модели.

MPEG использует две психоакустические модели для частотного и временного маскирования. Каждая модель описывает, как гром­ кий звук маскирует другие звуки, которые близки к этому звуку по частоте или по времени. Модель разделяет область частот на

6.5. Сэюатие звука в стандарте MPEG-1

24 критические полосы и определяет, как эффекты маскирования проявляются в каждой из полос. Эффект маскирования, конечно, зависит от частот и амплитуд тонов. Когда звук разжимается и вос­ производится, пользователь (слушатель) может выбрать любую ам­ плитуду звучания, поэтому психоакустическая модель должна быть разработана р^ля наихудшего случая. Эффекты маскирования также зависят от природы источника сжимаемого звука. Источник может быть музыкальноподобным или шумоподобным. Две психоакусти­ ческие модели основаны на результатах экспериментальной работе исследователей за многие годы.

Декодер должен быть быстрым, поскольку ему, возможно, пред­ стоит декодировать видео и аудио в режиме реального времени. Поэтому он должен быть простым. Значит, у него нет времени использовать психоакустическую модель или алгоритм назначения битов. То есть, сжатый файл должен содержать исчерпываюп];ую информацию, которую декодер будет использовать при деквантовании сигналов. Эта информация (размер квантованных сигналов) должна быть записана кодером в сжатый файл и она требует не­ которое дополнительные расходы, которые будут удовлетворены за счет оставшихся битов.

На рис 6.8 приведена блок-схема основных компонентов кодера и декодера звука в MPEG. Вспомогательные данные определяются пользователем; обычно они связаны с конкретными приложениями. Эти данные не являются обязательными.

Глава 6. Сэ/сатие звука

6.5.1. Кодирование частотной областей

Первый шаг кодирования звуковых сэмплов заключается в преобра­ зовании их в частотную область. Это делается с помощью банка многофазных фильтров^ который отображает сэмплы в 32 частот­ ные полосы равной ширины. Используемые фильтры обеспечивают быстрое преобразование с хорошим временным и частотным разре­ шением. При этом разработчикам пришлось пойти на три компро­ мисса.

Первый компромисс - это равенство ширины всех 32 частот­ ных подполос. Это упрощает фильтры, но сильно контрастирует с особенностями слухового восприятия, которое зависит от часто­ ты звука. В идеале было бы лучше разделить частоты на крити­ ческие полосы, обсуждавшиеся в § 6.3. Эти полосы построены так, что воспринимаемая громкость данного звука и его слышимость в присутствии другого, маскирующего звука, является совместимой в пределах данной критической полосы, но различается между поло­ сами. К сожалению, каждая из низкочастотных полос перекрывает несколько критических полос, в результате алгоритм назначения битов не может оптимизировать число присваиваемых битов кван­ тованному сигналу в пределах этих подполос. Когда несколько кри­ тических полос накрываются подполосой X, алгоритм назначения битов выбирает критическую полосу с наименьшей шумовой маской и использует эту подполосу для нахождения числа присваиваемых битов квантованным сигналам из подполосы X.

Второй компромисс связан с обращением банка фильтров, ко­ торый используется декодером. Исходное преобразование из вре­ менной области в частотную теряет часть информации (даже до квантования). Следовательно декодер получает данные, которые не­ много хуже; он делает обратное преобразование из частотной обла­ сти во временную, и тем самым вносит еще большее искажение. Поэтому разработчики этих двух банков фильтров (для прямого и обратного преобразований) постарались минимизировать эту потерю.

Третий компромисс относится к конкретным фильтрам. Смеж­ ные фильтры должны идеально пропускать разные диапазоны ча­ стот. На практике они имеют существенное частотное перекрытие. Звук, состоящий из одного чистого тона, может попасть в два филь­ тра и породить сигналы (которые потом будут квантоваться) в две из 32 подполосы вместо одной.

Многофазный банк фильтров использует (помимо других про­ межуточных структур данных) буфер X для хранения 512 входных

6.5. Сжатие звука в стандарте MPEG-1

сэмплов. Буфером служит очередь FIFO (first-in-first-out, первым вошел - первым вышел), которая всегда содержит не более 512 по­ следних входных сэмплов. На рис. 6.9 показаны пять основных ша­ гов алгоритма многофазного фильтрования.

Алгоритм читает очередные 32 сэмпла из входного файла и зано­ сит их в буфер, одновременно сдвигая его. Буфер всегда содержит 512 самых последних сэмплов. Сигналы St[i] для 32 подполос вычи­ сляются по формуле

A;=0 j=0

Здесь St[i] обозначает сигнал подполосы i в момент времени t. Век­ тор С состоит из 512 коэффициентов окна анализа, которые жестко заданы стандартом. М обозначает матрицу анализа с компонента­ ми

является модификацией матрицы хорошо известного преобразова­ ния DCT, поэтому она называется матрицей MDCT). Это особен­ ность отражается в компромиссе, который позволяет уменьшить число арифметических операций. В самом деле, 32 сигнала St[i] вы­ числяются с помощью всего 512 + 32 х 64 = 2560 умножений и 64 X 7 4- 32 X 63 = 2464 сложений, что дает примерно 80 умноже­ ний и 80 сложений на один сигнал. Другой важный момент состоит в децимации (прореживании) сэмплов (см. § 4.4). Весь банк филь­ тров производит 32 выходных сигнала для 32 сэмплов. Поскольку

Глава 6. Сжатие звука

каждый из 32 фильтров порождает по 32 сигнала, их следует про­ редить, оставив только один сигнал на фильтр.

Рис. 6.10 графически иллюстрирует работу кодера и декодера при выполнении шага многофазного фильтрования. Часть (а) ри­ сунка показывает буфер X, состоящий из 64 сегментов по 32 зву­ ковых сэмпла в каждом. Буфер сдвигается на один сегмент вправо перед чтением следующих 32 новых сэмплов из входного файла, ко­ торые попадают в буфер слева. После умножения буфера X на коэф­ фициенты окна С, результат помещается в вектор Z. Компоненты этого вектора делятся на сегменты по 64 числа в каждом, и эти сег­ менты складываются, образуя вектор Y. Вектор У умножается на матрицу MDCT, и результат попадает в окончательный вектор из 32 компонент - сигналов подполосы.

Часть (Ь) рисунка показьюает операции, совершаемые декодером. Группа из 32 сигналов подполосы умножается на матрицу IMDCT с компонентами Ni^k, и результат заносится в вектор V, состоящий из двух сегментов по 32 числа в каждом. Эти сегменты задвига­ ются в буфер FIFO V слева. Буфер V имеет ячейки для последних 16 векторов V (то есть, для 16 х 64, или 1024 чисел). Новый вектор и из 512 компонентов образуется из 32 альтернативных сегментов буфера F , как показано на рисунке. Затем вектор U умножается на 512 коэффициентов Di окна синтеза (аналогично коэффициентам С{ окна анализа, используемого кодером) для вычисления вектора W. Этот вектор делится на 16 сегментов по 32 компоненты в каждом и все сегменты складываются. Результатом служат 32 реконструиро­ ванных звуковых сэмпла. На рис. 6.11 приведена блок-схема, иллю­ стрирующая весь процесс вычислений. Компоненты матрицы син­ теза IMDCT задаются формулой

Ar,, = c o s ( i ? ^ ± M ± l ^ ) Z L ) , , = o,...,63;fc = 0 , . . . , 3 1 .

Сигналы подполос, вычисленные на стадии фильтрования, затем собираются в кадры, содержащие по 1152 сигнала. После этого сиг­ налы масштабируются и квантуются на основе психоакустической модели, используемой кодером, с применением алгоритма назначе­ ния битов. Квантованные величины, вместе с коэффициентами мас­ штабирования и информацией о квантовании (число уровней кван­ тования в каждой подполосе) записываются в сжатый файл (здесь также используется кодирование Хаффмана).

L 328 Глава 6. Сэюатие звука

1. Прочитать 32 новых сигнала Si, г = 0,...,31.

5. Построить W. Для г = О до 511 выполнить, Wi = Ui х Di.

6. Вычислить 32 сэмпла. Для ji = О до 31 выполнить, Sj = J3t=o ^j+32i- 7. Выдать на выход 32 сэмпла Sj.

в начале вектор V инициализируется нулями.

Рис. 6.11. Реконструкция аудиосэмплов.

6.5.2. Формат сэ1сатых данных

Каждый кадр содержит 36 сигналов от каждой подполосы, а все­ го - 1152 сигнала. Сигналы кадра квантуются (этим достигается эффект компрессии) и записываются в сжатый файл вместе с дру­ гой информацией.

Каждый кадр, записанный в выходной файл, начинается заго­ ловком из 32 бит, формат которого идентичен для всех трех слоев кодера. Заголовок имеет код синхронизации (12 битов единиц) и 20 битов параметров кодирования, которые перечислены ниже. Если применяется защита от ошибок, то за заголовком непосредствен­ но следует 16-битное контрольное слово CRC. Затем располагаются квантованные сигналы, за которыми идет необязательный вспомо­ гательный блок данных. Формат последних двух блоков зависит от номера слоя.

Код синхронизации нужен для того, чтобы декодер распознал заголовок кадра. Этот код состоит из 12 единиц, поэтому формат сжатого файла должен иметь такую структуру, чтобы избежать появление последовательности из 12 единиц в любом другом месте, кроме заголовков кадров.

Остальные 20 бит заголовка разделены на 12 полей следующим образом.

Поле 1. Идентификационный бит ID, значение которого равно 1 (указывает на использование MPEG). Значение О зарезервировано и пока не используется.

6.5. Сжатие звука в стандарте MPEG-1

Поле 2. Два бита, обозначающие номер слоя. Значимые величи­ ны: 11 - слой I, 10 - слой II и 01 - слой III. Значение 00 зарезерви­ ровано.

Поле 3. Бит индексации использования защиты от ошибок. Нуле­ вое значение означает, что к данным была добавлена избыточность для обнаружения возможных ошибок.

Поле 4. Четыре бита д^ля обозначения битовой скорости. Нулевой индекс указывает на «фиксированную» скорость, когда кадр может содержать дополнительные вставки, зависящие от бита заполнения (поле 6).

Поле 5. Два бита для обозначения одну из трех возможных ско­ ростей сэмплирования. Вот это три значения: 00 — 44.1 кГц, 01 — 48 кГц и 10 — 32 кГц. Значение 11 зарезервировано.

Поле 6. Один бит, указывающий на использование заполнения. Заполнение может добавить вставку (вставки здесь не обсуждают­ ся) в сжатый файл после некоторого числа кадров для того, чтобы общий размер кадров был или равен, или чуть меньше суммы

^частота сэмплирования

первый кадр

где размер кадра равен 384 сигнала для слоя I и 1152 сигнала для слоев II и III.

Следующий алгоритм может быть использован для выяснения

Этот алгоритм имеет простую интерпретацию. Кадр делится на N или 7V -}- 1 частей, где N зависит от слоя. Для слоя I число N