Учебники / Цифровое телевизионное вещание под редакцией Г. В. Мамчев, 2014

3) Синтетический профиль - группирует типы объектов синтезиро­

ванного звука, может использоваться в тех случаях, когда источником зву­

ка служит не микрофон и требуется обеспечить передачу при очень низких

скоростях.

4) Основной профиль - наиболее сложный профиль, объединяющий

возможности всех остальных; пригоден для звуков всех видов, обеспечи­ вает высочайшее качество звучания. Примеры применения - запись на

DVD и мультимедийное вещание. Профиль имеет 4 уровня.

Соответствие звуковых профилей и типов объектов показано в

таБЛ.3.10.

Таблица 3.11

Профили графических средств и описаний сцены в MPEG-4

3.4. Стандарт кодированного представления визуальной информации Н.264/АVC или MPEG-4 Part 10

3.4.1. Структура стандарта видеокомпрессии Н.264

Основные механизмы кодирования, используемые в стандарте Н.264

Диапазон битовых скоростей и размеров изображений, поддерживае­ мых стандартом Н.264/АУС, весьма широк. Возможности его видеокоди­ рования простираются от малых битовых скоростей и малой частоты кад­ ров с разрешением видеокадра типа «почтовая марка» для мобильной те­ лефонии и способов передачи по обычным телефонным линиям до телеви­ дения высокой четкости (HDTV). Например, использование стандарта Н.264/АУС совместно со способами обработки аудиоданных ААС позво­ ляет уменьшить скорость потока данных в системе цифрового наземного

телевизионного вещания при передаче одной программы стандартной чет­

кости до 1,5 Мбит/с.

Цель разработки стандарта компрессии Н.264/АУС имела строго прагматический характер. Поэтому он поддерживает всего три профиля (базовый, основной и расширенный) по сравнению с почти двадцатью профилями в стандарте МPEG-4 Visual. Каждый из трех профилей стан­ дарта Н.264 предполагает определенный набор функций кодирования. При этом основными сферами его применения являются - цифровое теле­ визионное вещание, устройства хранения видеоинформации, системы пе­

редачи потокового видео. Зато «продвинутое видеокодирование» обеспе­

чивает более эффективные механизмы компрессии прямоугольных ви­

деокадров.

По ходу разработки нового стандарта Н.264/АУС было применено

много новых технических приемов и усовершенствований. Например, бы­

ла повышена эффективность кодирования по многим параметрам и улуч­

шены алгоритмы предсказания, а именно [33]:

•компенсация движения на основе малых блоков;

•точность в четверть пикселя при компенсации движения;

•векторы движения, выходящие за границы кадров;

•компенсация движения изображения со многими ссылочными кадрами;

•использование порядка ссылочных кадров, отличного от хронологиче­

ского порядка кадров;

•разделение метода представления кадров и возможности использования

снимков для ссылок;

•взвешенное предсказание;

•улучшенный «пропущенный» и «прямой» вывод движения;

•направленное пространственное предсказание для внутреннего кодиро­

вания;

•деблокирующее фильтрование внутри цикла.

тельности закодированных макроблоков и/или из сообщений о пропущен­ ных (некодированных) макроблоках. Каждый макроблок состоит из элемен­ тов заголовка (табл. 3.13) и из закодированных остаточных данных.

Таблица 3.13

Синтаксис элементов макроблока

Определяет моду кодирования макроблока: intra или inter (Р или В); задает размеры частей макроблоков

Определяет моду прогноза intra (I-макроблоков); определяет ссылочный список О и/или список 1 и векторы движения, закодированные дифференцированно для каждого разделения макроблока

(Только для частей I-макроблоков размером 8х8.) Определяет размер разделения на подблоки каждой части макроблока: список sub_mb~red О и/или список 1 ссылочных снимков для каждого разделения

макроблока; дифференцированно закодированные жения для каждого подразделения подмакроблоков

mЬ_qp_delta Шаг изменения параметров квантователя

residual

Закодированные коэффициенты преобразования, отвечающие образцам остаточного изображения после компенсации движения

Таблица 3.14

Используемые типы карт распределения макроблоков по группам слоев

пикселей типа СВ и 8х8 пикселей CR . В нем также имеются элементы син­ таксиса, описанные в табл. 3.13. Макроблоки нумеруются (адресуются в

порядке растрового сканирования кадров.

Группой слоев называется подмножество макроблоков закодирован­

ного снимка. Она может состоять из одного или нескольких слоев. Внутри каждого слоя, принадлежащего группе, макроблоки кодируются в растро­

вом порядке. Если для данного снимка используется только одна группа

слоев, то все макроблоки кодируются в порядке растрового сканирования (за исключением случаев, когда используется ASO - Arbitrary Slice Order, то есть произвольный порядок слоев). Размещение макроблоков задается картой макроблоков в группе слоев, где указывается, какой группе слоев принадлежит каждый блок. В табл. 3.14 перечислены разные типы карт распределения макроблоков по группам слоев.

Профили, используемые стандартом Н.264

В стандарте Н.264 определены три профиля, каждый из которых под­ держивает определенный набор функций кодирования. Эти наборы функ­

ций обозначают, что требуется от кодера и декодера для его подчинения

данному профилю.

Базовый профиль поддерживает моды кодирования intra и inter (на ос­ нове 1 иР-слоев) и энтропийное кодирование с помощью контекстно­ адаптивных кодов переменной длины

Length Codes).

Основной профиль включает поддержку видео с чересстрочной раз­ верткой, кодирование inter с помощью В-слоев и взвешенное прогнозиро­ вание, а также контекстно-адаnтивное двоичное арифметическое кодиро­

вание САВАС (Context-based Adaptive Binary Arithmetic Coding) [33].

Расширенный профиль не поддерживает чересстрочное видео и коди­ poBaHиe САВАС, но в нем имеются некоторые моды, которые позволяют

переключаться между базовыми потоками (sP- и SI-слоями) И повышать устойчивость к ошибкам передачи (разделение данных).

Потенциальными сферами применения базового профиля являются видеотелефония, организация видеоконференций. Потенциальные при­ ложения основного профиля включают телевизионное вещание и уст­ ройства архивирования видеоданных. Расширенный профиль может ока­

заться полезным в приложениях потокового медиа. Однако каждый про­

филь имеет достаточную гибкость для охвата весьма широкого круга

приложений.

На рис. 3.38 показано соотношение между тремя профилями и инст­

рументами кодирования, поддерживаемыми данным стандартом. Из

рис. 3.38 видно, что базовый профиль является подмножеством расширен­ ного, но неосновного профиля.

Рис. 3.38. Структура базового, основного и расширенного профилей стандарта Н.264

Пределы производительности кодеров данных профилей определяют­

ся множеством уровней, которые накладывают ограничения на такие па­

раметры кодирования, как скорость отбора и обработки пикселей, размер кадра, битовая скорость кодирования и объем требуемой памяти.

Стандарт компрессии Н.264 поддерживает кодирование и декодиро­

вание видеопотока с прогрессивной и чересстрочной разверткой в формате

4:2:0.

Формат закодированных данных

Стандарт Н.264 делает различия между модулем кодирования видео

VCL (Video Coding Layer) и абстрактным сетевым модулем NAL (Network

Abstraction Layer). Выходом процесса кодирования служат данные VCL (это последовательность бит, представляющая закодированные видеодан­ ные), которые преобразуются в единицы NAL перед передачей или хране­

нием. Каждая единица NAL состоит из первичной байтовой последова­

тельности данных RВSP (Raw Byte Sequence Payload), то есть из цифровой информации, соответствующей закодированным видеоданным из инфор­ мационного заголовка. Закодированная видеопоследовательность пред­ ставлена в виде ряда единиц NAL (рис. 3.39), который можно переслать по сети пакетной передачи данных или по каналу связи битовых потоков, также сохранить в файле.

Рис. 3.39. Последовательность передачи единиц NAL

Целью раздельной спецификации модулей VCL и NAL является раз­ граничение процесса видеокодирования (VCL) и подготовка данных к их транспортировке (NAL).

Кодер Н.264 может использовать один или два из ранее закодирован­ ных снимков в качестве ссылок для формирования прогноза компенсации движения при кодировании макроблоков или их частей в моде inter.

3.4.2. Базовый профиль

Особенности кодирования, обусловленные базовым профилем

Базовый профиль поддерживает закодированные последовательности, в которые входят слои типа 1 иР. Слои содержат макроблоки в моде intra,

в которых каждая область из 16х16 или 4х4 яркостных пикселей и 8х8

пикселей цветности прогнозируются по ранее закодированным пикселям

этого же слоя. Р-слои могут состоять из макроблоков в модах intra и inter, а также из пропущенных макроблоков. Блоки в моде inter из Р-слоев прогно­

зируются по нескольким ранее закодированным снимкам с помощью ком­

пeHcaции движения с четвертьпиксельной точностью (по компоненте яр­ кости) векторов движения.

После построения прогноза остаточные данные каждого макроблока преобразуются с помощью целочисленного 4х4-преобразования, основан­

ного на ДКП, и результат квантуется. Квантованные коэффициенты преоб­

разования упорядочиваются, и соответствующие синтаксические элементы

кодируются энтропийным кодером.

В базовом профиле при кодировании коэффициентов преобразования

используется энтропийный кодер на основе контекстно-адаптивных кодов

переменной длины (CAVLC), а все остальные синтаксические элементы кодируются с помощью кодов фиксированной длины или с помощью экс­ поненциальных кодов Голомба переменной длины. Квантованные коэф­ фициенты деквантуются, затем применяется обратное преобразование, де­ лается реконструкция (то есть к полученному массиву чисел прибавляется прогноз, сформированный в процессе кодирования) и фильтрация с помо­ щью деблочного фильтра перед (необязательным) сохранением результата

для возможного использования в ссылочных снимках при кодировании

следующих макроблоков в моде intra или inter [33].

Использование ссылочных снимков

Ранее закодированные снимки сохраняются в ссылочном буфере (бу­ фере декодированных снимков DPB - Decoded Picture Buffer) как кодером,

так и декодером. По умолчанию принято, что закодированные снимки ре­

конструируются кодером и сохраняются с пометкой «снимки с близким

сроком», что означает недавнее кодирование снимка, который становится

доступным для прогноза. Снимки с близкими сроками идентифицируются с помощью их номера кадра. Снимки с давними сроками обычно являются более старыми; их тоже можно использовать для прогнозирования, и они идентифицируются переменной Long Тепn Pic NUill. Такие снимки хранят­ ся в буфере DPB вплоть до их явного удаления или замены.

Когда снимок кодируется и реконструируется (кодером) или декоди­ руется (декодером), он помещается в буфер декодированных снимков. При этом он помечается как «используемый для ссылок» (следовательно, он не будет участвовать в прогнозах), или помечается как «снимок с близким

сроком».

Кодер выбирает ссылочные снимки для кодирования каждой части макроблока в моде inter [33].

Мгновенная очистка буфера декодера

Кодер посылает закодированный снимок IDR (Instantaneous Decoder Refresh - мгновенная очистка декодера), который состоит из слоев 1 и S1, дЛЯ очищения содержимого буфера ссылочных кадров. При получении снимка IDR декодер помечает все снимки в ссылочном буфере как «неис­

пользуемые для ссылок». Все последующие переданные слои можно будет декодировать без ссылок на любой кадр, декодированный до снимка IDR. Первый снимок кодируемой видеопоследовательности также является снимком IDR.

Кодер стандарта Н.264 может опционно помещать ограничитель снимка - единицу RBSP на границу между снимками. Это указывает на начало нового кодированного снимка и, кроме того, дает возможность обо­ значить допустимые типы слоев в следующем снимке. Если ограничитель снимка не используется, декодер может обнаружить появление нового

снимка с помощью заголовка первого слоя этого снимка.

Лишний кодированный снимок

Снимок, помеченный как «лишний», содержит избыточное представле­ ние части или всего закодированного снимка. В обычной ситуации декодер

реконструирует кадр из «первичных» (неизбыточных) снимков и игнорирует все лишние снимки. Однако, если первичный снимок был испорчен (напри­ мер, из-за ошибок в начале передачи), декодер может попытаться заменить

испорченную область декодированными данными из избыточного снимка.

Произвольный порядок слоев

Базовый профиль допускает произвольный порядок слоев ASO, это оз­ начает, что слои кодируемого кадра могут следовать в любом порядке деко­ дирования. Использование ASO можно распознать, если первый макроблок