(по цифровому вещанию) Dvorkovich_V_Cifrovye_videoinformacionnye_sistemy

Глава14. Стандарты кодирования динамических изображений

Таблица 14.27 (окончание)

Дополнительные масштабируемые профили

Масштабируемый

базовый профиль

В первую очередь ориентирован на видеоконференции,

14. мобильные приложения и наблюдение, этот профиль

(Scalable Baseline

Profile)

основывается на версии профиля BP.

Масштабируемый В первую очередь ориентирован на приложения

15.высокий профиль потокового вещания, этот профиль основывается на

Как и в MPEG-4/Видео, при обработке динамических изображений по стандарту H.264/AVC уровни профилей задаются в виде ограничения параметров формируемых битовых потоков.

Таблица 14.28. Уровни профилей стандарта H.264/AVC и их максимально возможные параметры

14.6. H.264/MPEG-4 часть 10 AVC — улучшенное видеокодирование

Таблица 14.28 (окончание)

14.6.2. Эффективность сжатия в стандарте H.264/AVC

Среди функциональных возможностей H.264/AVC, которые позволяют поднять эффективность кодирования по отношению к предшествующим стандартам кодирования видео, следует подчеркнуть следующие усовершенствования и новые возможности предсказания содержания кодируемого изображения [5.67, 5.68, 5.71, 5.72].

Глава14. Стандарты кодирования динамических изображений

–Компенсация движения с использованием переменных размеров блока, включая малые размеры блока. Стандарт поддерживает достаточно большую гибкость в выборе размеров и форм блоков при компенсации движения по сравнению со всеми предшествовавшими стандартами, причем минимальный размер блока составляет 4 × 4 пиксела и позволяет точно выделять области движения.

–Компенсация движения с точностью до четверти пиксела. Большинство предшествовавших стандартов поддерживали компенсацию движения с точностью не более полпиксела. Стандарт повышает точность компенсации движения до четверти пиксела (что особенно актуально для медленного движения), как и в расширенном профиле MPEG-4, но в стандарте H.264/AVC уменьшена сложность интерполяции. Цветность, как правило, хранится с разрешением, уменьшенным вдвое по вертикали и горизонтали, поэтому компенсация движения для компонента цветности использует точность в одну восьмую пиксела цветности.

–Векторы движения, выводящие за границы изображения. В MPEG-2 и предшествовавших ему стандартах векторов движения могли указывать только на пикселы, находящиеся в границах декодированного опорного изображения. Методика экстраполяции за границы изображения, появившаяся как опция в H.263, включена также в стандарт H.264/AVC.

–Компенсация движения с несколькими опорными изображениями. Изображения, кодированные с предсказанием (P), в MPEG-2 и предшествовавших ему стандартах использовали только одно предыдущее изображение для предсказания значений в новом изображении. В стандарте H.264/AVC расширяется методика увеличенного выбора опорного изображения, появившаяся в приложении к стандарту H.263; это поднимает эффективность кодирования, так как позволяет кодеру выбирать для компенсации движения между большим количеством изображений, декодированных и сохраненных на декодере. Такое же расширение возможностей выбора опорного изображения применяется и для двунаправленного предсказания (В-кад- ры). В MPEG-2 для двунаправленного предсказания должны использоваться строго определенные изображения — предшествующее и последующее в порядке воспроизведения внутрикодированные (I) или кодированные с предсказанием (P) изображения. В данном стандарте предусматривается возможность использования до 32 ссылок на другие кадры. В большинстве сцен данная функция обеспечивает не очень большое улучшение в качестве и не даёт заметного понижения цифрового потока. Однако для некоторых сцен, например с часто повторяющимися участками, возвратнопоступательным движением и т. п. подобный подход при сохранении качества позволяет очень сильно снизить затраты цифрового потока.

–Независимость порядка воспроизведения изображений и порядка опорных изображений. В предшествующих стандартах устанавливалась жесткая зависимость между порядком следования изображений для использования при компенсации движения и порядком следования изображений при воспроизведении. В стандарте H.264/AVC эти ограничения в значительной мере устранены, что позволяет кодеру выбирать порядок изображений для компенсации движения и для воспроизведения с высокой степенью гибко-

14.6. H.264/MPEG-4 часть 10 AVC — улучшенное видеокодирование

сти, которая ограничена только объемом памяти, который гарантирует возможность декодирования. Устранение ограничения также позволяет в ряде случаев исключить дополнительную задержку, ранее связанную с двунаправленным предсказанием.

–Независимость методов обработки изображений и возможности их использования для предсказания движения. В предшествующих стандартах изображения, закодированные с использованием некоторых методов (например, двунаправленного предсказания), не могли использоваться в качестве опорных для предсказания движения других изображений видеопоследовательности. Устраняя это ограничение, стандарт H.264/AVC обеспечивает кодеру большую гибкость и, во многих случаях, возможность использовать для предсказания движения изображение, более близкое по содержанию к кодируемому.

–Взвешенное предсказание. Эта новая возможность стандарта позволяет взвешивать и сдвигать сигнал после компенсации движения на величины, указанные кодером. Такая методика может чрезвычайно сильно поднять эффективность кодирования для сцен с изменением освещенности, а также гибко использоваться для других целей.

–Улучшенная обработка «пропущенных» (skipped) блоков и блоков с «прямым» (direct) предсказанием движения. В предшествующих стандартах «пропущенные» области изображения, кодируемого с предсказанием, не могли содержать движения, что отрицательно сказывалось на эффективности кодирования, когда кодируемое видео содержало движение сцены в целом. Новый стандарт предполагает возможное наличие движения в «пропущенных» областях. Для областей с двунаправленным предсказанием новый стандарт также предусматривает расширенный метод компенсации движения, известный под названием «прямая» компенсация движения, который позволяет улучшить «прямое» предсказание, введенное в приложении к H.263 и MPEG-4.

–Направленное пространственное предсказание для внутрикадрового кодирования. Новая методика экстраполяции краев ранее декодированных частей текущего изображения применяется в областях изображений, кодируемых с помощью внутрикадровой методики (т. е. без ссылок на содержание других изображений). Эта методика повышает качество сигнала, используемого для предсказания, а также позволяет использовать для предсказания соседние области, которые были закодированы не с помощью внутрикадровой методики (это не допускалось в стандартах H.263 и MPEG-4).

–Гибкие функции чересстрочного сжатия (поддерживается не во всех профилях). Адаптивное к изображению кодирование полей, позволяющее кодировать каждый кадр как кадр или как пару полей (полукадров) — в зависимости от наличия/отсутствия движения. Адаптивное к макроблокам кодирование полей, позволяющее независимо кодировать каждую вертикальную пару макроблоков (блок 16 × 32) как прогрессивные или чересстрочные. Позволяет использовать макроблоки 16 ×16 в режиме разбиения на поля.

–Логарифмическое управление длиной шага квантования для упрощения распределения цифрового потока кодером и упрощенного вычисления об-

Глава14. Стандарты кодирования динамических изображений

ратной величины квантования. Частотно-оптимизированные матрицы масштабирования квантования, выбираемые кодером для оптимизации квантования на основе человеческих особенностей восприятия (поддерживается не во всех профилях).

–Деблокинговая фильтрация в цикле кодирования. Кодирование видео, основанное на обработке блоков, приводит к искажениям, называемым «блокингэффектом». Причиной может служить как предсказание, так и кодирование остатков предсказания. Применение адаптивного деблокингового фильтра — хорошо известный метод повышения качества восстановленного видео, и при правильном проектировании может повысить как субъективное, так и объективное качество. Построенный на основе концепции приложения к стандарту H.263, деблокинговый фильтр в стандарте H.264/AVC внесен в петлю обратной связи предсказания и компенсации движения. Таким образом, повышение качества изображения может быть использовано в межкадровом предсказании, что, в свою очередь, улучшает возможность предсказания движения других изображений.

В дополнение к улучшенным методам предсказания, другие части стандарта были также расширены с целью повышения эффективности кодирования. Стандарт предусматривает ряд дополнительных функций обработки динамических изображений.

–Преобразование блоков небольшого размера. Все основные предшествующие стандарты кодирования видео использовали преобразование блоков размером 8 × 8, в то время как новый стандарт основан главным образом на преобразовании блоков 4 × 4. Это позволяет кодеру представлять сигнал более локально-адаптивным образом, что уменьшает искажения, известные под названием «окантовки» или «звон» (ringing). Меньший размер блоков также частично оправдан тем, что использование описанных выше методов позволяет лучше предсказывать содержание видео, но при этом требуется обеспечить области преобразования с границами, соответствующими меньшим областям предсказания.

–Иерархическое преобразование блоков. Хотя в большинстве случаев использование малых размеров блоков преобразования (4 × 4) визуально предпочтительнее, есть некоторые сигналы, содержащие существенную корреляцию, для которых выгоднее использовать более длительные базисные функции. Новый стандарт позволяет делать это двумя способами: с помощью иерархического преобразования (для увеличения эффективного размера блоков) для низкочастотной цветностной информации (8 ×8); и путем предоставления кодеру возможности выбрать специальный тип внутрикадрового кодирования, позволяющий расширить размер преобразования яркости для низкочастотной информации до размера блока 16 × 16.

–Преобразование с использованием 16-битной арифметики. Все предшествующие стандарты требовали от кодеров и декодеров более сложных вычислений при преобразовании. В то время как ранее требовались, как правило, вычисления с использованием 32-битной арифметики, новый стандарт использует только 16-битную точность вычислений.

–Точное обратное преобразование. В предшествующих стандартах видеокодирования преобразование, используемое для представления видео (дис-

14.6. H.264/MPEG-4 часть 10 AVC — улучшенное видеокодирование

кретное косинусное преобразование, ДКП), оговаривалось только в рамках допустимых ошибок из-за практической нереализуемости точного обратного преобразования. В итоге каждая реализация декодера могла давать слегка различное декодированное видео, обусловливающее несовпадение представления декодированного видео на кодере и декодере, что приводит к снижению эффективного качества видео. Новый стандарт, следуя пути, намеченному в одном из приложений к H.263, первым достиг точного совпадения декодированного видео на всех декодерах.

–Арифметическое энтропийное кодирование. В стандарт включен передовой метод энтропийного кодирования, известный как арифметическое кодирование. Хотя арифметическое кодирование включалось как необязательная возможность в стандарте H.263, новый стандарт использует более эффективную методику — контекстно-адаптивное двоичное арифметическое кодирование CABAC (Context-adaptive binary arithmetic coding). Оно поддерживается только в Главном профиле и выше. Предусмотрено также использование контекстно-адаптивного кодирования кодами переменной длины — CAVLC (Context-adaptive variable-length coding). CAVLC обладает меньшей сложностью, чем CABAC, но тем не менее сложнее и эффективнее, чем алгоритмы, применяемые для тех же целей в более ранних технологиях сжатия видео (как правило, это алгоритм Хаффмана).

Устойчивость к ошибкам и потерям данных и гибкость работы на множестве сетевых структур в новом стандарте определяется целым рядом новых методик,

ккоторым можно отнести нижеследующие.

–Структура набора параметров. Набор параметров обеспечивает устойчивую и эффективную передачу заголовочной информации. Так как потеря нескольких ключевых битов информации (таких как заголовок последовательности или заголовок изображения) может оказать сильное отрицательное воздействие на процесс декодирования в предыдущих стандартах, эта ключевая информация была отделена, и обрабатывается более гибким специализированным способом в новом стандарте.

–Синтаксическая структура блока Уровня сетевой абстракции (NAL unit). Каждая синтаксическая структура в новом стандарте помещается в логический пакет данных, называемый блоком NAL. Синтаксическая структура блоков NAL предусматривает достаточно большую гибкость для передачи видеоконтента способом, наиболее подходящим для каждого специфического вида сетей.

–Гибкий размер слайса. В отличие от жесткой слайсовой структуры MPEG-2 (которая уменьшает эффективность кодирования, увеличивая объем заголовочной информации и уменьшая эффективность предсказания), размеры слайсов в новом стандарте задаются очень гибко (как это было ранее в стандарте MPEG-1).

–Гибкое упорядочивание макроблоков. В H.264/AVC была разработана новая возможность деления изображения на области, называемые группами слайсов, причем каждый слайс становится независимо декодируемым подмножеством группы слайсов. При эффективном использовании гибкое упорядочивание макроблоков может существенно повысить устойчивость

Глава14. Стандарты кодирования динамических изображений

кпотере данных путем обработки пространственных зависимостей между областями, которые кодируются в каждом слайсе. Гибкое упорядочивание макроблоков может также использоваться для множества других целей.

–Произвольное упорядочивание слайсов. Так как каждый слайс кодированного изображения может быть декодирован независимо от других слайсов изображения (при определенных ограничениях кодирования), новый стандарт позволяет посылать и получать слайсы в произвольном порядке друг относительно друга. Эта возможность, впервые появившаяся в необязательном приложении к стандарту H.263, может снизить задержку в приложениях реального времени, особенно при использовании на сетях, имеющих режим работы «доставка вне очереди» (например, в IP-сетях).

–Избыточные изображения. Для увеличения устойчивости к потере данных новый стандарт содержит возможность посылки кодером избыточного представления областей изображений, позволяя воспроизвести области изображений (обычно с некоторой потерей качества), для представления которых данные были потеряны в процессе передачи.

–Разбиение данных. Так как некоторая кодированная информация для представления каждой области (например, вектора движения и другая информация предсказания) имеет большую значимость для представления видеоконтента, чем остальная информация, новый стандарт позволяет разделить синтаксис каждого слайса на части (до трех частей) для передачи в зависимости от категории синтаксических элементов. Эта часть стандарта построена на основе, заложенной в MPEG-4 и необязательном приложении

кH.263. В новом стандарте методика упрощена благодаря использованию единого синтаксиса.

–SP/SI синхронизация/переключение изображений. H.264/AVC вводит новые типы изображений, которые делают возможной точную синхронизацию процесса декодирования некоторых декодеров с непрерывным видеопотоком, производимым другими декодерами, не приводя к потере эффективности декодеров, обусловленной посылкой внутрикодированного (I) изображения. Это свойство может позволить переключение работы декодера между представлениями видеоконтента с разными скоростями потока, восстановление после потерь или ошибок данных, а также использование специальных режимов, таких как быстрая перемотка вперед или назад и др.

14.6.3. Уровень сетевой абстракции

Уровень сетевой абстракции (NAL) создан для обеспечения «дружественности к сетям», позволяя простую и эффективную настройку к использованию уровня видеокодирования (VCL) в широком спектре систем.

Уровень сетевой абстракции облегчает возможность переносить данные уровня видеокодирования H.264/AVC на транспортном уровне, таком как:

–RTP/IP для любых типов проводных и беспроводных Интернет-сервисов реального времени (диалоговых или потоковых);

–файловые форматы, например ISO MP4, для хранения и MMS;

–H.32X для проводных и беспроводных диалоговых сервисов;

–систем MPEG-2 для вещательных услуг и т. д.

14.6. H.264/MPEG-4 часть 10 AVC — улучшенное видеокодирование

Полная настройка видеоконтента для нужд каждого конкретного приложения находится вне области стандартизации H.264/AVC, но дизайн уровня сетевой абстракции предвосхищает множество таких настроек.

Кодированные видеоданные организованы в элементы NAL, каждый из которых представляет собой пакет, содержащий целое количество байтов. Первый байт каждого элемента NAL — заголовочный байт, который содержит информацию о типе данных в этом элементе, остальные байты содержат сами данные (данные полезной нагрузки), тип которых указан в заголовке.

Данные полезной нагрузки в элементе NAL по необходимости перемешаны с байтами, препятствующими эмуляции стартовых кодов.

Определение структуры элемента NAL указывает общий формат для использования как в пакетных, так и в потоковых транспортных системах; последовательность элементов NAL, генерируемая кодером, называется потоком элементов NAL.

Некоторые системы (например, Н.320 и MPEG-2|H.222.0) требуют доставки всего или части потока элементов NAL как упорядоченного потока байтов или битов, в котором положение границ элементов NAL следует идентифицировать среди самих кодированных данных.

Для использования в таких системах новый стандарт определяет формат байтового потока. В этом формате каждому элементу NAL предшествует специфический трехбайтовый код, называемый префиксом стартового кода. Тогда границы элемента NAL могут быть определены с помощью поиска в кодированных данных уникального префикса стартового кода. Использование байтов, препятствующих эмуляции стартовых кодов, гарантирует, что префикс стартового кода однозначно идентифицирует начало нового элемента NAL.

Небольшое количество дополнительных данных (один байт на видеоизображение) также добавляется для того, чтобы позволить декодерам, работающим в системах с потоками битов без выравнивания по границе байта, восстанавливать необходимое выравнивание из данных в потоке. Дополнительные данные также могут вставляться в поток байтового формата, если это необходимо для увеличения количества посылаемых данных и для достижения более быстрого восстановления выравнивания байтов.

В других системах (например, IP/RTP) кодированные данные переносятся пакетами, которые собираются системным транспортным протоколом, и идентификация границ элементов NAL в пакетах может быть произведена без использования префиксов стартовых кодов. В таких системах включение этих префиксов снижало бы пропускную способность данных. Вместо этого элементы NAL могут переноситься в пакетах данных без стартовых префиксов.

Элементы NAL классифицируются на VLC (уровень видеокодирования) и не VLC. Первые содержат данные, представляющие величины отсчетов видеоизображений, вторые — любую связанную дополнительную информацию, такую как наборы параметров (важные заголовочные данные, которые применяются к большому количеству VLC элементам NAL) и дополнительная расширенная информация (временная информация и другие дополнительные данные, которые могут расширять используемость декодируемого видеосигнала, но не являются необходимыми для декодирования величин отсчетов в видеоизображениях).

Глава14. Стандарты кодирования динамических изображений

Наборы параметров содержат информацию, которая должна редко изменяться, и позволяют декодировать большое количество VLC-элементов NAL. Есть два типа наборов параметров:

–наборы параметров последовательности, которые применяются к ряду последовательно закодированных видеоизображений, называемых кодированная видеопоследовательность, и

–наборы параметров изображений, которые применяются при декодировании одного или более отдельных изображений в кодированной видеопоследовательности.

Механизм наборов параметров последовательностей и изображений разделяет передачу редко меняющейся информации и передачу кодированного представления значений отсчетов в видеоизображениях.

Множество элементов NAL в определенной форме называется единицей (элементом) доступа. Декодирование каждой единицы доступа дает одно декодированное изображение.

Кодированная видеопоследовательность состоит из набора единиц доступа, которые последовательно идут в потоке элементов NAL и используют только один набор параметров последовательности. Каждая кодированная видеопоследовательность может быть декодирована независимо от других видеопоследовательностей при наличии необходимого набора параметров, который может быть передан «в полосе» или «вне полосы». В начале кодированной видеопоследовательности располагается единица доступа, называемая мгновенное обновление декодирования (instantaneous decoding refresh, IDR). Эта единица доступа содержит внутрикодированное (intra) изображение – кодированное изображение, которое может быть декодировано без декодирования каких-либо предыдущих кадров в потоке элементов NAL, и присутствие этой единицы доступа означает, что ни одно последующее изображение не потребует для декодирования ссылки на изображения, предшествующие внутрикодированному, которое содержится в этой единице доступа.

14.6.4. Уровень видеокодирования

Хотя в стандарте H.264/AVC нет явного определения кодирующего и декодирующего устройств, однако кодер и декодер должны включать функциональные элементы, приведенные на рис. 14.26 и рис. 14.27.

Кодер включает две ветви обработки видеопотока:

–канал прямого кодирования (светлые блоки);

–канал реконструкции видеоизображения (темные блоки).

На вход кодера поступает кадр Fn.

Как и во всех предыдущих стандартах видеокодирования, начиная с Н.261, построение уровня видеокодирования следует так называемой модели блочного гибридного видеокодирования, когда каждое закодированное изображение представляется участками блочной формы, состоящими из связанных отсчетов яркости и цветности и называемых макроблоками размером 16 ×16 пикселов в исходном изображении. Базовый алгоритм кодирования источника является гибридным, включая межкадровое предсказание, использующее временную статисти-

14.6. H.264/MPEG-4 часть 10 AVC — улучшенное видеокодирование

Рис. 14.26. Функциональная схема кодера H.264/AVC

Рис. 14.27. Функциональная схема декодера H.264/AVC

ческую зависимость, и кодирование с преобразованием остатков предсказания, использующее пространственные статистические связи. На уровне видеокодирования нет ни одного элемента кодирования, который обеспечивал бы большую часть существенного увеличения эффективности кодирования по отношению к предшествующим стандартам видеокодирования. Введено множество небольших улучшений, которые вместе приводят к существенному росту эффективности кодирования.

Каждый макроблок может быть обработан в двух режимах: INTRA или INTER. В любом режиме прогноз макроблока Pn формируется на основе восстановленного кадра.

Врежиме INTRA прогноз формируется из выборок текущего кадра n, пред-

варительно закодированных в кодере (до деблокирующего фильтра) и восстановленных в декодере (Fn).

Врежиме INTER прогноз формируется с учетом изменений, которые произошли в текущем кадре по сравнению с одним или несколькими предыдущими (или последующими). Кадры, служащие для прогноза, должны быть предва-