(по цифровому вещанию) Dvorkovich_V_Cifrovye_videoinformacionnye_sistemy

Глава14. Стандарты кодирования динамических изображений

ировать произвольные формы видеообъектов. Расширенная манипуляция содержанием видеопоследовательностей позволяет использовать такие возможности, как деформация синтетических и естественных объектов, текстур, изображений в восстановленном контенте видео.

Стандарт поддерживает различные виды масштабируемости текстур, изображений и видео:

–масштабируемость сложности на кодере позволяет кодерам разной производительности создавать правильные битовые потоки для заданных текстур, изображений и видео;

–масштабируемость сложности на декодере позволяет декодировать потоки, содержащие текстуры, изображения и видео, декодерами разной степени сложности (качество восстановленных объектов, вообще говоря, связано со сложностью используемого декодера — менее мощные декодеры декодируют только часть битового потока);

–пространственная масштабируемость позволяет декодировать часть полного битового потока, генерируемого кодером, для восстановления и показа текстур, изображений и видеообъектов при уменьшенном пространственном разрешении (поддерживается до 11 уровней пространственной масштабируемости);

–временная масштабируемость позволяет декодеру декодировать часть полного битового потока, генерируемого кодером, для восстановления и показа видео при уменьшенном временном разрешении (поддерживается до 3 уровней временной масштабируемости);

–масштабируемость качества позволяет разбирать поток на несколько уровней с разной битовой скоростью так, что комбинация подмножества уровней может быть декодирована в осмысленный сигнал; разбор битового потока может происходить как при передаче, так и на декодере, а восстановленное качество, вообще говоря, связано с количеством слоев, использованных для декодирования и восстановления.

Стандарт предоставляет возможность кодирования формы объектов и их прозрачности (альфа-канал).

Кодирование формы позволяет описывать объекты произвольной формы. Приложения, которые используют двоичные побитовые карты изображения, служат для презентаций баз данных изображений, интерактивных игр, наблюдения, и анимации. Предлагаются эффективные методы кодирования двоичных форм.

Двоичная альфа-маска определяет, принадлежит или нет пиксел объекту. Она может быть включена или выключена. Альфа-канал определяет прозрачность объекта, которая не обязательно является однородной. Многоуровневые альфа-карты часто используются для затенения различных слоев последовательности изображений. Другими приложениями, которые используют при работе с изображениями ассоциированные двоичные альфа-маски, являются презентации баз данных изображений, интерактивные игры, наблюдения и анимация. Предлагаются методики, которые позволяют эффективно кодировать двоичные и альфа-плоскости с серой шкалой изображения. Маска с серой шкалой предоставляет возможность точно определить прозрачность каждого пиксела.

14.5. MPEG-4. Обобщенное кодирование аудиовизуальных объектов

Стандарт обеспечивает высокую надежность при работе с каналами передачи или средствами хранения, которые могут вносить ошибки. Это включает в себя операции алгоритмов сжатия данных в среде, подверженной сбоям при низких скоростях передачи (меньше 64 кбита/с).

Часть стандарта, связанная с анимацией лица, позволяет посылать параметры, которые помогают специфицировать и анимировать синтезированные лица. Эти модели не являются сами частью стандарта MPEG-4, стандартизирован только ряд параметров: определение и кодирование анимационных параметров лица (модельно независимое); позиции характерных деталей и их ориентация для определения сеток при анимации лица; визуальные конфигурации губ, соответствующие фонемам речи; определение и кодирование параметров описания лица (для калибровки модели); трехмерные позиции характерных признаков (деталей); трехмерные калибровочные сетки для анимации головы; текстурная карта лица; персональные характеристики; кодирование лицевой текстуры.

Стандарт обеспечивает эффективное кодирование двумерных и трехмерных сеток. Видеообъект в сцене — это объект, к которому пользователю разрешен доступ (поиск, просмотр) и обработка (удаление и вставка). Экземпляры видеообъектов в заданное время называются плоскостями видеообъекта (VOP). В процессе кодирования генерируется закодированное представление VOP, а также информация о композиции, которую требуется отобразить. Кроме того, пользователь может взаимодействовать с процессом композиции в декодере и изменять его по мере необходимости.

Полный синтаксис позволяет кодировать как прямоугольные видеообъекты в сцене, так и имеющие произвольную форму. Кроме того, синтаксис поддерживает как немасштабируемое, так и масштабируемое кодирование. Таким образом, становится возможным работать как с обычной, так и с объектно-ориентированной масштабируемостью. Масштабируемый синтаксис позволяет восстановить полезные видеоданные из фрагментов общего битового потока. Это достигается путем структурирования общего битового потока на два или более уровня, начиная с автономного нижнего слоя и добавляя ряд уровней расширения. Для кодирования нижнего слоя может быть использован немасштабируемый синтаксис, или, в случае кодирования изображений, даже синтаксис различных стандартов кодирования видео.

Для обеспечения возможности распознавания индивидуальных объектов необходимо получить представление их формы в закодированном виде. Естественный видеообъект состоит из последовательности двумерных представлений (в различные моменты времени), именуемых плоскостями видеообъекта (VOP). Для эффективного кодирования VOP используется устранение как временной, так и пространственной избыточности. Таким образом, представление VOP в закодированном виде включает представление их формы, движения и структуры.

Для достижения сильного сжатия используется несколько методов. Сначала алгоритм запускает компенсацию движения на основе блоков для уменьшения временной избыточности. Компенсация движения используется как для каузального предсказания текущей VOP по предыдущей VOP, так и для некаузального, интерполяционного предсказания по прошедшим и последующим VOP. Векторы движения определяются для каждой области VOP (макроблока) размером 16 × 16 отсчетов или 8 × 8 отсчетов (в компоненте яркости) в зависимости от

Глава14. Стандарты кодирования динамических изображений

требований. Затем ошибка предсказания сжимается при помощи дискретного косинусного преобразования (ДКП) для устранения пространственной корреляции до квантования, в необратимом процессе которого менее важная информация отбрасывается. В заключение сведения о форме, векторы движения и квантованные данные ДКП кодируются с использованием кодов переменной длины.

Вследствие противоречащих друг другу требований произвольного доступа и высокоэффективного сжатия определено три основных типа плоскостей видеообъекта (VOP). VOP с внутрикадровым кодированием (I-VOP) кодируются независимо от других изображений. Они обеспечивают точки доступа к закодированной последовательности, в которых может начаться декодирование, но кодируются с умеренным сжатием. VOP с применением кодирования с предсказанием (P-VOP) кодируются более эффективно при использовании предсказания с компенсацией движения по предшествующим VOP, закодированным при помощи внутрикадрового кодирования или кодирования с предсказанием, и обычно используются в качестве опорных для дальнейшего предсказания. VOP, закодированные с двусторонним предсказанием (B-VOP), обеспечивают наивысшую степень сжатия, но требуют для компенсации движения как предшествующих, так и последующих опорных VOP. VOP, закодированные с двусторонним предсказанием, никогда не используются в качестве опорных для предсказания (за исключением тех случаев, когда возникающая в результате VOP используется в качестве опорной для уровня с масштабируемым расширением). Сформированная из трех типов VOP последовательность является очень гибкой структурой. Выбор оставлен за кодером, он будет зависеть от требований приложения.

Всценах естественного видео VOP генерируются путем сегментации сцены

всоответствии с определенным семантическим значением. Таким образом, для этих сцен сведения о форме являются двоичными (двоичная форма). Сведения о форме также называются альфа-каналом. Двоичный альфа-канал кодируется на основе макроблоков при помощи кодера, использующего данные контекста, компенсацию движения и арифметическое кодирование.

Для кодирования формы VOP сначала создается ограничительный прямоугольник, он расширяется до множества из блоков размером 16 × 16 с расширенными обнуленными альфа-отсчетами. Затем инициируется кодирование формы на основе блоков 16×16; эти блоки также называются двоичными альфа-блоками.

Блоки 16 × 16 (макроблоки) выбраны в качестве единицы компенсации движения в результате компромисса между необходимостью увеличения эффективности кодирования за счет учета движения объектов и необходимостью передачи дополнительного объема данных об этом движении. В зависимости от того, насколько позволяет дополнительный объем данных, каждый макроблок может быть в дальнейшем разбит на блоки 8 × 8 для оценки и компенсации движения.

ВMPEG-4 определено множество видеопрофилей, список и характерные черты которых приведены в табл. 14.25.

Профили MPEG-4/Видео определяют инструменты кодирования, а параметры формируемых битовых потоков задаются так называемыми уровнями. Каждый уровень устанавливает ограничения на максимальную производительность, требуемую для декодирования битового потока в стандарте MPEG-4. Например, мультимедийный терминал с маломощным процессором и ограниченной памятью сможет обеспечить работу кодека простого профиля с уровнем L0. Уровень

14.5. MPEG-4. Обобщенное кодирование аудиовизуальных объектов

определяет ограничения на объем буфера памяти, размер видеокадра и частоту следования кадров, скорость обработки потока, число видеообъектов. Высокие уровни соответствующего профиля должны справляться с обработкой информации более низкого уровня.

Таблица 14.25. Профили MPEG-4/Видео

Глава14. Стандарты кодирования динамических изображений

Таблица 14.25 (продолжение)

Глава14. Стандарты кодирования динамических изображений

Таблица 14.26 (окончание)

Таким образом, стандарт MPEG-4 определяет принципы работы с контентом, цифровым представлением медиаданных, для трех областей: собственно интерактивного мультимедиа (включая продукты, распространяемые на оптических дисках и через компьютерные сети), графических приложений (синтетического контента) и цифрового телевидения. Фактически данный формат задает пра-

14.6. H.264/MPEG-4 часть 10 AVC — улучшенное видеокодирование

вила организации объектно-ориентированной среды. Он имеет дело не просто

спотоками и массивами медиаданных, а с медиаобъектами (ключевое понятие стандарта).

Стандарт MPEG-4 предоставляет пользователям гибкие средства работы с мультимедийным контентом. Помимо работы с аудио и видео формат позволяет работать с естественными и синтезированными компьютером двумерными и трехмерными объектами, производить привязку их взаимного расположения и синхронизацию друг относительно друга, а также указывать их интерактивное взаимодействие с пользователем. Кроме того, формат обеспечивает доступ к мультимедийной информации через каналы различной пропускной способности.

Кардинальное нововведение при компрессии видео в MPEG-4 заключается в следующем. В отличие от предыдущих форматов, которые делили изображение на прямоугольники, при обработке изображений кодек оперирует объектами

спроизвольной формой. К примеру, человек, двигающийся по комнате, будет воспринят как отдельный объект, перемещающийся относительно неподвижного объекта — заднего плана. Естественно, алгоритмы поиска и обработки подобных объектов требуют гораздо больше вычислительных ресурсов, чем при применении стандартов MPEG-1 или MPEG-2. Но с учетом быстродействия современных компьютеров последнее обстоятельство нельзя рассматривать сегодня как крупное препятствие на пути широкого распространения формата MPEG4.

!

В2001 г. VCEG (Группа экспертов по видеокодированию МСЭ-Т, SG16 Q.6) и MPEG (Экспертная группа по движущимся изображениям ISO/IEC, JTC 1/SC 29/WG 11) сформировали совместную видеогруппу (JVT) с полномочиями завершения пректа нового стандарта видеокодирования, который был утвержден как H.264/AVC в 2003 г. [5.48, 5.49].

Область действия стандарта проиллюстрирована на рис. 14.24, который показывает типичный цикл кодирования/декодирования (исключая передачу или хранение видеосигнала).

ВH.264/AVC, как и во всех предшествующих стандартах видеокодирования, стандартизуется только декодер путем накладывания ограничений на битовый поток и синтаксис и определения процесса декодирования синтаксических элементов таким образом, чтобы любой декодер, отвечающий стандарту, создавал одинаковый выходной поток, если ему на вход подавать кодированный поток, отвечающий ограничениям стандарта. Это ограничение области действия стандарта позволяет давать максимальную свободу для оптимизации конкретных реализаций для конкретных приложений (соблюдая баланс между качеством компрессии, стоимостью, временем разработки и т. д.). Однако этот подход не дает никаких гарантий качества кодирования/декодирования, так как позволяет применять даже грубую методику кодирования, если только она соответствует ограничениям стандарта.

Целью реализации проекта H.264/AVC было создание стандарта, способного обеспечить хорошее качество изображения при существенно более низких скоро-

14.6. H.264/MPEG-4 часть 10 AVC — улучшенное видеокодирование

Рис. 14.25. Структура видеокодера H.264/AVC

Таблица 14.27. Профили H.264/AVC