Кодированное представление медийных объектов

Аудио-визуальные сцены MPEG-4 формируются из нескольких медийных объектов,

организованных иерархически. На нижнем уровне иерархии находятся такие

примитивные медийные объекты, как:

статические изображения (например, фон изображения); видеообъекты (например, говорящее лицо — без фона);

аудиообъекты (например, голос данного лица); и т.д.

MPEG-4 ограничивает число таких примитивных медиа-объектов, способных представлять как естественные, так и синтетические типы содержимого, которые

могут быть 2- или 3-мерными.

Кроме медиа-объектов, упомянутых выше, MPEG-4 определяет кодовое представление объектов, такое как:

текст и графика;

говорящие синтезированные головы и ассоциированный текст, использованный для синтеза речи и анимации головы;

синтезированный звук.

Рис. 38 Представление видеокадра в виде набора медиа-объектов

Медиа-объект в его кодированной форме состоит из описательных элементов,

которые позволяют обрабатывать его в аудио-визуальной сцене, а также, если необходимо, ассоциировать с ним поток данных. Кодированная форма каждого

медиа-объекта может быть представлена независимо от его окружения или фона.

Состав медийных объектов

Ниже на рисунке показан принцип описания аудио-визуальных сцен в MPEG-4,

состоящих из отдельных объектов. Рисунок содержит составные медиа-объекты,

которые объединяют примитивные медиа-объекты. Примитивные медиа-объекты

соответствуют периферии описательного дерева, в то время как составные медиа-

объекты представляют собой субдеревья.

Например: визуальные объекты, соответствующие говорящему человеку, и его голос объединены друг с другом, образуя новый составной медиа-объект.

Рис. 39 Пример сцены MPEG-4

Такое группирование позволяет разработчикам создавать комплексные сцены, а

пользователям манипулировать отдельными или группами таких объектов.

MPEG-4 предлагает стандартизованный путь описания сцен, позволяющий:

помещать медиа-объекты где угодно в заданной координатной системе;

применять преобразования для изменения геометрического или акустического

вида медиа-объекта;

группировать примитивные медиа-объекты, для того чтобы образовать

составные медиа-объекты;

использовать потоки данных, чтобы видоизменять атрибуты медиа-объектов (например звук, движущуюся текстуру, принадлежащую объекту; параметры

анимации, управляющие синтетическим лицом);

интерактивно изменять точку присутствия пользователя на сцене (его точку

наблюдения и прослушивания).