3.3. Стандарт представления медиа-объектов mpeg-4

3.3.1. Описание сцены в стандарте mpeg-4

Для описания сцены и ее динамического изменения в MPEG-4 используется специально разработанный двоичный язык BIFS (Binary Format for Scenes – двоичный формат описания сцен). Описание сцены указывает декодеру, где и когда воспроизводить объекты, входящие в сцену, и как реагировать на воздействие пользователя. Чтобы увязать ЭП с медиа-объектами в сцене, используются дескрипторы объекта. Они переносят информацию о числе и свойствах ЭП, связанных с конкретными медиа-объектами. Сами дескрипторы также переносятся в одном или нескольких ЭП, поэтому нетрудно добавить или удалить объект во время сеанса. Потоки дескрипторов могут рассматриваться как описания потоковых ресурсов для представления, а описание сцены служит для изменения пространственно-временнóго размещения объектов в сцене. MPEG-4 определил специальный язык синтаксических описаний для точного описания синтаксиса потоков, переносящих информацию о медиа-объектах и описания сцен. Он представляет собой расширение языка С++ и позволяет дать точное описание синтаксиса и в то же время упростить проверку на соответствие.

BIFSоперирует двумя протоколами модификации сцены во времени – командным (BIFS-Command) и анимационным (BIFS-Anim) [31]. Командные потокиBIFSпозволяют загружать новую сцену, изменять свойства объектов, вводить и уничтожать объекты. ПотокиBIFS-Animуправляют процессами анимации сцены, например, изменением точки взгляда, перемещением, трансформацией размера, плавным изменением цвета, освещенности и т.д. Синхронизация потоков осуществляется путем временнóй привязки. Как и в предыдущих стандартахMPEG, один вид временнóй метки обеспечивает синхронизацию тактовых частот кодера и декодера, метки другого вида, привязанные к функциональным единицам аудиовизуальных данных, содержат желаемое время декодирования (для единиц доступа) или время завершения компоновки (для компоновочных единиц).

Основные принципы BIFSзаимствованы из языкаVRML(VirtualRealityModelingLanguage–язык моделирования виртуальной реальности), разработанного для создания 3Dграфики. Это широко распространенный и в значительной степени бесплатный язык программирования, точнее, эффективный 3Dформат обмена, как бы объемный аналогHTML. Дело в том, что некоторые виды информации лучше воспринимаются в объемном виде – игры, результаты научных исследований, архитектурные решения.VRMLобеспечивает интеграцию трехмерных, двумерных, текстовых и мультимедийных объектов в связную модель. Он оперирует объектами, каждый из которых имеет различныеатрибуты. Объект называетсяузлом, а атрибуты –полями. Число полей зависит от типа узла. Полный перечень узлов и полей известен какграф(разветвленная древообразная структура).VRMLвключает большинство используемых в 3Dприложениях средств: иерархические трансформации, источники света, выбор точки взгляда, анимацию, свойства материала, отображение текстуры и т.д.

Язык BIFSпозаимствовал уVRMLструктуру описания сцены в виде графа, модели поведения, графические примитивы для построения 3D-изображений: конусы, сферы, сетки, текстовые примитивы, текстурирование и подсветку (всего их 36). В то же времяBIFSимеет существенные отличия отVRML, в него внесены новые решения:

1) VRML–язык высокого уровня,BIFS–двоичный, благодаря этому объем со­общений в нем в 10…15 раз меньше, чем вVRML; хотя объем описаний сцены обычно меньше, чем аудиовизуальной информации, эти описания передаются непрерывно и могут в результате составить заметную часть передаваемых данных, поэтому сжатие потоковBIFSдостаточно актуально;

2) VRMLработает с файлами, предварительно загружаемыми в процессор,aBIFSпредназначен в первую очередь для потоковой передачи в реальном времени;

3) BIFSпозволяет работать как с 2D, так и с 3D объектами, осуществлять масштаби­рование, перемещение, вращение, более того, впервые решена задача представления в одной сцене и 2D, и 3D объектов.

Во второй версии стандарта в нем расширен BIFS, введены спецификации языковHTML4.0 иMPEG-J, спецификация файла .mр4 для хранения и транспортировки данныхMPEG-4 [32]. Новая версияBIFSпредусматривает анимацию фигуры, улуч­шенную модель направленности источника звука, модель окружающей звуковой среды в интерактивной виртуальной сцене, учитывающую отражение звука от стен помеще­ния (реверберацию, эффект Доплера, наличие препятствия между источником звука и пользователем), введение иерархических 3D сеток.