Учебники / Цифровое телевизионное вещание под редакцией Г. В. Мамчев, 2014

Рис. 3.55. Функциональная схема кодирующего устройства стандарта Н.264

NАЧ

Рис. 3.56. Функциональная схема декодирующего устройства стандарта Н.264

ти макроблока СВ моде inter) может быть взят из прошлых или будущих снимков Св порядке их отображения на телевизионном экране), которые уже были закодированы ранее, реконструированы и отфильтрованы.

Прогноз PRED вычитается из текущего блока, и их разность, которую для удобства назовем остатком, обозначается символом Dn . Далее, после блока Dn к остатку применяется соответствующее преобразование, резуль­

тат квантуется, и создается блок х. Полученное множество квантованных коэффициентов переупорядочивается и кодируется энтропийным кодером. Выходные коэффициенты энтропийного кодера вместе с некоторой допол­ нительной информацией, необходимой при декодировании каждого блока

данного макроблока (мода прогноза, параметры квантователя, информация о векторах движения и т.п.), записываются в битовый поток, который про­ ходит через абстрактный сетевой модуль NAL дЛЯ дальнейшей передачи

или хранения.

Каждый закодированный и переданный блок макроблока декодирует­

ся (реконструируется) самим кодером для получения ссылочного материа­

ла последующих прогнозов. При этом коэффициенты х деквантуются (Q-l),

и к результату применяется обратное преобразование (T-1) дЛЯ получения

разностного (остаточного) блока D~. Прогнозный блок PRED складывает­ ся с блоком D~ дЛЯ образования реконструированного блока nF~ (декоди­

рованная версия исходного блока, и означает, что он не фильтрован). Затем применяется фильтр для погашения эффекта блочной дисторсии (искаже­ ния). В итоге реконструированный ссылочный кадр строится по ряду бло­

ков F~.

Декодер (см. рис. 3.56) получает сжатый битовый поток из NAL, и

сначала применяет энтропийный декодер для получения элементов дан­

ных, из которых формируются множества квантованных коэффициентов х. Эти коэффициенты деквантуются, к результату применяется обратное пре­

образование, и получается блок D~ (идентичный блоку D~ кодера). Ис­

пользуя информационный заголовок, извлеченный из битового потока, де­

кодер создает блок-прогноз PRED, который в точности совпадает с исход­

ным блоком PRED кодера. Этот блок складывается с D~ дЛЯ получения блока nF~, который затем фильтруется для формирования декодированно­

го блока F~.

3.5. Стандарт описания мультимедийной информации MPEG-7

3.5.1. Общие сведения о стандарте MPEG-7

Переход телевидения к цифровым технологиям и быстрое развитие техники цифрового сжатия вызвали в последние годы столь же быстрый рост объема аудиовизуальной информации. Информация может быть представлена в различных формах (неподвижные изображения, видео, графика, 3D модель, звук, речь).

В отличие от мультимедийного стандарта цифровой компрессии

МPEG-4 стандарт МPEG-7 служит для описания различной мультимедий­

ной информации.

Следует подчеркнуть, что описание мультимедийной информации в стандарте МPEG-7 - это не методы сжатия данных, а это описание мета­ данных, также известных как «данные о данных». Метаданные - это цифровая информация, которая описывает содержание других цифро­ вых данных.

Стандарт МPEG-7 называется «Интерфейс описания мультимедийно­

го контента» и нацелен на стандартизацию следующих основных элемен­

тов [14]:

•базового набора дескрипторов (D - Descriptor), используемых для опи­

сания различных признаков мультимедийного контента;

•совокупности структур дескрипторов и соотношений между ними, на­

зываемых схемами описания (СО) (DS - Description Schemes);

•языка определения дескрипторов и схем описания, названного язык оп­

ределения описания (DDL - Description Definition Language);

•путей кодирования описаний.

3.5.2. Основные части стандарта MPEG-7

Стандарт МPEG-7 состоит из следующих частей [35]:

1. Системы МPEG-7, то есть средства, которые необходимы при под­ готовке описаний МPEG-7 для эффективной передачи и записи, и для обес­

печения синхронизации между материалом и описаниями. Эти средства имеют также отношение к охране интеллектуальной собственности.

2. Язык описания определений МPEG-7. Язык для определения новых

схем описания и, возможно, новых дескрипторов.

3. МPEG-7 Audio - дескрипторы и схемы описания, имеющие отно­

шение исключительно к описанию аудиоматериала.

4. МPEG-7 Visual - дескрипторы и схемы описания, имеющие отно­

шение исключительно к описанию визуального материала.

5. МPEG-7 Multimedia Description Schemes - дескрипторы и схемы

описания, имеющие отношение к общим характеристикам описаний муль­

тимедиа.

6. МPEG-7 Reference Software - программные реализации соответст­

вующих частей стандарта МPEG-7.

7. МPEG-7 Conformance - базовые принципы и процедуры тестирова­

ния рабочих характеристик практических реализаций МPEG-7. В стандарте используются дескрипторы четырех типов:

Дескрипторы первого типа передают непосредственно содержание

материала (content description - описание контента) и могут быть низкого и

высокого уровня.

Дескрипторы низкого уровня передают структуру материала:

•цвет, текстуру, форму;

•параметры движения для видео;

•высоту тона, тембр, темп, интенсивность - для звука, и т.п.

Дескрипторы высокого уровня описывают смысловое содержание

контента.

Второй тип дескрипторов (content management - управление кон­ тентом) содержит информацию о времени и цели создания материала, об авторстве и правах собственности.

Третий тип (content organization - организация контента) позволяет классифицировать материал по различным признакам и может использо­

ваться для его анализа и исследований.

Четвертый тип (navigation and access - навигация и доступ) - для быстрого поиска контента по краткому описанию содержания.

3.5.3. Описание главных функций стандарта MPEG-7

Системы стандарта MPEG-7

Системы МPEG-7 будут включать в себя средства, которые необхо­ димы для подготовки описаний МPEG-7 для эффективной транспортиров­

ки и запоминания, а также позволяют синхронизовать мультимедийный материал и описания и средства, сопряженные с управлением и защитой

интеллектуальной собственности. Стандарт определяет архитектуру тер­ минала и нормативных интерфейсов.

Язык описания определений MPEG-7

Согласно определению в МPEG-7 язык описания определений DDL (De- представляет собой: « .. .язык, который позволяет формировать новые схемы описания и, возможно, дескрипторы. Он также

позволяет расширение и модификацию существующих схем описания». Язык описания дескрипторов (DDL) базируется на языке XМL (eXten-

расширенный язык разметки) и, в частности, XМL Schema, созданного для описания структурных элементов. Однако, так как XМL Schema изначально не предусмотрен для описания аудиовизуальной информации, МPEG-7 немного его расширяет.

Аудио MPEG-7

Окончательный проект аудио МPEG-7 представляет шесть техноло­

гий: система аудио описаний (которая включает в себя дерево шкал и низ­ коуровневые дескрипторы), средства описания звуковых эффектов, сред­

ства описания тембра инструмента, описание голосового материала, сег­ мент молчания и дескрипторы мелодии, облегчающие обработку запросов.

Визуальный MPEG-7

Средства визуального описания МPEG-7 состоят из базовых структур

и дескрипторов, которые характеризуют следующие визуальные характе­

ристики: цвет, текстура, форма, движение, локализация, прочие.

Каждая категория состоит из элементарных и сложных дескрипторов.

Основные объекты и схемы описания мультимедиа MPEG-7

Базисом схем описания мультимедиа МDS (Multimedia Description Schemes) является стандартизация набора средств описания (дескрипторы и схемы описания), имеющих дело с общими и мультимедийными объектами.

Общими объектами являются характеристики, которые используются

в аудио, видео и текстовых описаниях и, следовательно, характеризуют все

медийные типы материала. Такими характеристиками могут быть, напри­

мер, вектор, время и т.д.

Помимо этого набора общих средств описания стандартизованы более сложные средства описания. Они используются, когда нужно описать бо­ лее одного вида медийного материала (например, аудио и видео - АУ). Эти средства описания могут быть сгруппированы в 5 различных классов со­ гласно их функциональному предназначению:

•описание материала: представление воспринимаемой информации;

•управление материалом: информация о характере медийного материала,

формирование и использование АV материала;

•организация материала: представление анализа и классификации не­

скольких АV материалов;

•поиск и доступ: спецификация кратких характеристик и изменений АV

материала;

•взаимодействие с пользователем: описание предпочтений пользователя

и истории использования мультимедийного материала.

Эталонные программы MPEG-7: модель экспериментов

(eXperimentation Model)

Программное обеспечение модели ХМ (eXperimentation Model) пред­ ставляет собой систему моделирования для дескрипторов МPEG-7 (D), схем описания (DS), схем кодирования (CS), языка описания определений (DDL). Кроме нормативных компонентов, системе моделирования необхо­

димы некоторые дополнительные элементы, существенные при исполне­

нии некоторых процедурных программ. Структуры данных и процедурные программы образуют приложения. Приложения ХМ образуют две разно­

видности: приложения клиента и сервера.

3.5.4. Области применения стандарта MPEG-7

Элементы, которые стандартизует МPEG-7, будут поддерживать ши­

рокий диапазон приложений (например, мультимедийные цифровые биб­

лиотеки, выбор широковещательного медийного материала, мультимедий­

ное редактирование, домашние устройства для развлечений и т.д.). МPEG-7

сделает возможным мультимедийный поиск в WEB столь же простым, как и текстовый. Это станет применимо для огромных архивов, которые будут доступны для широкой публики, это придаст новый стимул для электрон­

ной торговли, так как покупатели смогут искать нужный товар по видео­

образцам. Информация, используемая для извлечения материала, может также применяться агентами для отбора и фильтрации широковещательно­ го материала или целевой рекламы. Кроме того, описания МPEG-7 позво-

лят быстрые и эффективные с точки зрения затрат полуавтоматические

презентации и редактирование.

Все области применения, базирующиеся на мультимедиа, выиграют от использования МPEG-7. Ниже предлагается список возможных приложе­ нийМРЕG-7:

•архитектура, недвижимость и интерьерный дизайн (например, поиск идей);

•выбор широковещательного медийного канала (например, радио, ТУ);

•услуги в сфере культуры (исторические музеи, картинные галереи и

т.д.);

•цифровые библиотеки (например, каталоги изображений, музыкальные

словари, биомедицинские каталоги изображений, фильмы, видео и ра­ диоархивы);

•электронная коммерция (например, целевая реклама, каталоги реально­

го времени, каталоги электронных магазинов);

•образование (например, депозитарии мультимедийных курсов, мульти­ медийный поиск дополнительных материалов);

•домашние развлечения (например, системы управления личной муль­

тимедийной коллекцией, включая манипуляцию содержимым, напри­

мер, редактирование домашнего видео, поиск игр, караоке);

•исследовательские услуги (например, распознавание человеческих осо­

бенностей, экспертизы);

•журналистика (например, поиск речей определенного политика, ис­

пользуя его имя, его голос или его лицо);

•мультимедийные службы каталогов (например, Желтые страницы, ту­

ристская информация, географические информационные системы);

•мультимедийное редактирование (например, персональная электронная

служба новостей, персональная медийная среда для творческой дея­

тельности);

•удаленное опознавание (например, картография, экология, управление

природными ресурсами);

•осуществление покупок (например, поиск одежды, которая вам нравится);

•надзор (например, управление движением, транспортом, неразрушаю­

щий контроль в агрессивной среде).

•реализация системы второго экрана (Second Screen). В действительно­

сти, при просмотре фильмов зрителей может заинтересовать биография

кого-то из актеров, дальнейший сюжет, отзывы кинокритиков, сборы в прокате. При просмотре научно-популярных или новостных передач

иногда хочется получать более детальную информацию о темах, в них затронутых. Практика телевизионного вещания показала, что подобный информационный голод испытывают в разной степени телезрители по всему миру. Один единственный телевизионный экран уже не может удовлетворить потребности общества в информации, а массовое рас-

пространение мобильных устройств, таких как смартфоны и планшет­ ные компьютеры, совместно с развитием сетей беспроводного доступа с высокой пропускной способностью сделали возможным доставку и отображение такой дополнительной информации практически в любой точке мира. Таким образом, планшетные компьютеры и смартфоны

сейчас становятся тем самым вторым монитором, которого так не

хватало еще несколько лет назад. На сегодняшний день уже ясно, что

развитие сервисов для поддержки второго экрана станет одной из самых

приоритетных задач для телекомпаний на ближайшие несколько лет, если они хотят быть конкурентно способными в современном информа­ ционном мире. При создании системы второго экрана требуется реше­

ние достаточно сложной задачи автоматического распознавания в ре­

альном времени транслируемого видеоконтента (ACR - Automated Content Recognition). Для реализации режима ACR необходим переход на телевизионное вещание с использованием стандарта МPEG-7, кото­ рый поддерживает передачу информационных таблиц описания контен­ та в формате XМL.

3.6. Стандарт описания среды мультимедийного контента MPEG-21

3.6.1. Общие сведения о стандарте MPEG-21

МPEG-21 описывает среду, в которой разрабатывается мультимедий­ ный контент [36].

Стандарт МPEG-21 имеет целью определить ориентиры для создате­ лей, дистрибьюторов и сервис-провайдеров мультимедийного контента в

открытом рынке мультимедиа.

МPEG-21 визируется ни двух важных концепциях: определении базо­

вой единицы распределения и соглашения (Digital Нет - цифровой объект) и концепции взаимодействия пользователей и цифровых объектов. Цифро­

вой объект может рассматриваться как предмет мультимедийных соглаше­

ний (например, видео коллекция, музыкальный альбом), а пользователи,

как субъекты мультимедийных соглашений.

Таким образом, цель разработки стандарта МPEG-21 может быть

сформулирована следующим образом: определение технологии, необхо­

димой для поддержки пользователей при обмене, доступе, продаже и дру­

гих манипуляциях цифровыми объектами. При этом предполагается обес­ печить максимальную эффективность и прозрачность этих операций.

3.6.2. Основные части стандарта MPEG-21

Стандарт МPEG-21 состоит из следующих частей: