10.3. Синтетический звук

MPEG-4 определяет декодеры для генерирования звука на основе нескольких видов структурированного ввода. Текстовый ввод Text преобразуется в декодере TTS (Text-To-Speech), в то время как прочие звуки, включая музыку, могут синтезироваться стандартным путем. Синтетическая музыка может транспортироваться при крайне низких потоках данных.

Декодеры TTS (Text To Speech) работают при скоростях передачи от 200 бит/с до 1.2 Кбит/с, что позволяет использовать при синтезе речи в качестве входных данных текст или текст с просодическими параметрами (тональная конструкция, длительность фонемы, и т.д.). Такие декодеры поддерживают генерацию параметров, которые могут быть использованы для синхронизации с анимацией лица, при осуществлении перевода с другого языка и для работы с международными символами фонем. Дополнительная разметка используется для передачи в тексте управляющей информации, которая переадресуется другим компонентам для обеспечения синхронизации с текстом. Заметим, что MPEG-4 обеспечивает стандартный интерфейс для работы кодировщика TTS (TTSI = Text To Speech Interface), но не для стандартного TTS-синтезатора.

10.3.1. Синтез с множественным управлением (Score Driven Synthesis).

Средства структурированного аудио декодируют входные данные и формируют выходной звуковой сигнал. Это декодирование управляется специальным языком синтеза, называемым SAOL (Structured Audio Orchestra Language), который является частью стандарта MPEG-4. Этот язык используется для определения "оркестра", созданного из "инструментов" (загруженных в терминал потоком данных), которые формирует и обрабатывает управляющую информацию. Инструмент представляет собой маленькую сеть примитивов обработки сигналов, которые могут эмулировать некоторые специфические звуки, такие, которые могут производить настоящие акустические инструменты. Сеть обработки сигналов может быть реализована аппаратно или программно и включать как генерацию, так и обработку звуков, а также манипуляцию записанными ранее звуками.

MPEG-4 не стандартизует "единственный метод" синтеза, а скорее описывает путь описания методов синтеза. Любой сегодняшний или будущий метод синтеза звука может быть описан в SAOL, включая таблицу длин волн, FM, физическое моделирование и гранулярный синтез, а также непараметрические гибриды этих методов.

Управление синтезом выполняется путем включения "примитивов" (score) или "скриптов" в поток данных. Примитив представляет собой набор последовательных команд, которые включают различные инструменты в определенное время и добавляют их сигнал в общий музыкальный поток или формируют заданные звуковые эффекты. Описание примитива, записанное на языке SASL (Structured Audio Score Language), может использоваться для генерации новых звуков, а также включать дополнительную управляющую информацию для модификации существующих звуков. Это позволяет композитору осуществлять тонкое управление синтезированными звуками. Для процессов синтеза, которые не требуют такого тонкого контроля, для управления оркестром может также использоваться протокол MIDI.

Тщательный контроль в сочетании с описанием специализированных инструментов, позволяет генерировать звуки, начиная с простых аудио эффектов, таких как звуки шагов или закрытия двери, кончая естественными звуками, такими как шум дождя или музыка, исполняемая на определенном инструменте или синтетическая музыка с полным набором разнообразных эффектов.

Для терминалов с меньшей функциональностью, и для приложений, которые не требуют такого сложного синтеза, стандартизован также "формат волновой таблицы” (“wavetable bank format"). Используя этот формат, можно загрузить звуковые образцы для использования при синтезе, а также выполнить простую обработку, такую как фильтрация, реверберация, и ввод эффекта хора. В этом случае вычислительная сложность необходимого процесса декодирования может быть точно определена из наблюдения потока данных, что невозможно при использовании SAOL.

По инициативе ряда компаний (Philips Business Electronics, Sony и Nokia) была создана экспертная группа по мультимедиа и гипермедиа MHEG (Multimedia Hypermedia Expert Group (ISO/IEC DIS 13522-5, 1995г); см. http://www.mheg.org/users/mheg/archives.htm и http://www.mheg.org/users/mheg/archives/ doc/dsmcc-mheg.zip), которая определила стандарт для обмена мультимедийными объектами (видео, звук, текст и другие данные) между приложениями и передачи их разными способами (локальная сеть, сети телекоммуникаций и вещания) с использованием объектных классов MHEG. Этот стандарт позволил программным объектам включать в себя любую систему кодирования, которая определена в базовом приложении. MHEG, был принят советом по цифровому видео и звуку (DAVIC - Digital Audio-Visual Council; см. http://www.mheg.org/users/mheg/archives/doc/ 14B94R10.zip). MHEG-объекты создаются мультимедийными приложениями. MHEG - будущий международный стандарт интерактивного TV

.

Стандарт MPEG-6, который предназначался для беспроводной передачи данных; и MPEG-8, цель которого - четырехмерное описание объектов, так и не увидели свет.

В рамках MPEG-4 было введено понятие аудио- и видео- объектов. Дальнейшее развитие эта технология нашла в стандарте MPEG-7. Здесь расширяется понятие сцены и ее описания, делаются подходы к решению задачи поиска видео и аудио объектов в мультмедийном материале.