4.6.Стандарткодированиявидео-извуковойинформации

MPEG-4

СледующимпослеMPEG-2проектомгруппыMPEGсталстандартMPEG-4[28].Работыпоэтомупроектубылиначатывиюле1993г.Рабочийвариантбылзаконченвноябре1996г.исогласованнауровнеКомитетаМеждународ­нойорганизациипостандартизациивноябре1997г.Большинстводокументов,

входящихвстандартMPEG-4,былипринятывконце1998-начале1999годов.В1999годупоявиласьвтораяверсияMPEG-4.

СтандартMPEG-4охватываетследующиеобласти:

• цифровоетелевидениеивидеосвязь;

• интерактивнуюграфику,синтезизображений;

• интерактивныемультимедийныеприложения,втомчислепередаваемыечерезИнтернет.

СтандартMPEG-4позволяетпередаватьизаписыватьвразличныеЗУви­део-извуковуюинформациюсоченьбольшимикоэффициентамисжатия.Первоначальноонсоздавалсядляпередачидвижущихсяизображенийизвукапоузкополоснымканаламсвязи,чтонеобходимокаквсистемахвидеосвязиnрииспользованииобычныхтелефонныхсетейиотносительнонизкоскорост­ныхцифровыхканалов(64кбит/с),такидляпередачичерезИнтернет.Вна­стоящееремяMPEG-4получилширокоераспространениекаксредствозапи­сикинофильмовивидеопрограммналазерныедиски.Крометого,новыйстан­дартобеспечиваетинтерактивность,т.е.возможностьдляпользователяуправ­лятьпроцессомпередачиемуинформациипутемзапросов,выборавариантовидругихдействий.Можноожидать,чтовозможностиMPEG-4будутиспользо­ватьсявтелевизионномвещании,особенновинтерактивномтелевидении.

MPEG-4-грандиознаясистема,более-менееполноеописаниекоторойтре­

буетотдельнойкниги.Здесьприводитсякраткийобзорегоосновныхпонятий.

Объектыисцены

ВажнейшейособенностьюMPEG-4являетсяобъектно-ориентированныйподход,сущностькоторогозаключаетсявтом,чтопередаваемоеизображениесозвуковымсопровождениемпредставляетсякаксовокупностьвидео-иаудио­объектов.

Видеообъектами(VO-visualobJect)могутбытьизображениялюдейипредметов,перемещающихсяпереднеподвижнымфоном,исамнеподвижныйфон.Обычноетелевизионноеизображениеможетбытьединымвидеообъек­том.Аудиообъектами(дО-audioobject)могутбытьголосалюдей,музыка,другиезвуки.Связанныевидео-иаудиообъекты,например,изображениечело­векаиегоголос,образуютаудио-визуальныйобъект(AVOs-audio-visualobject).Видео-иаудиообъектысоставляютсцену.MPEG-4содержитспеци­альныйязыкдляописаниясцен-BIFS(BinaryFormatforScenesдвоичныйформатдлясцен).

Описаниесценыимеетиерархическуюструктуру.Нарис.4.22приведен

примерструктурыописаниясценыизпопулярногомультфильма,вкоторойВинни-ПухиПятачокобсуждаютпладобываниямедаудереваспчелинымдуплом.

Верхнимуровнемструктурыявляетсясценавцелом.Онасодержитнепод­

вижныйфон,образованныйизображениямземли,травы,дереваит.д.Всце­неприсутствуютдваговорящихперсонажа.каждыйизкоторыхявляетсяаудио­визуальнымобъектом,включающимвидеообъект-движущеесяизображениеперсонажа.иаудиообъект-голосэтогоперсонажа.Крометого.всценепри­сутствуетпчелиныйрой,которыйтакжеявляетсяаудио-визуальнымобъектом,включающимвидеообъект-изображениенепрерывнодвижущихсяпчел,иау­диообъект-звуки,издаваемыеими.

Описаниекаждойсценывключаетданныеокоординатахобъектоввпро­странствеиобихпривязкековремени.Видеообъектымогутразмещатьсявразныхпланахсцены,такчтовидеообъекты,находящиесявболееблизкихкзрителюпланахсценыперекрываютпридвижениивидеообъекты,находящие­сявболеедальнихпланах.

Сцена,представляемаяпользователю,можетсодержатьвсеобъекты,ин­формацияокоторыхпоступаетвпринимаемомпотокеданных.илитолькочастьэтихобъектов.Составсценыможетопределятьсяпоставщикоммулыи­медийнойпродукции,например,взависимостиотсуммыденег,заплаченныхпользователем.Винтерактивномрежимепользовательможетвлиятьнаразви­тиесцены,подаваясоответствующиекоманды.

Рис.4.22.Примерструктурыописаниясцены

MPEG-4позволяеттакжепередаватьпользователюдополнительнуюин­формациюобобъектах,котораяможетотображаться,например,ввидеокнастекстом,появляющегося,когдапользовательвыбралспомощью«Мышки))ка­кой-либообъектвсцене.

Кодированиевидеообъектов

Видеообъекты,составляющиесцену.кодируютсяпо-отдельности.Кодиро­ванныевидеоданныевсехвидеообъектовобъединяютсявпоследовательностьвизуальныхобъектов(VS-VisualObjectSequence).Видеообъектможетиметьнесколькослоевилиуровней,каждомуизкоторыхсоответствуетэлементарныйпотоквидеоданных.Наличиенесколькихслоевобеспечиваетвозможностьмасштабируемости.Базовыйслойдаетизображениевидеообъектасбазовымкачеством.Дополнительныеилиулучшающие(enhanced)слоипозволяютпо­лучатьизображениесулучшеннымпреетранетвеннымразрешением,меньши­миискажениямииз-засжатияит.д.

Изменяющеесявовремениизображениевидеообъектапередаетсяввидепоследовательностиегонеподвижныхизображенийвдискретныемоментывремени.Этинеподвижныеизображенияназываютсяплоскостямивидеообъ­екта(VOP-VisualObjectPlane)Есливидеообъектомявляетсяобычноетеле­визионноеизображение,топлоскостямиэтоговидеообъектамогутбытьобыч­ныекадры.VOPобъединяютсявгруппы(GOV).VOP,какикадрывMPEG-2,

могуткодироватьсянезависимоотдругихVOP(/-VOP)илиспредсказаниемикомпенсациейдвижения(P-VOPи8-VOP).

ВотличиеотMPEG-1,2вкоторыхприменяетсяфиксированныйалгоритмкодирования,вMPEG-4используетсяцелыйнаборметодовкодирования,включающийкакалгоритмы,сходныесприменяемымвMPEG-1,2,такиприн­ципиальноновыеметодыкодирования,основанныенапонятиивидеообъекта.Выбортогоилииногометодакодированиявконкретномслучаеопределяетсятипомвидеообъектаитребуемымкоэффициентомсжатияинформации.MPEG-4позволяетэффективносжиматькакнатуральные,такисинтетическиеизобра­женияиобъединятьихпривоспроизведении.

ОбобщеннаяструктурнаясхемавидеокодераMPEG-4длянатуральныхизо­браженийприведенанарис.4.23.

^Вход Выход

Рис.4.23.СтруктурнаясхемавидеокодераMPEG-4

Насхемеобозначены:ДКП-блокпрямогодискретногокосинусногапреоб­разования;дкп-^1-блокобратногодискретногоt<осинусногопреобразования;Кв-квантователь;кв-^1-декванrователь,т.е.блок,выполняющийобратную

квантованиюоперацию;ЗУ-запоминающееустройство;Пред1,Пред2-блоки,выполняющиеформированиепредсказанныхизображений;вразныхрежимахкодирования;ОД-блокоценкидвиженияиформированиявекторовдвижения;Мп-мультиплексор;БЗУ-буферноезапоминющееустройство;УКС-блокуправлениякоэффициентомсжатияизображения.Крометого,насхемепока­заныблокиКодерформыиКодертекстур,сумматор,вычитающееустройствоипервключательВыбор,спомощьюкоторогоосуществляетсяподключениеод­ногоизблоковпредсказаниявзависимостиотиспользуемогометодакодиро­вания.Даннаясхемаявляетсяупрощеннойинепоказываетмногиеблокиисвязи.

Навходкодерапоступаютисходныевидеоданные,например,цифровойте­

левизионныйсигнал.Навыходекодераформируетсяэлементарныйпотокви­деоданных.

Краткорассмотримосновныеметодыкодированиянатуральныхизображений.

1).Видеообъекты,представляющиесобойnрямоугольныеизображения(на­пример,обычныеТВкадры),кодируютсяметодом,аналогичнымприменяемомувMPEG-1,2,т.е.сиспользованиемгибридногокодирования(см.§4.3).Методвключаетпредсказаниесоценкойикомпенсацейдвижениядлямакроблаков16х16пикселовиДКПошибкиnредсказаниявблоках8х8пикселов.Дляопре­деленностибудемсчитать,чтоnредсказаниевэтомслучаевыполняетсявбло­кеПред1.СвязьвыходаблокаОДсмультиплексоромисредствауправлениякоэффициентомсжатиянарис.4.23непоказаны.

Этотвидкодированияимее!двауровняпоскоростипередачидвоичныхсимволовввыходномпотокеданных.

УровеньоченьнизкойскоростипередачиVLBV(VeryLowBitrateVideo)предназначендляпередачиизображенийснизкимпреетранетвеннымразре­шением(форматыQCIFиSQCIF)ипониженнойчастотойкадров(10...15Гц)поузкополоснымканаламсвязисоскоростямипередачидвоичныхсимволов5...64кбит/с.ЭтотуровеньможетиспользоватьсяввидеотелефоннойсвязисневысокимкачествомизоGражения.

Уровеньвысокойскоростипередачи(HighЬitrate)предназначендляпереда­чиизображенийсболеевысокимпреетранетвеннымразрешением,вплотьдоформатапоРекомендации601,поразличнымканаламсвязисоскоростямипередачидвоичныхсимволов64кбит/с...1ОМбит/с.Этотуровеньможетис­пользоватьсяввидеосвязисвысокимкачествомизображенияидляпередачителевизионныхпрограмм.

2).Кодирование,основанноенасодержании(conten-basedcoding),позволя­

етполучитьсущественнобольшеесжатиеизображенийзасчетучетасвойстввидеообъектов,присутствующихвсцене.

Однойизвозможностей,создаваемыхэтимиметодами,являетсякодирова­

ниевидеообъектовсложнойформы.Например,вкачествевидеообъектаможетбытьвзятаобластьизображения,отличающаясяотокруженияяркостьюилицветом.Этаобластьможетперемещатьсяидеформироваться.Приформиро­ваниипредсказанногоизображенияскомпенсациейдвижениясмещаютсянепрямоугольныемакроблоки,авыделенныеобласти,которыектомужемогутизменятьсвоюформу.Приэтомошибкапредсказанияоказываетсязначитель­номеньше,иобъеминформации,содержащейсявразностипредсказанногоинастоящегоизображенийочередногокадра,существенноуменьшается.Вко­дере,показанномнарис.4.23,такойвариантпредсказаниявыполняетсявбло­кеПред2.

Формавидеообъектаописываетсяматрицей.Прибинарномкодировании

элементыматрицы,соответствующиеэлементамизображения,входящимввидеообъект,приравниваютсяединице,асоответствующиеэлементамизо­бражения,находящимсявневидеообъекта,-нулю.Приградацианнемкодиро­ванииэлементыматрицыпринимаютбольшеечислозначений,чтопозволяетописыватьтакиесвойстваобъекта,какпрозрачность.ЭлементыуказаннойматрицыопределяютсяикодируютсявКодереформы,послечегоонивключа­ютсячерезмультиплексорМпввыходнойпотокданных.

Данныеоформевидеообъектазанимаютзначительнобольшедвоичных

символов,чемпростойвектордвижения.Темнеменее,общийвыигрышвуменьшенииобъемапередаваемойинформациипосравнениюсMPEG-1,2оказываетсясущественным.

3}.Длясжатияизображенийнеподвижногофонаитекстурпротяженныхобъектовиспользуетсяметодкодирования,основанныйнавейвлет­преобразовании(см.§4.4).Этотметодобеспечиваетвысокиестепенисжатияимногоступенчатуюмасштабируемостьпопреетранетвенномуразрешению.

4).Неизменяющийсяилипочтинеизменяющийсязаднийпланизображенияможетпередаватьсякактакназываемыйспрайт(sprite).Полноеизображениеспрайтапередаетсяодинраз.Затемпередаютсятолько8параметровгло­бальногодвижения,описывающихпанорамирование,т.е.перемещени·екамерыотносительнозаднегоплана.

Перейдемкметодамкодированиясинтетическихвидеообъектов,создавае­

мыхсиспользованиемсредствмашиннойграфики.Такиевидеообъектымогуткодироватьсярассмотреннымивышеметодамидлянатуральныхизображений.Однакозначительноэффективнееиспользоватьихпараметрическоеописание.

ВстандартеMPEG-4используетсямодельчеловеческоголица.построеннаянаосновесеткиизтреугольныхячеек,которыезаполняютсятекстурой.Пример(<сеточной>>моделилицапоказаннарис.4.24.Имеетсятакжетрехмернаямо­дельчеловеческоготелаввидетрехмернойсетки.Двумерныеизображениячеловекаполучаютсяпутемпостроенияпроекциитрехмерноймоделинануж­нуюплоскость.

Рис.4.24."Сеточная"модельлица

Форма,текстураивыражениелицавстатикеописываютсяпараметрамиFDP(FacialDefinitionParameters),авдинамике-параметрамиFAP(FacialAni­mationParameters).

ДлятелавстатикезадаютсяпараметрыBDP(BodyDefinitionParameters),а

вдинамике-ВАР(BodyAnimationParameters).СтатическиепараметрыFDPиBDPпередаютсявначалесеансасвязи.ДлявоспроизведениямимикилицаидвиженийтеласобеседникавпроцессеразговорапередаютсядинамическиепараметрыFAPиВАР.

Синтетическиеизображениялицаителачеловекамогутиспользоватьсяв

системахвидеосвязивместонастоящихизображенийсобеседника.Передачапараметровмоделитребуетсущественноменьшейскоростипередачидвоич­ныхсимволов,чемпередачареальногоизображения.

Внекоторыхслучаяхможновприемнойчастисистемыполучитьинформа­циюобизмененияхизображенияобъектанаосноведругойинформации.Такойслучайхарактерендляпередачиизображениялицаговорящегочеловека.Дви­женияртаимимикавомногомопределяютсяпроизносимымисловамиимогутбытьсинтезированынаосновепринятогозвуковогосигнала,содержащегого­лоссобеседника.Приэтомтребуемаядляосуществлениявидеосвязискоростьпередачидвоичныхсимволовещеуменьшается.

Помимолицаителамогутсинтезироватьсяпроизвольныедвумерныеизобра­жениятаюкеввидесетокстреугольнымиячейками,заполняемымитекстурой.

СтандартомMPEG-4обеспечиваетсямногоуровневаямасштабируемостьпопреетранетвенномуразрешению,повремениипокачествуизображения.Встандартепредусмотренысредства,обеспечивающиеработоспособностьсис­темыnередачивидеоинформацииnриналичииnомехиошибоквканалесвязи.Этивопросыздесьнерассматриваются.