3.2 Современное состояние 3d решений

3.2.1 3D камера

Камера, которая может отобразить информацию глубины одновременно с формированием цветного изображения, без сомнения найдет разнообразные применения. Вероятные приложения включают трехмерное телевидение, анимацию, биомедицинское формирование изображений, и автоматизированную систему технического зрения и т.д.

Для записи 3D изображений предложено ряд методов (рисунок 33): с использованием триангуляции, на основе фокусировки/дефокусировки и дальномерный [19].

Рисунок 33 - Методы создания 3D камер

Метод триангуляции самый общий метод определения информации глубины. Системы, основанные на этом подходе, используют стереоскопические изображения, полученные несколькими камерами, или структурированные световые проекции.

Метод многоракурсного объемного ТВ положен в основу ряда проектов, например Mitsubishi Electric Research Laboratories, Cambridge, MA [20] (рисунок 34).

Многокамерный подход основан на синхронной записи одной и той же сцены под разными углами. Для простоты обсудим только случай использования стереокамеры.

3D видео генерируется из следующих шагов обработки изображений таких, как калибровка камеры, оценка соответствия (деталей или областей) и стерео триангуляции. Однако точность триангуляции ухудшается с увеличением расстояния от камеры. Кроме того, точность оценки глубины зависит от расстояния между камерами, так называемой базовой линии. Когда используется камера в режиме увеличения масштаба, базовая линия должна увеличиваться, чтобы обеспечить такую точность глубины, поддерживая жесткие требования к положению камеры, направлению и калибровки объектива. Техника рассчитана на хорошо известные детали или детальную текстуру. Отсутствие текстуры или низко текстурных областей часто приводило к большой неопределенности глубины. В конечном счете, точка сцены должна быть видимой, по меньшей мере, двумя камерами, если извлекается ее глубина. Так как камеры имеют разные положения, то в общем случае существуют области, где точка видна только одной камерой. Эта проблема может быть решена увеличением количества используемых камер, но при этом возрастают трудности при производстве и увеличивается обрабатываемый видео поток. Таким образом, несмотря на внешнюю простоту метода, он имеет существенные недостатки.

Рисунок 34 - Масштабируемая система 3D

В случае использования структурированного шаблона, последний проецируется на объект и по искажениям проецированного рисунка определяется поверхностная форма объекта. Используются различные виды проецируемых шаблонов, полоски, синусоидальные, шаблоны и т.д. Большая часть вышеупомянутых методов, с немногими исключениями, применена к стационарным объектам. В случае записи подвижных объектов, этими методами трудно реализовать получение поэлементной информации глубины в видеосистемах со скоростью передачи видеокадров и разрешающей способностью достаточно высокой для телевизионных изображений.

Метод фокусировки/дефокусировки наиболее широко применяется для систем машинного зрения, где часто требуется получить пространственную структуру небольших полостей.

Достаточно широкое распространение получил метод с использованием дальномерных систем, который представляет собой либо комбинацию измерителя расстояния с механизмом сканирования, например, трехмерная лазерная микросистема технического зрения для микро объектов и лазерные сканеры для макрообъектов, либо телевизионный метод отображения карты глубины (рисунок 35) [21,22]. Принцип работы такой камеры заключается в следующем. Объекты освещаются инфракрасным импульсным лазером. Коэффициент усиления камеры, которая захватывает изображение объектов, линейно увеличивается относительно времени. Таким образом, свет, отраженный от более далеких расстояний усиливается с большим коэффициентом усиления камеры, чем от более близких расстояний. Таким образом, интенсивность изображения характеризует расстояние от объекта. С увеличением скорости модуляции, чувствительность измерения глубины увеличивается.

Рисyнок 35 – Структурная схема камеры с модуляцией усиления

Использование треугольной формы модуляции света позволяет рассчитать для каждой точки изображения два значения карты глубины, и тем самым устранить влияние коэффициента отражения объекта на результат измерения глубины.

Цветное изображение объектов одновременно захватывается отдельной цветной камерой. Видимый свет, отраженный от объекта, отражается в обычном и в дихроическим зеркалах и достигает цветной фотокамеры. Излучение ближнего инфракрасного диапазона, отраженное от объекта проходит через дихроическое зеркало и достигает камеры ПЗС.

В камере с модулированным коэффициентом усиления, свет включается только для ультракоротких промежутков времени. Таким образом, эффективность использования света для измерения глубины высокая, что важно с точки зрения безопасности глаз.

Камера может фиксировать глубину изображения с 768 × 493 пикселями с разрешающей способности по глубине 2,4 мм и частотой повторения 15 Гц.

Детальное построение камеры с модулированным коэффициентом зрения показаны на рисунке 36. Инфракрасный лазер (LD) генерирует импульс облучения. Длина волны LD выбрана 803 нм, чтобы не попадать в видимый диапазон и интерферировать освещением, необходимым для цветной фотокамеры. Длительность импульса на половине максимума (FWHM) импульса света - 68 пикосекунд, а средняя выходная мощность импульса света – 9,7 мВт с частотой повторения 40МГц.

Рисунок 36 – Функциональная схема времяпролетной камеры

Камера состоит из объектива камеры, полосового оптического фильтра, интенсификатора, передающей линзы и ПЗС камеры. Объектив камеры формирует изображение объектов на фотокатоде интенсификатора. Это оптическое изображение затем преобразуется в электронное. Электроны ускоряются к микроканальной плате (MCP), которая в свою очередь усиливает интенсивность электронного изображения.

Когда более высокое напряжение относительно фотокатода приложено к MCP, больше электронов вводится в MCP, и коэффициент усиления камеры увеличивается. Быстродействующая модуляция коэффициента усиления достигается, быстроизменяющимся уровнем этого напряжения смещения. Период T_g модуляции коэффициента усиления - 1 нс.

В конечной стадии, усиленное электронное изображение от MCP, преобразуется обратно в оптическое, формируя изображение на фосфорной плате интенсификатора. Это оптическое изображение, через линзу поступает на ПЗС камеру.

Преобразователь обеспечивает сигналы запуска для LD и для модуляции коэффициента усиления интенсификатора. Когда коммутатор подключен к порту A, LD излучает в течение цикла возрастания треугольной модуляции коэффициента усиления. Когда тем же самым коммутатор подключают к порту В сигнал запуска задерживается линией задержки, и LD излучает в течение убывающего цикла треугольной модуляции коэффициента усиления.

Вместо того, чтобы коммутировать между портами A и В каждый период треугольной модуляции коэффициента усиления, коммутатор можно подключить на вход А 33 мс, и изображение фиксируется 1.32×10⁶ раз в течение коэффициента усиления возрастания и накапливается в ПЗС. Затем коммутатор подключают к входу В на следующие 33 мс, и изображение фиксируется 1.32×10⁶ раз в течение убывающего коэффициента усиления и снова накапливается в ПЗС.

Накопление зарядов в ПЗС этим способом значительно расширяет чувствительность камеры. Коммутирующий импульс с периодом с 33 мс извлекается из кадрового сигнала синхронизации цветной фотокамеры. С выхода камеры ПЗС, глубина вычисляется в процессоре обработки сигналов согласно уравнениям (5) и (6). Полное время расчета для этих двух изображений I₊ and I₋ с 748 × 493 пикселями составляет - 66 мс, и скорость передачи кадров измерения глубины - половина обычной фотокамеры цветного телевидения.

Цветное изображение объектов одновременно захватывается отдельной цветной камерой. Видимый свет, отраженный от объекта, отражается в обычном и в дихроическом зеркалах и достигает цветной фотокамеры. Излучение ближнего инфракрасного диапазона, отраженное от объекта проходит через дихроическое зеркало и достигает камеры ПЗС.

Следует отметить, что на таком же принципе разработан прототип новой камеры ZCam^TM [23].Камера имеет очень следующие технические характеристики: высокое разрешение глубины – 1-2 см, высокую скорость (60 кадров в секунду) и обеспечивает синхронное и качественное цветное изображение 1, 3 мега пикселя.

3.2.2 3D дисплей

В настоящее время предложен ряд классификаций 3D дисплеев [24-26].

В данной работе под 3D дисплеями будем понимать все типы устройств, предназначенные для отображения объемных изображений кроме шлемов, имеющих свое специфическое назначение, и будем придерживаться следующей классификации 3D дисплеев: стереоскопические, голографические, волюметрические (рисунок 37).

Наибольшее распространение в настоящее время, вследствие относительной простоты изготовления, получили стереоскопические дисплеи. На сегодняшний день к этому типу относятся практически все серийно выпускаемые устройства.

Существует несколько способов сепарации. Наиболее распространенными на сегодня являются:

• анаглифический;

• эклипсный;

• поляризационный;

• растровый.

Анаглифическое изображение - это стереопара специального вида, где всего два ракурса (для разных глаз), которые раздельно кодируются - каждый своим цветом (например: красным или синим), после чего совмещаются в общую картинку [1,27]. Раздельное восстановление ракурсов из этой синтезированной картинки можно получить, - если рассматривать ее через соответствующие фильтры. Таким образом, восстанавливается (декодируется) полная схема зрения двумя глазами (бинокулярность), - в результате чего зрителем ощущается объемность изображения. Анаглифическая технология допускает не только статичные изображения, но и видео-контент с динамичным изменением видеоряда. Помимо резкого красно-синего «стандарта», уже известны и поддерживаются иные – специальные и/или более эстетичные цветовые пары.

Рисунок 37 – Классификация устройств отображения

Сам принцип анаглифического кодирования и восстановления (с помощью очков) изобретен почти 200 лет назад. С тех пор и ввиду всесторонней простоты, анаглиф реально стал самым массовым инструментом в стерео технологиях: большинство ведущих киностудий, рекламисты, многие производители компьютерных игр и т.д., - почти обязательно дублируют свою стерео продукцию в анаглифическом формате.

Для анаглифического кодирования (изготовления контента) разработана масса компьютерных инструментов - в том числе, даже бесплатные программы-конверторы,работающие в режиме онлайн, например, в программном обеспечении популярного тюнера компанииBeholder. Многие известные компьютерные видеографические редакторы имеют встроенные режимы для работы с анаглифическим форматом. Кроме того, ежегодно для взрослых и детей по всему миру выпускаются десятки миллионов различных одноразовых и более прочных анаглифических очков. Их закупают для кинопроката стереофильмов, для домашнего видеопросмотра с CD/DVD, для телевизионных стерео программ (в основном, по кабельному ТВ) и для рекламных акций, ими комплектуются стерео журналы/комиксы, детские книжки, атласы и учебники со стерео иллюстрациями и т.п.

Передача анаглифического контента не требует модернизации телевизионного или телефонного (включая мобильный) трактов, каких-то изменений в самих телевизорах, игровых видео-консолях или мобильных телефонах, т.е. имеется возможность наблюдения объемного изображения на экранах 2D телевизоров и мониторов;

Не требуется также принудительное внешнее управление анаглифическими очками – в виде синхронизации следованию кадров на экране, - как это необходимо, например, для различных затворных (в том числе – некоторых поляризационных) очков.

Компанией StereoStep предложено решение, позволяющее наблюдать объемное анаглифическое изображение без очков. В основе оптики лежит использование лентикулярного бирастра. Это достаточно известная и уже имеющая применение оптическая конструкция. Бирастр образован парой идентичных лентикулярных растров, соосно склеенных плоскими сторонами. Лентикулярный растр – это пластинка из прозрачной «оптической» пластмассы; ее рельефная сторона образована смежными сегментами параллельных одинаковых цилиндрических линз, а плоская сторона – фокальная (как правило) плоскость этих линз.

При необходимости, в промежуток между плоскими основаниями растров-компонентов (в бирастре) могут вставляться различные маски, влияющие на проходящие световые потоки. В частности, встроенный анаглифический фильтр является полосовым растром из чередующихся прозрачных полос (здесь) синего и красного цвета. Все полосы одинаковой ширины – в половину ширины линзы, и размещены точно вдоль линз. Это и есть 2D/3D-конвертор для анаглифического контента.

Данный способ, по утверждению авторов, не требует высокой точности совмещения с растром дисплея, и может быть выполнен в виде приставок к 2D дисплеям.

Это особенно важно для мобильных устройств, где требования к лентикулярному растру очень жесткие из-за высокой разрешающей способности (лин/мм).

Основной недостаток данного способа (плохая цветопередача), к сожалению, принципиально неустраним. Кроме того, глаза видят изображение в разных цветовых оттенках, что неестественно для зрительного аппарата человека, а потому утомляются.

В 1975-1978 гг. сотрудниками Ленинградского телецентра совместно с кафедрой телевидения ЛЭИС проводились опытные трансляции цветного стереоизображения по анаглифическому способу [28].

Эклипсный (светоклапанный) метод сепарации широко применяется в сфере интерактивных компьютерных игр. При временном разделении на экран дисплея последовательно выводятся правое и левое изображения стереопары. Для наблюдения стереоэффекта используются затворные жидкокристаллические стереоочки (рисунок 38), в которых последовательно открываются и закрываются правый и левый окуляры, синхронно с выводом изображений на экран. Для синхронизации применяется специальная электронная схема. Существует два режима реализации принципа временного разделения: c чередованием строк и покадровый.

В режиме с чередованием строк выводятся только четные или нечетные строки каждого из изображений, формирующих стереопару. В таком режиме происходит потеря вертикального разрешения вдвое за счет того, что каждое изображение представлено только половиной строк. Тем не менее, метод получил довольно широкое распространение в профессиональной среде за счет относительной дешевизны (кроме специальных очков практически нет дополнительных требований к видеокарте и монитору). К тому же, в данном режиме частота переключения очков увеличивается вдвое и, соответственно, уменьшается мерцание изображения.

При покадровом режиме на экран дисплея выводятся все строки (полный кадр) левого и правого изображений, а не через одну. Относительный недостаток покадрового режима заключается в дополнительных ограничениях на модель монитора (он должен обладать частотой кадровой развертки не менее 100—120 Гц и низкой инерционностью послесвечения дисплея) и на видеокарту (видеокарта должна иметь аппаратную поддержку покадрового стерео). До недавнего времени дополнительные ограничения заметно сказывались на цене, поскольку соответствующие профессиональные мониторы и видеокарты стоили заметно дороже обычных. Несмотря на это покадровый режим является наиболее комфортным и обеспечивает наилучшее качество стреоизображения (без потери разрешения) и наиболее широко распространен в профессиональной среде.

Рисунок 38 - nVidia GeForce 3D Vision

Данный метод воспроизведения стерео является одним из первых, запущенных в производство. Еще в 1999 г. были выпущены очки Elsa 3D Revelator. Очки поставлялись вместе с картами Elsa Erazor, работали в играх DirectX и требовали минимальной частоты развёртки монитора 100 Гц. Вполне понятно, что очки могли работать только электронно-лучевыми мониторами. После того, как мир начал переходить на ЖК (жидкокристаллические) мониторы с частотой обновления 60 Гц, технология Elsa просто не стала работать - частота обновления слишком низка, чтобы можно было играть без мерцания.

До недавнего времени считалось, что ЖК мониторы не подходят для данного способа сепарации сразу по двум причинам. Во-первых, ЖК экраны не работают на частотах выше 85 Гц, а потому при просмотре через светоклапанные очки обязательно появится мерцание. Во-вторых, изображение на экране ЖК монитора изменяется достаточно медленно (время отклика составляет от 6 до 20 мс). Сегодня технологии ЖК-панелей продвинулись вперёд достаточно сильно, чтобы принцип работы 3D-очков вновь стал актуальным.

И через 10 лет nVidia продемонстрировала новые очки GeForce 3D Vision, которые были впервые показаны на конференции NVISION осенью 2008 года. В комплект продажи входят беспроводные очки, инфракрасный передатчик, который отвечает за связь с очками, переходник DVI-HDMI (через который подключаются DLP HDTV), пара кабелей USB для подключения передатчика и зарядки самих очков, трёхконтактный стереокабель VESA для синхронизации с DLP, защитный чехол и пара накладок на нос, которые отличаются друг от друга по прилеганию [29]. Очки лёгкие и удобные, несмотря на содержащуюся внутри электронику. Концы дужек покрыты резиной, чтобы очки сидели плотнее, а если штатная накладка на нос не подойдёт, в комплект поставки входят ещё две. Чтобы включить очки, достаточно нажать небольшую клавишу на оправе. После 10 минут бездействия очки автоматически отключаются. На полную зарядку встроенного аккумулятора уходит три часа, но этого заряда хватает на 40 часов непрерывной работы.

Связь с очками осуществляется ИК-передатчиком в комплекте поставки, у которого заявлена дальность 20 футов (около 6 метров), при этом поддерживается сколько угодно очков по количеству. На передней панели передатчика расположена простая клавиша включения/выключения. А сзади находится USB-порт, к которому передатчик подключается к ПК, индикатор мощности, порт для кабеля VESA (если вы используете очки с DLP HDTV), а также колёсико для регулировки глубины (разделения глаз).

Помимо самого набора GeForce 3D Vision, для работы технологии требуется ещё пара комплектующих: совместимая видеокарта и совместимый дисплей.

Что касается видеокарт, то любая видеокарта из линейки GTX 200 будет вполне успешно работать, от 260 до 295. Видеокарты из линейки GeForce 9 тоже будут работать, начиная от 9600 GT и выше. Видеокарты линейки GeForce 8, начиная от 8800 GT и выше, тоже поддерживают технологию. Впрочем, видеокарты среднего уровня с очками лучше не использовать, так как включение режима стерео существенно сказывается на производительности, поэтому для поддержания приемлемой частоты кадров на "родном" разрешении панели требуется довольно серьёзная графическая производительность.

Кроме того, поскольку картинку для каждого глаза во избежание мерцания следует обновлять не реже 60 раз в секунду (60 Гц), то обычные 60-Гц жидкокристаллические телевизоры не подойдут. Как и в случае очков Elsa Revelator, которым требовалось частота обновления, по меньшей мере, 100 Гц (а лучше 120 Гц), очкам nVidia 3D Vision необходимы дисплеи 120 Гц. На данный момент список совместимых мониторов очень короткий: Samsung SyncMaster 22" 2233RZ, ViewSonic VX2265wm, а также появились сведения о производстве такого монитора компанией Philips. Но ряд телевизоров Mitsubishi 1080p DLP поддерживают работу с очками, как и один проектор, если судить по списку совместимости nVidia.

Поляризационный способ сепарации широко применяется в стерео кинотеатрах (например, в кинотеатре IMAX).

Для работы с этой технологией необходимы специальные поляризационные очки.

Необходимость использования очков компенсируется устранением ряда недостатков, свойственных автостереоскопии. Кроме того, поляризационные очки намного легче затворных, не снабжены проводами и внешне очень похожи на обычные очки с диоптриями. Их не надо приобретать отдельно, они входят в комплект поставки стерео монитора.

Рассмотрим классы стерео мониторов, которые можно выделить внутри данной группы по способу стерео визуализации: с чередованием строк, фазово-поляризационные и зеркальные [26].

Стерео дисплеи с чередованием строк. В таких дисплеях, благодаря появлению LCD-технологий, стал возможным одновременный, а не последовательный вывод на экран двух составляющих стереопары. Одна половина стереопары выводится на четных строках, другая — на нечетных. Кроме того, левое и правое изображения имеют ортогональную линейную или противоположно направленную круговую поляризацию, благодаря чему происходит разделение изображений для левого и правого глаз при просмотре через поляризационные очки.

По сравнению с чересстрочным стерео, которое получалось с помощью CRT-монитора и затворных очков, прогресс налицо:

LCD-монитор более компактен,

изображение более четкое,

исключено мерцание, свойственное электронно-лучевому дисплею,

поляризационные очки намного легче и удобней, чем затворные,

по-прежнему отсутствуют ограничения на видеокарту.

Кроме того, стоимость таких стерео дисплеев не очень высока, а в последнее время появляются и совсем недорогие модели.

Тем не менее, никуда не делись такие проблемы, как:

потеря разрешения,

повышенная утомляемость от разглядывания долгое время неровного, «полосчатого» изображения,

ограниченная поддержка профессиональным программным обеспечением, в первую очередь драйверами OpenGL,

плохая читаемость элементов интерфейса в оконном режиме.

Корейская компания Zalman в марте 2007 года представили две модели, ZM-M190 и ZM-M220W, с размером экрана 19″ и 22″ соответственно.

Стерео режим в мониторах Zalman реализован по принципу режима с чередованием строк. Чётные и нечётные строки пикселей на экране монитора имеют разное направление поляризации света – однако человеческий глаз сам по себе поляризацию не воспринимает, поэтому без специальных очков мы видим вполне обычное изображение.

Линзы очков же представляют собой поляризаторы, причём плоскости поляризации у них повёрнуты друг относительно друга – так что через одну линзу видны только чётные строки, а через другую, наоборот, только нечётные. Соответственно, если мы выведем на монитор стерео картинку, в которой изображение для одного глаза расположено только в чётных строках, а для другого – только в нечётных, каждый глаз увидит только то, что предназначается для него.

Очки в данном случае, во-первых, являются полностью пассивным устройством (они не содержат в себе какой-либо электроники и не требуют какой-либо синхронизации с монитором), во-вторых, никак не искажают цветопередачу.

Проиллюстрировать сказанное лучше всего схемой (рисунок 39) [30].

Отличие от описанного выше лишь одно: поверх жидкокристаллической матрицы располагается дополнительная плёнка, преобразующая линейную поляризацию света в круговую. Это позволяет избежать искажения картинки при изменении положения очков относительно экрана.

Рисунок 39 - Схема принципа действия стереодисплея с чередованием строк

Очевидный минус такой технологии – снижение эффективного вертикального разрешения монитора вдвое: если экран имеет разрешение 1680x1050 пикселей, то очевидно, что каждый глаз будет видеть только 1680x525. Впрочем, это в любом случае намного выше, чем обеспечивают шлемы «виртуальной реальности», и вполне приемлемо и для игр, и для фильмов.

Поскольку на аппаратном уровне монитор позволяет сформировать две независимые картинки – для левого и правого глаза, то это требует и программной поддержки: видеокарта должна обсчитывать одновременно два кадра, немного отличающиеся точкой зрения, после чего совмещать их друг с другом в чересстрочном режиме: чётные строки берутся из одного кадра, нечётные – из другого

Увы, пока что это не является штатной функциональностью всех видеокарт: работы в области формирования трёхмерного изображения ведёт компания NVIDIA, но даже у неё поддержка соответствующих технологий есть только в картах не ниже GeForce 6 и только в 32-битных версиях Windows Vista. Строго говоря, ранее такой драйвер разрабатывался и под Windows XP, и даже под Windows 98, но поддержка этих ОС была давно прекращена – так что для Trimon придётся установить Windows Vista.

Разработчики пишут о возможности применения мониторов в таких сферах, как медицина, игровая компьютерная индустрия, обучение, дизайн, и для разнообразных научных изысканий.

Тем не менее, с учетом вышеописанных недостатков можно заключить, что данный тип стереомониторов можно рассматривать как полупрофессиональные. Эти модели лучше всего приспособлены для демонстрационных целей и восприятия компьютерных игр.

Фазово-поляризационные стерео мониторы

Фазово-поляризационные дисплеи используют уникальный способ получения стереоэффекта, не применяемый ранее. Метод основан на суммировании световой интенсивности левого и правого изображений в каждом пикселе и последующем разделении суммарного изображения на левое и правое с помощью поляризации.

Стереоскопический стереомонитор Perceiva является разработкой американской компании MacNaughton, Inc. Стереомонитор Perceiva DSD190 аналогичен обычному ЖК монитору, но состоит из двух параллельных LCD панелей и поляризационных фильтров. На первой панели в каждом пикселе задается суммарная интенсивность, а на второй — направление поляризации. Преобразование входных левого и правого изображений производится специальным процессором, который находится в мониторе. На выходе из монитора после прохождения через поляризационные очки оператора световые сигналы формируют два изображения: для левого и правого глаза (рисунок 40).

Рисунок 40 - Схема принципа действия «фазово-поляризационного» стереодисплея Perceiva

Аналогом стереодисплея Perceiva (с некоторыми отличиями) является 22″ cтереомонитор iZ3D российско-американской компании Neurok Optics. Эта модель работает по тому же принципу. Однако, в отличие от Perceiva, кодирование производится программно, с помощью видеодрайвера.

Используя технологию поляризации 3D, схожей с технологией проецирования двух изображений, iZ3D LLC разработала 17” и 22” iZ3D мониторы.

iZ3D использует принцип суперналожения двух изображений [32]. Однако iZ3D изображения создаются на двух точно сложенных ЖК-дисплеях. Также как и в 3D фильмах, технология iZ3D основана на поляризованном свете для создания изображений воспринимаемых левым и правым глазом. Но в отличие от пленок и фильтров с постоянным углом поляризации для проекторов, iZ3D управляет созданием изображения для левого и правого глаза, путем динамического изменения поляризации каждого элемента картинки. Изображения для левого и правого глаз направляются и контролируются одновременно. С программным алгоритмом контроля изображений iZ3D, задняя часть ЖК-монитора управляет интенсивностью излучаемого света, а передняя, его поляризационным углом. В действительности, iZ3D обновляет картинку 60 раз в секунду. Однако изменение на нужный угол поляризации происходит на субпиксельном уровне. Это значит, что для разрешения 1680 х 1050, около 600 миллионов субпикселей перенаправляются ежесекундно при каждой перемене кадра изображения. Поляризационные пленки на задней ЖК-панели определяют поляризационную ось света на момент его входа в переднюю панель. Для динамического контроля передачи света задней и передней панелей, iZ3D использует преимущество первоначальных поляризационных характеристик жидких кристаллов. Именно из-за первоначальных характеристик жидких кристаллов, жидкие кристаллы передней панели перенаправляют входящий поляризованный свет, в соответствии с углом завихрения жидких кристаллов. Для контролирования завихрения жидких кристаллов, применяется электрическое поле. Изменение этого поля, пиксель за пикселем, изменяет каждый пиксель. Особый жидкокристаллический материал в iZ3D реагирует на изменения в электрическом поле изменениями поляризационного угла между 45 и 135 градусами. Так как свет из передней панели поляризован, но передняя часть дисплея не имеет поляризационной пленки, поляризованный свет из передней панели может быть виден только при использовании линейных поляризованных очков с 45 градусной осью для левого глаза и135 градусной для правого. Интенсивность поляризованного света пропорционально делится между левым и правым глазом. К примеру, на 45 градусах, левый глаз будет видеть 100% света, а правый 0%. Так как левое и правое изображения просматриваются одновременно, на 90 градусах оба глаза будут видеть изображение с одинаковой интенсивностью. Поэтому, на 112 градусах 25% света направляется в левый глаз и 75% в правый. Этот метод одновременной адресации, контролирования и показа изображений левого и правого глаза создает изображения для длительного и комфортного просмотра 3D.

Зеркальные стереодисплеи

Принцип реализации стерео в зеркальных стереодисплеях основан на совмещении ортогонально поляризованных изображений двух жидкокристаллических дисплеев с помощью полупрозрачного зеркала и последующего разделения левого и правого изображений стереопары через пассивные поляризационные очки.

Важным достоинством зеркальных стереодисплеев является их поддержка имеющимся программным обеспечением, в т. ч. на уровне драйверов.

В настоящее время полноэкранные двухмониторные стереорежимы поддерживаются драйверами всех видеокарт на основе чипсетов NVIDIA. В этом режиме могут быть запущены практически все 3D-программы на основе стандартов DirectX и OpenGL, даже изначально не поддерживающие стереоотображение. Для работы в оконных стереорежимах требуются профессиональные видеокарты (NVIDIA Quadro FX, FireGL и т. п.) с поддержкой стереорасширений (QuadBuffer) OpenGL, либо специализированные прикладные программы, поддерживающие непосредственный вывод на оба экрана.

Стереомониторы компании Planar [33]. Компания Planar (США) выпускает стереомониторы, состоящие из двух ЖК мониторов, между которыми находится полупрозрачное зеркало. В настоящее время доступен целый ряд моделей: начиная от 17″ до 25″.

В основе мониторов Planar Systems лежит технология StereoMirror, позволяющая получать качественные изображения для работы в таких областях, как аэрокосмическая съемка, фотограмметрия, медицина, химия и др.

Достоинства

Мониторы Planar представляют собой коммерческий продукт, обеспечивающий качественное и комфортное стереоизображение без потери разрешения. Кроме того, имеют достаточно привлекательный дизайн.

Недостатки

К техническим недостаткам можно отнести линейную поляризацию и ограниченный зеркалом угол обзора, к прочим — высокую стоимость.

2007 года под торговой маркой StereoPixel реализуются стереомониторы LcReflex российского производства (рисунок 41).

Следует отметить, что подобная технология была разработана в ЛЭИС еще в 50-годах и создан экспериментальный образец, экспонировавшийся на международных выставках [28] .

Рисунок 41 - Схема принципа действия стереодисплеев StereoPixel

Растровый способ сепарации изображений является, пожалуй, самым старым. Еще в 1692 г. французский художник Буа-Клэр использовал в своих картинах решетку из вертикально расположенных пластин для достижения пространственного эффекта. Похожая структура (светопоглощающий линзовый растр) применялась в кинотеатре "Москва", где в феврале 1941 г. состоялась премьера стереоскопического фильма "Концерт". Растры, применяемые для получения стереоизображений, обладают сепарирующим свойством: разделение изображений происходит без очков, автоматически, поэтому растровые системы зачастую называют автостереоскопическими (рисунок 42) [15].

Автостереоскопия получила развитие благодаря изобретению LCD-мониторов. Использование жидкокристаллических дисплеев, имеющих жесткую структуру пикселей, позволило наладить производство моделей апертурно-растровых автостереоскопических стерео дисплеев на основе применения эффекта барьера параллакса. Барьер параллакса представляет собой еще один дополнительный встроенный жидкокристаллический экран. В режиме моно этот экран полностью прозрачен, а при активации стерео режима представляет собой сетку из вертикальных непрозрачных полос, которые создают тени от лампы в нужных местах экрана [26].

Наиболее распространены сегодня линзовые (лентикулярные растры), состоящие из цилиндрических плосковыпуклых линз, расположенных вертикально.

Принцип работы линзовых растров аналогичен календарикам с объёмной или меняющейся в зависимости от угла наклона картинкой. Расположенные перед экраном вертикально тонкие цилиндрические линзы отклоняют свет от пикселей таким образом, что одни из них видны только правым глазом, другие - только левым. Главная проблема – варианты положения зрителя перед экраном сильно ограничены: можно сидеть лишь строго напротив центра экрана и только на определенном расстоянии от него.

а) стереорежим (барьер параллакса включен)

б) стереорежим (барьер параллакса отключен)

Рисунок 42 - Упрощенная схема принципа действия апертурно-растрового стереодисплея

Каждый производитель борется с этой проблемой по-своему. Например, A.C.T. Kernиспользует специальную камеру на дисплее. Она следит за положением глаз зрителя и специальным программным обеспечением корректирует изображение, что позволяет смотреть на экран почти с любых ракурсов и расстояний. Метод позволяет получать объёмное изображение не только на ЖК или плазменных панелях, но и на большом экране, содержащем вертикальные цилиндрические линзы.Philips применяет не два, а до девяти вертикальных рядов пикселей за каждой цилиндрической линзой, т.е. монитор становится мультивидовым [35].

В мультивидовых (multiview) автостереоскопических устройствах, отслеживающих движение головы, соединяются эффекты стереоскопического параллакса и параллакса движения, что обеспечивает восприятие трехмерного изображения без очков. В наилучших реализациях достигается голографическое качество. В таких устройствах обозреваемая область делится на конечное число горизонтальных слотов. В каждом слоте видимым является только одно изображение, или вид. Каждый глаз зрителя видит разные изображения, которые меняются, когда зритель двигает голову. Таким образом, небольшое число видов может обеспечить как стереоскопический параллакс, так и параллакс движения. Если в процессе генерации изображений учитывается положение головы, устройство может обеспечивать эффект параллакса движения. Иначе обеспечивается лишь стереоскопический параллакс.

Общий недостаток стереоскопических дисплеев - то, что изображения, представленные глазам, являются только плоскими изображениями. Каждое изображение показывает различную перспективу трехмерной сцены, но является сам по себе только плоским фронтальным видом трехмерной сцены. Это приводит к так называемому рассогласованию аккомодация-конвергенция. Конвергенция глаз соответствует фактическому расстоянию точек объекта в трехмерной сцене. Однако, фокусировка хрусталиков глаз всегда соответствует поверхности ОМС, независимо от фактического расстояния точек объекта. Это может привести к чрезмерному напряжению зрения и усталости и ограничивает использование стереоскопического дисплея.

Волюметрические 3D дисплеи существенно отличаются от всех рассмотренных выше типов дисплеев, формирующих изображение с помощью элементов, расположенных в одной плоскости. Принцип их работы состоит в воспроизведении объемного изображения в виде вокселов или векторов, реально разнесенных в рабочем объеме дисплея (объеме воспроизведения), четко ограниченном его конструкцией. Наибольшее количество предложений в этом направлении связано с использованием движущихся экранов. На рынке сейчас представлено весьма немного объемных дисплеев, но ни один из них не имеет такого высокого разрешения, как Actuality. Дисплей Actuality имеет разрешение 768x768 пикселов на 198 плоскостях с восемью цветами, то есть всего 116 млн. вокселов.

Принцип работы такого устройства заключается в следующем [36,37]. Внутри прозрачной сферы Actuality находится белый пластиковый диск диаметром около 25 см, вращающийся со скоростью 700 оборотов в минуту. С одной стороны установлен трехмерный жидкокристаллический проектор, который использует обычную для проекторов лампу. Она передает постоянно меняющееся изображение либо непосредственно на диск, либо на расположенное над ним зеркало, которое вращается вместе с диском.

Данные для проектора обрабатывает специальный DSP-процессор, выполняющий сложные математические алгоритмы, разработанные Actuality. Каждый «кадр» должен быть пересчитан с учетом того факта, что всякий раз, когда изображение передается на экран, последний располагается под другим углом к проектору.

Дисплей получает данные по SCSI-соединению с компьютера, который работает под управлением операционной системы Linux или Windows 2000. Дисплей, функционирование которого базируется на графических стандартах OpenGL, может использоваться с большинством программ трехмерного моделирования.

Аналогичная разработка в 60-годах была выполнена на кафедре телевидения ЛЭИС – стереотрон. Однако в то время не было возможностей для цифровой обработки сигналов, и разработка была прекращена.

В настоящее время разработаны несколько типов волюметрических дисплеев, но широкого распространения они не получили.

Голографические 3D дисплеи можно рассматривать как дальнейшее развитие мультивидовых дисплеев с очень большим количеством воспроизводимых ракурсов. Они дают самое реалистичное 3D изображение, обладающее всеми оптическими свойствами отображаемого реального объекта. Однако на пути голографии стали несколько серьезных препятствий. Процесс записи голограмм очень сложен и требует сверхвысоких точностей. Кроме того, голограмма статична, а специальные среды, на которые можно записывать голограммы по много раз имеют весьма ограниченные свойства и не могут перезаписываться с высокой скоростью.

Существуют два основных подхода к решению этих проблем:

создание голограмм, генерируемых компьютером;

генерирование световых полей, соответствующих реальным объектам;

Голография, генерируемая компьютером (Computer-Generated Holography, CGH) или цифровая голография, — это развивающаяся технология, ставшая возможной благодаря росту мощности современных компьютеров. Вместо шага интерференционной записи традиционного формирования голограмм компьютер вычисляет голографическую интерференционную картину, которая затем используется для установки оптических свойств пространственного генератора света (spatial light modulator, SLM).

Затем SLM, подобно стандартной голограмме, рассеивает считываемую световую волну для получения желаемого волнового фронта. По сравнению с традиционными подходами, применяемыми в голографии, подход CGH не нуждается в специальных материалах для записи голограмм и может синтезировать оптические волновые фронты без фиксации их физического проявления — например, можно генерировать трехмерные изображения несуществующих объектов. Обеспечивается также управление волновым фронтом за счет возможностей простого хранения, манипулирования, передачи и репликации голографических данных. Хотя уже сегодня можно построить системы отображения на основе подхода CGH, для многих приложений они еще слишком дороги.

В качестве SLM предложено использовать ЖК дисплеи, устройства с микрозеркалами (DMD) и сканируемые акустооптические модуляторы.

В настоящее время современные технологические возможности позволяют создавать матрицы LCD и DMD с миллионами элементов, что недостаточно для создания качественного изображения. Примерно те же результаты можно получить на базе акустооптических модуляторов, но при этом необходимо использовать оптико-механическую развертку.

Другой проблемой при реализации метода цифровой голографии является недостаточная производительность современных компьютеров.

Специалисты компании НейрОК предложили использовать другой подход, а именно, формировать непосредственно световые поля, соответствующие реальным объектам. В качестве решения были выбраны алгоритмы формирования световых полей с помощью нейросетей, а в качестве железа были взяты две ЖК панели расположенные одна за другой.

Нейросеть запрограммировали таким образом, что бы она рассчитывала специальные картинки для каждой из ЖК панелей (в принципе, их может быть и более двух). Далее свет, проходя сквозь эти картинки, генерирует светового поле, в целом схожее со световым полем реального объекта. Система обеспечивает нормальное качество 3D изображения. Поскольку обе ЖК панели активны, информация не теряется и разрешение 3D картинки такое же, как и разрешение 2D. Кроме того, поскольку генерируется световое поле, а не стерео пары для левого и правого глаза, возможно изменение положения головы влево и вправо в пределах 30 – 40 градусов. А с использованием 3D монитора, каждый играющий сможет видеть полноразмерную собственную картинку, так как одной из возможностей использования 3D монитора является формирование под разными углами обзора монитора разных изображений.

Система относительно дешева – от обычного ЖК монитора ее отличает только дополнительная панель.

Разработанная модель производилась под торговой маркой Smartron.

Компания SeeReal предложила свой подход к решению проблемам разрешающей способности дисплеев и производительности компьютеров .

Основной идеей предложенной концепции является реконструкция волнового поля наблюдаемого глазом, а не самого трехмерного объекта, т.е. волновой фронт, создающий 3D сцену, реконструируется только в малой области, называемой смотровым окном (рисунок 47).

Следует отметить, что в основе этой идеи лежит представление разработанных так называемых мультиплексных голограмм Ллойд Кросса.

Его размеры лежат в диапазоне размеров зрачка глаза. Для наблюдателя генерируются различные смотровые окна для левого и правого глаза.

Голография основана на дифракции. Размеры пикселя голографического дисплея определяют дифракционный угол, который может быть использован. Для голограммы, соответствующей смотровому окну, необходим небольшой дифракционный угол от дисплея до границ смотрового окна, в то время, как в классической голографии дифракционный угол относится к размеру 3D сцены. Таким образом, устраняется ограничение на размер пикселя и может быть использован дисплей с размером пикселя 60 микрон.

Прямым следствием использования смотровых окон является то, что каждой реконструированной точке соответствует ограниченная область голограммы, в которой закодированы данные от этой точки объекта. Таким образом, в отличие от классической голограммы, часть которой содержит информацию обо всем объекте, но с меньшим разрешением, в данном варианте часть голограммы реконструирует только часть первоначальной сцены, но с полным разрешением.

Смотровое окно должно быть, по крайней мере, столь же большим как зрачок глаза и самое большее как дифракционный порядок в плоскости наблюдателя. Это гарантирует, что свет только от одного дифракционного порядка достигнет смотрового окна. Свет, происходящий от других дифракционных порядков реконструированной точки предмета, вне смотрового окна и поэтому не видится глазом. Размер подголограммы зависит от расстояния точки от ОМС. Типичный ее размер составляет несколько миллиметров.

Расчет голограммы производится, задавая подголограммы для каждой точки объекта как функцию простой линзы и затем суммируя от разных подголограмм. В отличие от классической компьютерно-генерируемой голограммы в данному случае не требуется Фурье - преобразование. Большие размеры пикселя и использование подголограмм уменьшают требования вычислительной мощности в 10000 раз по сравнению с классической голографией, что позволяет производить расчеты в реальном времени.

В классической пленочной голографии с высоким разрешением и большом дифракционном угле наблюдатель может двигаться вокруг голограммы и рассматривать реконструкцию с различных положений. Подход, предлагаемый SeeReal, ограничивающий реконструкции смотровым окном приводит к фиксированному положению наблюдателя. Чтобы устранить этот недостаток используется технология трекинга, слежения за положением глаза зрителя (рисунок 43) [42]. Эта технология достаточна, известна и использовалась в автостереоскопических дисплеях. Суть ее заключается в том, что камера системы в комбинации с алгоритмами быстрой обработки изображений используется, чтобы детектировать положение глаза наблюдателя.

Существуют два варианта для системы слежения:

а) Слежение источника света

Перемещение положения источника света также сдвигает положение VW. Положение источника света не меняется механически. Источник света может активизировать пиксели в дополнительном дисплее на жидких кристаллах, который освещен галогеновой лампой подсветки. Активизируя пиксель в нужном положении на дисплее на жидких кристаллах, источник света может быть сдвинут с помощью электроники без механического перемещения.

б) Элемент управления лучом

С элементом управления лучом после SLM оптический путь от источника света до SLM может поддерживаться постоянным. Элемент управления лучом отражает свет после SLM и направляет свет к глазам наблюдателя. Как пример, элемент управления лучом может быть основан на жидких линзах. Две несмешиваемые жидкости с различными показателями преломления находятся в ячейке с электродами на ее стенах. Напряжение, подаваемое на электроды определяет граничный угол между жидкостями и таким образом угол отклонения света, проходящего поверхность раздела.

Затем смотровое окно перемещается в соответствии с позицией глаза наблюдателя, оптическим или электронным способом. Одновременно в реальном времени пересчитывается голограмма. Каждое перемещение точки объекта в смотровом окне также означает перемещение ее подголограммы в противоположном направлении.

Несомненно, что востребованным в массовом применении может быть только цветной дисплей.

В рассматриваемом случае необходимо вычислить три голограммы (одна для каждого цвета). 3D сцена реконструируется, используя три источника света с соответствующими длинами волны. Есть несколько методов, чтобы комбинировать эти три голограммы и эти три источника света:

а) пространственное мультиплексирование.

Красный цвет, зеленые и синие голограммы пространственно разделены. Например, они могут быть отображаться на трех отдельных SLM, которые освещены красным цветом, зеленый и синий светом источников. Расположение дихроичных светоделителей объединяет выход SLM. Оптическая установка является большой, прежде всего для больших дисплеев.

б) временное мультиплексирование.

Красный цвет, зеленые и синие голограммы отображаются последовательно на одном SLM. Источники красного, зеленого и синего света переключаются синхронно с SLM. Требуются быстрые SLM, чтобы избежать цветного мерцания.

Рисунок 43– Воспроизведение изображения с экрана голографического дисплея SeeReal

SLM, используемый в этом прототипе, является стандартным монохромным дисплеем на жидких кристаллах с диагональю 20 дюймов и 15 миллионами амплитудно-модулируемых пикселей. Размер пикселя - 156 микрон по горизонтали и 52 микрона по вертикали. Голограмма кодировалась на дисплее по фазе, используя три пикселя, чтобы представить одно комплексное число. Размер w смотрового окна составляет одну треть одного дифракционного порядка и равен . Это соответствует размеру= 6мм в смотровом окне с самой малой длиной волны на расстоянии наблюдателяd = 2 м и размеру p = 156 микрон. Голограмма содержит только вертикальный параллакс с голографическим восстановлением только в вертикальном направлении. Вертикальный размер = 6мм смотрового окна достаточен для зрачка глаза и облегчают фокусировку глаза на реконструируемой точке объекта.

Компания SeeReal разработала прототип 20 дюймового цветного голографического дисплея, используя существующие технологии.

Основным недостатком изложенного подхода является то, что он принципиально не применим для создания многопользовательского дисплея.

3.2.3 Генерация контента

Успех любой будущей 3Dтелевизионной вещательной системы будет зависеть в значительной степени от спроса на достаточно интересный 3Dвидеоматериал. Решение проблемы обеспечения этим материалом возможно двумя путями: записью нового материала 3Dкамерами и преобразованием существующего, пользующегося популярностью 2Dконтента. Учитывая отсутствие ограничений на работу в режиме реального времени, все доступные данные могут быть использованы в вычислениях, что даст возможность осуществить высококачественную трехмерную реконструкцию.

В настоящее время разработан ряд пакетов для конвертирования 2D изображений в 3D. Это программы 3D Plus 2.0 от eDimensional и X3D TV Gateway от X3D Technologies Corp. Преодолевая имеющиеся пока недостатки, технология 2D-3D конвертирования продолжает весьма успешно развиваться.

3.2.4 Кодирование и передача

Очевидно, что при разработке вещательных систем объемного телевидения следует ориентироваться как на доступные в стандарте MPEG-2/4/7 инструменты, так и на разработку новых стандартов и рекомендаций. Однако столь же очевидно, что наиболее совершенный механизм кодирования и передачи информации об изображении подсказан природой — современные стандарты видеокомпрессии способны в автоматическом режиме анализировать изображение, отделять необходимую информацию от «избыточной». Точно также, при передаче пространственной информации о трехмерной сцене используются такие алгоритмы, которые не перегружают канал передачи, создавая на приемной стороне изображения промежуточных ракурсов съемки.

Однако современные достижения техники анализа, передачи и воспроизведения объемных изображений, демонстрируемые на крупных международных выставках, касаются пока исключительно приемной стороны, т.е. процесса воспроизведения. Техника создания стереоэффекта на приемной стороне в последние годы значительно шагнула вперед, при этом среди стран Европы следует отметить успехи, например, Института Герца в Берлине. Вместе с тем, как полагают специалисты, существенный «прорыв» в создании реально действующий системы передачи и воспроизведения объемных изображений возможен только при появлении принципиально новых, «революционных» решений. Методы же, используемые в настоящее время во всем мире для создания стереоэффекта, основаны на сравнительно простых и давно известных физических эффектах.

Таким образом, задачу кодирования и передачи объемных изображений по каналу связи следует считать одной из наиболее важных и определяющих дальнейшее развитие таких систем. Решение задачи кодирования и передачи стереоскопической информации позволит автоматизировать процесс анализа пространственных объектов, контролировать глубину и протяженность передаваемых предметов, и это сможет не только открыть путь для объемного телевидения, но и решить много полезных задач в той области, которая всегда относилась к «прикладному телевидению».

Отметим, что кроме традиционных каналов распространения телевидения, в последнее время все более широкое применение находят каналы передачи DVB-H для мобильных устройств, системы IPTV, WiMAX.

Такие каналы могут на начальной стадии внедрения объемного телевидения могут оказаться более перспективными, так как обладают большей гибкостью и меньшей завязкой на потребителя, вследствие меньшого срока жизни устройств. В настоящее время уже разработаны и начинают выпускаться 3Dсотовые телефоны, разрабатываются стандарты для таких систем связи. Большой интерес, представляют системы вещания IPTV и WiMAX, позволяющие организовать вещание объемного телевидения в пределах корпоративной сети учебного заведения или другой организации. Использование 3D телевидения позволит оказать значительное влияние на эффективность обучения, благодаря большим мультимедийным возможностям предоставления информации и привлечения студентов к перспективным и высокотехнологичным областям науки.

Очевидно, что при передаче сигналов объемного телевидения возникают потери, которые влияют на качество реконструированного 3D видео. Последствия ошибок, которые происходят при передаче, на качество воспринимаемого 3D видео не могут быть меньше, чем в аналогичных 2D видео приложениях, поскольку эти ошибки будут влиять на несколько перцептивных характеристик (например, естественность, присутствие, восприятие глубины, чрезмерное напряжение глаз, зрительный опыт и т.д.), связанных с 3D просмотром. Следовательно, при организации передачи 3-D видео, необходимо предусматривать дополнительные меры по защите контента.

Одним из основных требований при внедрении новой системы вещания должна быть предусмотрена возможность обратной совместимости. В случае обратной совместимости с 3D видео приложениями, обычные пользователи 2D видео могут получать плохое качество видео, если компоненты 3D видео защищены в равной степени. Например, защищенная в равной мере передача изображений цвета и карты глубины передачи видео может привести к большим ошибкам 2D видео, которое смотрит значительно больший процент потребителей. Поэтому защитные уровни должны быть неравными, предоставляя более высокий приоритет для более важных данных [42]. Неравная схема защиты (UEP- Unequal Error Protection) от ошибок передачи по беспроводной связи цвета плюс карты глубины 3-D видео повышает качество изображения путем выделения различной мощности передачи отдельных битовых потоков в соответствии с их перцептивным значением.

UEP является одним из наиболее эффективных методов для решения проблем ухудшения качества канала, вызванных ошибками. Этот метод фокусируется на предоставлении дополнительной защиты для наиболее важных компонентов закодированных данных.

UEP схемы, которые используют характеристики 2-D видео часто встречаются в научной литературе. Например, Hannuksela др,. предлагают UEP схему, основанную на кодировании интересующей области [43]. Предлагаемая UEP схема для масштабируемого потокового видео по беспроводным каналам связи, учитывает чувствительность к ошибке каждого уровня кодирования, с целью обеспечить несбалансированную защиту. UEP схемы, использующие перцептивную важность 3D видео, не были всесторонне исследованы на сегодняшний день.

Большинство схем UEP осуществляются с использованием канального кодирования. Тем не менее, UEP вносит большой вклад в кодирование битового потока. Сумма дополнительных данных добавленных к кодированным 3D видео потокам битов будет гораздо выше, чем для обычной 2-D видео из-за наличия более чем одного видео потока битов в закодированном 3-D видео. Кроме того, передача 3D будет вызывать больший спрос на системные ресурсы, такие как полоса пропускания. Таким образом, альтернативная концепция для достижения UEP, например, это выделение различной мощности передачи различным частям видео. Например, в исследовании описанном в [46] выделяются различные мощности передачи отдельных битов в соответствии с их чувствительностью к битовым ошибкам. Кроме того, этот метод позволяет оптимально использовать предоставляемую мощность для видео сервиса. Схема UEP достигает различных уровней защиты путем выделения неравных мощностей передачи для 3D видео компонентов. При таком подходе, 3D видео пакеты с большей мощностью власти имеют больше шансов сохранять работоспособность, чем пакет с меньшей мощностью. Кодированные данные 3D видео классифицируются на основе перцептивной важности и оценок искажений до распределения неравных уровней защиты от ошибок.

В случае использования для передачи технологии 2D плюс глубина, потеря пакетов 2D будет больше раздражать пользователей (т.е. как 2D и 3D зрителей), чем потеря пакетов глубины. Кроме того, 2D видео само предоставляет определенные параметры глубины (например, идентификацию объектов на переднем и заднем плане) во время 2D просмотра. Таким образом, видео потоку 2D должен быть выделен более высокий уровень защиты по сравнению с картой глубины пакет в целом.

Известно, что требования к качеству видео глубины не столь высоки, как к качеству 2D видео, чтобы получить хорошее качество 3D видео. Грубо квантованное изображение глубины позволяет получить качество стереоскопического видео аналогичное 3D видео с хорошим качеством глубина изображения. Кроме того, эффект ошибок глубины карты при передаче на качество реконструированного 3D видео незначителен по сравнению с качеством деградации из-за потерь пакетов видео цвета.

Кроме того, эффект потерь пакетов влияет на глубину восприятия ниже по сравнению с эффектом потерь пакетов на общее качество изображения. Схема неравного распределения мощности поэтому выделяет больше защиты для пакетов изображения цвета, чем для пакетов карты глубины для того, чтобы улучшить качество получаемой 2D/3D видео. Уровни защиты определяются на основе выделенных для передачи электроэнергии данных видео цвета и глубины.

  Схема неравный защиты от ошибок для передачи 3D видео по беспроводной связи показана на рисунке 44 [42]. Цвет плюс глубина стереоскопического видео кодируются, используя конфигурацию SVC, основанную на масштабируемом расширении H.264/AVC. Видео цвета и глубина кодируются на основном уровне и уровне улучшения, соответственно. Эта конфигурация имеет обратную совместимость для 2D видео. Модуль экстрактора разделяет пакеты цвета и глубины на два потока пакетов перед подачей их в передающую систему WiMAX. Модуль питания, как показано на рисунке 44, выделяет различные уровни мощности для битовых потоков цвета и глубины.

Рисунок 44 - Схема неравного распределения мощности 3D видео в системе WiMAX

3.2.4 Стандартизация

Возрождение интереса к 3D породило мощный всплеск активности в области систематизации и стандартизации многочисленных технологий стереовизуализации. По мнению некоторых экспертов, эта волна даже слишком мощна и может привести к принятию скороспелых стандартов, губительных для развития как инновационных типов устройств отображения, так и устройств записи и методов сжатия изображений.

Среди организаций, занятых в законотворческой деятельности, упомянем [38]:

Международный союз электросвязи, объединяющий коммуникационные институты и компании 191 государства. Шестая исследовательская комиссия, организованная при нем по инициативе российского ученого М. И. Кривошеева, объявила конкурс всевозможных методов съемки, хранения, трансляции и отображения 3D-картинок.

Общество инженеров кино и телевидения SMPTE, объединяющее профессионалов из более чем 60 стран и свыше 80 ведущих компаний, причастных к голливудской индустрии (в числе последних Sony, Kodak, Warner Bros. и т. п.). Организованная обществом рабочая группа по стандартизации технологий стереовизуализации для домашних кинотеатров и ПК приступила к работе в конце минувшего лета. Ее цель – унификация технологических стандартов до приемлемого в индустрии уровня в течение 18–30 месяцев.

3D4YOU. Основные движущие силы этого преимущественно европейского проекта, активно пропагандирующего свои достижения на международных выставках, – BBC, France Telecom, Philips, Thomson и немецкий Институт Фраунгофера.

OSIRIS (Original System for Image Rendition via Innovative Screens; osiris-project.eu) – проект, объединяющий девять компаний, в число которых входят Thomson и Holografika. Последняя известна своими успехами в перспективной, но намного опережающей современные аппаратные возможности технологии компьютерной визуализации голограмм.

Следует отметить, что в настоящее время используются две основные технологии записи, хранения и передачи изображений. Это использование стерео технологии и технологии 2D+Z, которую разработала компания Philips и усиленно продвигает ее стандартизацию.

Технология двух камерной записи стереоизображений является наиболее эффективной по стоимости. Разработаны и продолжают разрабатываться методы кодирования стерео изображений. Наиболее эффективным методом считается ассиметричный метод передачи стереоизображений. Метод позволяет достаточно легко адаптироваться к существующим телекоммуникационным условиям и устройствам воспроизведения.

Недостатки этого метода рассмотрены в разделе, посвященном 3D камерам.

Ключевым преимуществом, пропагандируемой Philips, технологии 2D+Z является возможность изменять стерео базу (т. е. расстояние между точками зрения на сцену) «задним числом» на этапе декодирования. Эта функция, в свою очередь, важна по двум причинам. Во-первых, она обеспечивает совместимость 3D-видеоконтента с экранами разных размеров, так как наиболее комфортная для восприятия стерео база зависит не только от масштабов сцены, но и от линейной ширины устройства отображения. При небольшой диагонали устройства отображения малая стерео база уплощает картину, а чрезмерная утомляет зрителя, вынужденного неестественным образом разводить глаза в стороны при рассматривании элементов заднего плана. Во-вторых, она отлично подходит для мультивидовых (multiview) автостереоскопических лентикулярных дисплеев.

Однако система имеет и ряд недостатков. Представление данных в формате 2D+Z от стереопары (а именно в таком виде хранится и снимается в настоящее время подавляющее количество стереофильмов) – сложная математическая проблема. Philips предлагает для ее решения использовать пакет WOWvx Spacer. Однако данный пакет предоставляется в аренду и требуется покадровая оплата его использования. К тому же перевод в формат 2D+Z вряд ли может быть выполнен автоматически, что делает невозможным использование технологий съемки стереопары в реальном масштабе времени, а использование оператора для этих целей замедляет и удорожает процесс, а также ухудшает качество видео.

Кроме того, при декодировании не обходится без разрывов, обусловливаемых наличием в сцене деталей, видимых только одним глазом. Информация, требуемая для заполнения «слепых пятен» в разорванных участках, синтезируется программно либо ее необходимо передавать дополнительно. Еще одна нетривиальная вычислительная проблема связана с необходимостью устранения контурных неровностей в синтезируемой части стереопары.

Несмотря на указанные недостатки, достижения в области объемного телевидения компании Philips могут оказать решающее влияние на принятие стандарта де-факто.

Согласно классификации MPEG-3DAV, три представления сцены трехмерного видео были определены, а именно, круговое (панорамное) видео, интерактивное многопользовательское видео (свободный выбор точки наблюдения) и интерактивное стерео видео [47]. Стереоскопическое видео - самая простая форма трехмерного видео и может быть легко адаптирована в коммуникационных приложениях с поддержкой существующих видео технологий.

Как было показано выше, существуют несколько методов, чтобы генерировать стереоскопический контент, такие как использование стерео камер, 3D/глубинно-диапазонных камер и алгоритмов преобразования 2D/3D. Стереоскопическая запись, использующая стереокамеру является самым простым и наиболее эффективным в затратах способом получить стереоскопическое видео, по сравнению с другими технологиями, изложенными в литературе. 3D глубинно-диапазонные камеры производят цветное изображение и пиксельное изображение глубины сцены. Изображение глубины с соответствующим цветным изображением может использоваться, чтобы воспроизводить изображения для левого и правого глаза, используя программу Depth-ImageBased Rendering (визуализация, основанная на представлении изображения и глубины) (DIBR) метод, описанный в [48].

В настоящее время ISO/IEC 23002-3 (MPEG-C часть 3) работают над стандартизацией решений для изображений 2D плюс глубина, чтобы обеспечить: совместимость контента, гибкость относительно методов передачи и сжатия, независимость отображения и легкость интеграции.

Стереоскопическое кодирование видео

Формат MPEG-2 имеет дополнительный многоракурсный (multiview) профиль, принятый в 1996 году и позволяющий кодировать и передавать изображения с двух и более камер [49]. Спецификация формата MPEG-4, части 2, определяющая способ кодирования видео объектов, позволяет стандартным способом передавать и обычное 2D изображение, и соответствующую ему карту глубины Z. Аналогичные возможности есть и в MPEG-4, части 10 (AVC). Причем стандарты определяют возможность кодировать плоскость Z как дополнительные данные, которые могут быть проигнорированы устройствами, не ожидающими их появления. При этом наличие Z никак не повлияет на декодирование основного изображения. Форматы MPEG-2 и MPEG-4 (AVC) являются основными в цифровом телевидении, поэтому уже есть достаточная база для стандартной трансляции 3D видеоданных. Надо отметить, что работа над стандартизацией продолжается, и принятие очередных добавлений ожидается к 2011 году [50].

Для передачи стерео и объемного контента по каналам связи были разработаны ряд стандартов MAC MPEG-4, H.264/AVC и H.264/SVC.

3DAV, специальная группа MPEG определила MAC (Multiple Auxiliary Component) MPEG-4 как стандарт для кодирования цвета и глубины стереоскопического видео контента. MPEG-4 MAC позволяет кодирование вспомогательных компонентов в дополнение к Y, U и V компонентам в 2D видео. Карта глубины/диспаратности может использоваться как одна из вспомогательных компонентов. Эта конфигурация MAC MPEG-4 для стереоскопического видео кодирования показана на рисунке 45 [51].

Рисунок 45 – архитектура MPEG-4 MAC

MAC производит один поток. Этот подход облегчает использование видео коммуникационных приложений без модификации уровня системы (избегая стадии мультиплексирования и демультиплексирования для различных потоков), и совместим к продолжающейся работе по стандартизации ISO/IEC 23002-3 (часть 3 MPEG-C).

Кодек H.264/AVC является стандартом кодирования видео, который обеспечивает высокую эффективность сжатия и удобство эксплуатации сети. Большая часть предыдущих исследований, относящихся к использованию H.264 для стереоскопического видео, оценивают передачу стереопары, а не кодирование цвет-глубина.

Существуют два главных подхода к кодированию видео цвет-глубина, используя H.264. Первый, кодировать соответствующие последовательности видео цвета и глубины, используя два параллельных кодека H.264. Однако один выход кодирующего устройства обладает преимуществом по сравнению с использованием двух битовых потоков, поскольку не будет влиять на систему коммуникации (то есть дополнительная передача сигналов не является необходимой, чтобы передавать дополнительный битовый поток). Следовательно, один возможный подход заключается в том, чтобы кодировать стереоскопическое видео после некоторой исходной обработки. В источнике изображения цвета и глубины объединяются в единственный источник, чтобы служить входом для кодека H.264/AVC. Для примера, расположенные рядом изображения цвета и глубины (рисунок 46), или чересстрочные изображения цвета и глубины. Недостатком этого подхода является отсутствие обратной совместимости и гибкости для стереоскопических видео коммуникационных приложений. Конфигурация, основанная на H.264/AVC показана на рисунке 46 [51].

Рисунок 46 – архитектура H.264/AVC

H.264-SVC

H.264/SVC, развиваемый JVT, является стандартом кодирования видео, который поддерживает пространственную, временную и качественную масштабируемость для видео. Рассмотрим конфигурацию кодирования стереоскопических видео последовательностей, основанную на многоуровневой архитектуре, предложенной в H.264/SVC. Последовательности изображения цвета и глубины/диспарантности кодируются как основной уровень и уровень повышения, соответственно, как показано на рисунке 47 [51]. Поскольку основной уровень совместим для декодирования H.264/AVC, пользователи с декодером H.264/AVC будут в состоянии декодировать цветное изображение, тогда как пользователи с декодером SVC будут в состоянии декодировать изображение глубины/диспарантности и воспринимать стереоскопическое видео. Эта возможность совместимости вниз H.264/SVC может использоваться, чтобы расширить использование существующих телевизионных приложений.

Кроме того, масштабирование может использоваться, чтобы использовать асимметричное кодирование левых и правых изображений, или кодирования видео и глубины.

Рисунок 47 – архитектура H.264/SVC

В работе [51] проведены исследования оценки искажений при кодировании последовательности 2D+Z (цветное изображение и карта глубины) для стандартов MPEG-4 MAC, MPEG-4 Part 10/H.264-AVC и H.264-SVC. Анализируются характеристики степени искажения стереоскопического видео, используя три конфигурации, основанные на стандартах сжатия видеосигнала MPEG-4 MAC, H.264/AVC и H.264/SVC. Конфигурация H.264/SVC, основанная на многоуровневой архитектуре, обеспечивает такое же качество, как и конфигурация, основанная на H.264/AVC, и превосходит по быстродействию конфигурацию, основанную на стандарте MPEG-4 MAC сжатия видеосигнала на всех скоростях передачи данных с точки зрения объективного и субъективного качества. Кроме того конфигурация, основанная на H.264/SVC, обеспечивает высококачественное стереоскопическое видео, используя последовательности 2D изображения и глубины (полученной глубинно диапазонной камерой) по сравнению последовательностями левых и правых изображений, полученными от тех же самых последовательностей 2D изображения и глубины при низких скоростях передачи данных. Эта конфигурация может использоваться, чтобы исследовать возможность замены существующих моно приложений стереоскопическими телевизионными приложениями, ввиду обратной совместимости стандарта H.264/SVC, который поддерживает декодирование базового уровня, используя декодирующие устройства H.264/AVC. Масштабируемые уровни, существующие в H.264/SVC, могут быть использованы, чтобы кодировать видео с разным разрешением, где одно изображение сцены закодировано по-другому по сравнению с другим. Например, изображение глубины может быть закодировано, как несколько качественных уровней, чтобы устранить проблему окклюзии, существующую в DIBR, и получить оптимальное качество изображения, основанное на возможностях пользователя. Изображения глубины достигают высокого качества изображения в конфигурациях H.264/AVC и H.264/SVC. Следовательно, можно сформулировать, что последовательности изображения глубины могут быть сжаты эффективно, используя конфигурации H. 264.

Выводы

1. Современные технологии позволяют организовать систему стереоскопического телевидения.

2. Созданы и производятся стереоскопические камеры и дисплеи, разработаны стандарты для передачи 3D видео контента.

3. Направление развития в большей мере зависит от выбора стандарта передачи: стереопара или 2D + Z. От этого зависят все основные направления разработок: видеокамер, дисплеев, алгоритмов сжатия, передачи, хранения сигналов.

4. Система 2D + Z имеет несомненные преимущества из-за возможности постобработки глубины сцены. Ее развитие тормозится из-за отсутствия в производстве достаточно недорогих и качественных камер и сложностью перевода в такой формат от наиболее распространенных стереокамер.

5. Для наиболее распространенного домашнего просмотра телевидения целесообразно использовать технологию автостереоскопических мультивидовых дисплеев.

6. Для профессионального использования наибольший интерес представляют голографические системы со следящей системой.

7. Использование каналов IPTV и WiMax позволяет ускорить процесс внедрения технологий, ввиду менее жестких требований, более квалифицированной зрительской аудитории, перспективности использования в процессе обучения, организации видео по запросу.

8. Существующие стандарты телевидения позволяют осуществить передачу стерео и многоракурсных изображений по стандартным каналам цифрового телевидения.