
- •«Санкт-петербургский государственный университет телекоммуникаций им. Проф. М.А. Бонч-бруевича»
- •Реферат
- •Содержание
- •Нормативные ссылки
- •Определения, обозначения и сокращения
- •1 Необходимые условия для объемного воспроизведения изображений
- •1.2 Бинокулярные признаки
- •2 Методы, реализующие пространственное восприятие
- •2.1 Методы визуализации на основе физических свойств
- •Источники света
- •2.2. Визуализация пространственного восприятия на основе бинокулярных признаков
- •3 Система передачи объемного телевидения
- •3.1 Система attest
- •3.2 Современное состояние 3d решений
- •4 Экспериментальная система вещания стереотелевидения
- •Dtu-235 - портативный dvb-t измерительный приемник [53].
- •П.В. Шмаков. Основы цветного и объемного телевидения. Изд-во «Советское радио». М. 1954 г.
- •Чеканов д. Очки nVidia GeForce 3d Vision: игры в стерео. Http://www.Thg.Ru/graphic/nvidia_geforce_3d_vision/nvidia_geforce_3d_vision-01.Html.
- •Приложение а
- •Приложение б
Источники света
При записи голограммы крайне важно, чтобы длины (частоты) объектной и опорной волн с максимальной точностью совпадали друг с другом и не менялись в течение всего времени записи (иначе на пластинке не запишется чёткой картины интерференции). Этого можно добиться только при выполнении двух условий:
обе волны изначально испущены одним источником;
этот источник испускает электромагнитное излучение с очень стабильной длиной волны (когерентное излучение).
Крайне удобным источником света, хорошо удовлетворяющим второму условию, является лазер. До изобретения лазеров голография практически не развивалась (вместо лазера использовали очень узкие линии в спектре испускания газоразрядных ламп, что сильно затрудняет эксперимент). На сегодняшний день голография предъявляет одни из самых жестких требований к когерентности лазеров.
Широко известное преимущество голографической запаси в когерентном свете - возможность плавного рассмотрения изображения благодаря его "истинной" объемности. Однако, голографию вряд ли возможно, и не следует применять везде, где требуется объемное изображение, так как далеко не всегда цена будет соответствовать требуемому качеству, так как нужных результатов можно достичь с меньшими затратами, используя другие средства.
Недостатки голографической съемки становятся очевидными, когда голография применяется в несвойственных ей областях [7]. При этом положительные черты голографии превращаются в свою противоположность.
Избыточность информации, регистрируемой на голограмме, приводит к чрезвычайно высоким требованиям к разрешающей способности записывающих сред. Так создание значительного угла обзора (20° и выше) требует разрешающей способности 1000 лин/нм и выше, а практически бесконечное число ракурсов в голографическом изображении в телевидении оказывается бесполезным для визуального наблюдения, так как зрительный аппарат неспособен различить столько ракурсов.
Избыточность информации приводит не только к завышенным требованиям к разрешению, но и полосе пропускания канала передачи.
Когерентность излучения, достигаемого использованием лазера, также приводит к издержкам:
существует опасность повреждения зрения людей, участвующих в съемке;
лазеры невозможно использовать в случае непрозрачности окружающей среди или нарушения в ней когерентности лазерного излучения (например, под водой);
трудность устранения дневной засветки сужает сферу применений голографической съемки до павильонных сцен;
голографическая съемка микро- и макрообъектов (размером менее 1 мм и более 10 м) не всегда имеет смысл, поскольку в настоящее время практически нет способов получения неискаженных увеличенных и уменьшенных объемных изображений, снятых на голограмму. Всякое изменение масштаба изображения (при сохранении размеров голограммы и длины волны записи) приводит к искажению голографического изображения вдоль продольной координаты;
объемная голографическая съемка сцен глубиной свыше 10 м зачастую не представляется рациональной из-за ограниченной мощности и длины когерентности лазеров.
Монохроматичность лазерного излучения также ведет к потерям при съемке. В ряде случаев изменяется соотношение контрастов и тональностей различных цветовых составляющих спектров отражения объектов по сравнению со спектром при естественном или искусственном освещении (хотя для большинства окружающих нас предметов эти изменения могут быть незначительными). Голографическая съемка возможна только на тех длинах волн, для которых имеются достаточно мощные и одномодовые лазеры. Набор таких длин волн крайне ограничен: 441, 488, 515, 530, 632 и 694 нм и еще несколько линий меньшей интенсивности. Пока считают, что значительного расширения выбора ожидать не приходится.
Даже если удастся повысить длину когерентности лазеров на красителях с перестраиваемой частотой, проблема сохранения цвета при голографической съемке некоторых объектов, обладающих спектральной селективностью, остается не решенной до конца. Использование более трех-четырех линий для цветной голографической съемки вряд ли рационально. В то же время некоторые окружающие нас объекты, например, кристаллы, цветные стекла, имеют сложный спектр отражения или пропускания с максимумами, попадающими в промежутки между лазерными линиями. Следовательно, правильная цветопередача таких объектов при голографической съемке, а иногда и сама съемка невозможна.
Потеря существенных составляющих спектра отражения или пропускания при лазерном освещении и съемке уже невосполнима на этапе воспроизведения. В результате становится невозможной точная передача соотношений различных цветовых компонент такого рода объектов. (Правда, областью применения голографической съемки остаются объекты с плавно и медленно меняющимся спектром отражения, составляющие в природе значительное большинство).
Таковы проблемы, возникающие при стремлении к получению объемных изображений с непрерывным параллаксом.
2.1.2 Структурированный свет
Известно, что традиционная фотография обеспечивает получение двумерных изображений трехмерных объектов, при этом утрачивается информация об объекте вдоль третьей координаты. В ряде случаев, возможно, восстановить утраченную информацию, например, используя закономерности распределения яркости в картинах полутонов, однако в общем случае это не обеспечивает однозначности получаемых результатов.
Известны методы определения формы трехмерных поверхностей на основе оптических стереосистем, которые можно отнести к классу систем «пассивного» наблюдения. Наряду с достоинствами (простота и относительно невысокая стоимость), такие системы обладают существенными недостатками – зависимостью результатов от характера объекта и условий освещения, чувствительность к влиянию фоновых засветок, сложность математических методов и компьютерных алгоритмов обработки и др.
В последние годы получили широкое распространение системы «активного» типа, в которых объект освещается источником излучения с известными свойствами, что позволяет преодолеть указанные выше недостатки традиционных методов. В качестве источника излучения может использоваться лазер, пучок которого сканирует объект.
Использование различных методов модуляции излучения, чаще всего по амплитуде или частоте, позволяет реализовать режим лазерного дальномера для восстановления трехмерного рельефа поверхности.
Активное развитие компьютерных технологий и совершенствование технологии многоэлементных приемников излучения (видеокамер) позволило заменить электромеханическое сканирование электронным и создало предпосылки разработки методов восстановления трехмерной формы объектов более простыми техническими средствами на основе использования принципов:
«проекции полос», сформированных в когерентном или некогерентном свете;
«структурированного освещения» - освещения объектов некогерентным излучением с заданным пространственным распределением яркости.
На рисунке 19 иллюстрируется принцип формирования изображений при структурированном освещении [9].
Рисунок 19 - Принцип структурированного освещения
Восстановление трехмерной формы объектов при структурированном освещении основывается на принципе триангуляции: при известном взаимном угловом расположении осей источника (проектора) и видеокамеры обеспечивается однозначное соответствие элементов проецируемого распределения яркости (так называемого «паттерна») и элементов видеокамеры в области наблюдения.
Рисунок 20 - Пример функции соответствия
При освещении объекта набором «паттернов» с известным распределением яркости, каждый «паттерн» деформируется в соответствии с рельефом поверхности, и расстояние до каждой точки поверхности представляется бинарным кодом. Операция декодирования позволяет получить оценку расстояния до каждой точки поверхности. При проекции параллельных полос картина полос видоизменяется в соответствии с формой освещаемой поверхности. В правой части рисунка 20 показан пример функции соответствия для одной горизонтальной линии. Немонотонность рельефа реальных объектов, обусловленная, например, резкими скачками или затенением отдельных участков, может приводить к разрывам функции соответствия. Для преодоления этой проблемы функция соответствия анализируется на отдельных ее сегментах.
Использование бинарных паттернов (рисунок 21) ограничивает быстродействие системы, поскольку для получения данных о рельефе в широком диапазоне однозначности требуется формирование и регистрация нескольких паттернов с различным шагом полос.
Этот недостаток устраняется при использовании цветных паттернов, которые содержат суперпозицию нескольких паттернов, разделяемых по принципу спектральной селекции. Формирование оптимальных цветных паттернов с устранением избыточности в повторяемости цветов и обеспечением наибольшего различия цветов в соседних полосах паттерна является важной задачей. Пример оптимизированного паттерна показан на рисунке 21 (в полутоновом представлении).
Рисунок 21 - Синтезированный паттерн для метода структурированного освещения
Методы структурированного освещения позволяют восстанавливать форму трехмерных объектов сложного вида. Один из примеров восстановления иллюстрируется на рисунок 22.
На рисунке 22 заметны дефекты реконструкции формы при наблюдении объекта с одного направления под ограниченным углом, вследствие чего возникают искажения на затененных участках. Этот недостаток преодолевается при расширении угла наблюдения видеокамеры или при регистрации изображений с нескольких ракурсов.
Системы структурированного освещения находят широкое применение при реконструкции формы различных объектов в расширенном диапазоне геометрических размеров – от биологических объектов до ценных предметов искусства. Перспективной областью применения являются методы реинжиниринга в технологиях проектирования, когда информация о форме поверхности объектов позволяет оптимизировать технологии создания объектов аналогичного назначения.
Метод структурированного света нашел широкое применение в задачах распознавания образов, а, именно, человеческих лиц [10].
Рисунок 22 - Пример восстановления трехмерной формы поверхности при использовании метода структурированного освещения с цветным паттерном: Исходный объект (а) и реконструкция формы (вид с различных ракурсов)
Системы структурированного освещения находят широкое применение при реконструкции формы различных объектов в расширенном диапазоне геометрических размеров – от биологических объектов до ценных предметов искусства. Перспективной областью применения являются методы реинжиниринга в технологиях проектирования, когда информация о форме поверхности объектов позволяет оптимизировать технологии создания объектов аналогичного назначения.
Метод структурированного света нашел широкое применение в задачах распознавания образов, а, именно, человеческих лиц [10].
2.1.3 Метод фокусировки/дефокусировки
Глубина от фокусировки/дефокусировки - проблема оценки трехмерной поверхности сцены от двух или больше изображений этой сцены [11]. Изображения получаются, изменяя параметры камеры (обычно фокусировку или поворот камеры), и захвачены из одной точки наблюдения (рисунок 23).
Рисунок 23 - Упрощенная геометрия камеры с реальной апертурой
Различие между глубиной от фокусировки и глубиной от дефокусировки - то, что, в первом случае, имеется возможность динамически изменять параметры камеры во время процесса оценки поверхности, в то время как во втором случае это невозможно.
Кроме того, оба метода оценки глубины называют активным или пассивным глубиной в зависимости от того, возможно или нет спроектировать структурированный свет на сцену.
Наряду с методами компьютерного зрения, которые оценивают трехмерные поверхности при использовании изображений, полученные с камерами с объективом пинхоул, находят применение и методы, использующие камеры с реальными апертурами [12]. Такие камеры имеют малую глубину, что приводит к изображениям, которые кажутся сфокусированными только на маленькой части трехмерной сцены. Формирование процесса изображения может быть объяснено оптической геометрией. Модель объектива построена на законе о тонкой линзе, то есть [1/f] = [1/v] + [1/u], гдеf– фокусное расстояние,u- расстояние между поверхностью линзы и сфокусированным планом в сцене, иv- расстояние между поверхностью линзы и планом изображения.
Сцена типично моделируется как ровная непрозрачная поверхность s, подчиняющаяся закону Ламберта (то есть с постоянной двунаправленной функцией распределения коэффициента отражения). Дана текстураr, связанная с этой поверхностью (иначе называемая яркостным или сфокусированным изображением).
В
этом случае, интенсивность I
(y)
в пикселе
мы
обозначаем векторные координаты с
полужирными шрифтами) поверхностиCCD
может быть описана:
(1)
где
компонента hзависит от
поверхностиsи оптических
установокu, и.
Для фиксированное поверхностиs(x)=d(то есть плоскость параллельная плоскости
объектива на расстоянииdот плоскости объектива), компонентаh- функция разностиy-x,
то есть интеграл1становится сверткой
(2)
Следовательно, компонента h определяет смазывание, которое воздействует на специфическую область поверхности в сцене. С идеальной оптикой компонента h может быть представлено цилиндрической функцией. Однако, во многих алгоритмах для глубины от дефокусировки компонента h аппроксимируется гауссианом
(3)
где sxu называют радиусом смазывания, который зависит от поверхности s и фокусного урегулирования u.
Теперь,
первоначальная формулировка задачи
глубины от дефокусировки может быть
формулирована более точно. Дано, набор
изображенийI1...IL,полученных с фокусным расстояниемu1...uLот
той же самой сцены. Необходимо
реконструировать поверхностьsсцены. Для некоторых методов необходимо
также реконструировать излучениеr.
В литературе существует большое разнообразие моделей аппроксимации для вышеупомянутых уравнений. Основным используемым упрощением является допущение эквифокальности, котороесостоит в представлении локальной поверхности расположенной в плоскости параллельной плоскости изображения (то есть эквифокальной плоскости). Тогда, процесс формирования изображения может быть аппроксимирован уравнением (2).
Существует
много систем, работающих в реальном
масштабе времени для глубины от
дефокусировки. Исследования показали,
что расчет глубины от дефокусировки
эффективен для малых расстояний
(например, в микроскопии). Глубина от
дефокусировки сравнима со стереотелевидением,
при условии, что оптическая система, и
сцена правильно масштабированы.
Некоторые примеры дефокусированных изображений и соответствующих восстановлений
глубины приведены на рисунках 24 -26.
Рисунок 24 - Два изображения, полученные из той же самой сцены, но с различным фокусным расстоянием
Изображение
слева получено с объективом с большим
фокусным расстоянием, в то время как
изображение справа малым фокусным
расстоянием.
.
Рисунок 25 - Предполагаемое отображение глубины, используя алгоритм дефокусировки
Слева отображение глубины воспроизводится как трехмерная поверхность. Справа отображение глубины воспроизводится как полутоновое изображение. Темные интенсивности соответствуют удаленным точкам, яркие интенсивности соответствуют близким точкам.
Рисунок
26
- Реконструированная
яркость r
На верхнем левом рисунке показана реконструированная яркость r, на верхнем правом и внизу реконструированная яркость является текстурой, соответствующей реконструированной поверхности, которая позволяет визуализацию от новых точек зрения.
В системах с использованием фокусировки/дефокусировки применяются механические системы регулирования фокусного расстояния.
Однако в последние годы появились разработки линз с переменным фокусным расстоянием управляемым электронным способом на основе жидких линз [13].
Работа жидкой линзы очень напоминает человеческий глаз, который фокусируется путем изменения кривизны хрусталика.
Учитывая, что управление фокусным расстоянием линз необходимо во многих, широко распространенных приложениях, «жидкими линзами» заинтересовались сразу несколько крупных компаний, занимающихся информационными технологиями и видеотехникой. В частности, год назад компания «Philips» анонсировала оптическую систему FluidFocus, работающую по принципу «жидкой линзы». Устройство состоит из небольшой трубки с прозрачными торцами, заполненной двумя несмешивающимися жидкостями с различными коэффициентами преломления. Одна представляет собой проводящий электричество водный раствор, а другая — масло, изолятор. Внутренняя поверхность трубки и один из торцов покрыты гидрофобным покрытием, в результате чего водный раствор, скапливающийся у противоположного торца, принимает полусферическую форму. Фокусное расстояние (кривизна линзы) изменяется увеличением или уменьшением электрического потенциала, приложенного к гидрофобному покрытию. При этом поверхность может стать совершенно плоской и даже вогнутой – линза из собирающей превратится в рассеивающую или наоборот. Размеры опытного образца FluidFocus составили всего несколько миллиметров, его фокусное расстояние меняется от 5 сантиметров до бесконечности, и, что особенно важно, скорость переключения между двумя крайними режимами работы менее 10 миллисекунд, а энергопотребление крайне мало. Последнее обстоятельство открывает возможности применения «жидких линз» в портативных устройствах, работающих от аккумуляторов: цифровых фотоаппаратах, встроенных в мобильный телефон видеокамерах и прочей технике.
Системы, подобные FluidFocus, разрабатывают и другие компании. «Bell Labs», например, сконструировала свой вариант «жидкой линзы».
Эти работы пока не доходили до промышленного воплощения. Однако сейчас уже ряд компаний собираются использовать их
Так Samsungразработал линзу для камерофона [14]. Линзы AMS-1000 обладают гибкими характеристиками фокусного расстояния, которое зависит от подаваемого на нее тока. Для изменения фокусного расстояния на линзу подается переменный ток и для того, чтобы зафиксировать линзу в определенном фокусном положении необходимо напряжение подавать постоянно.
Жидкие линзы практически в два раза меньше стандартных.
Основные характеристики подобных жидких линз:
большой диапазон фокусного расстояния;
нет движущихся частей;
маленькое время отклика;
хорошая прозрачность;
большой диапазон рабочих температур;
стабильность;
низкое энергопотребление;
устойчивость к вибрациям.