3.3.7. Технологии создания и поддержки интерактивных трехмерных представлений
Технология QuickTimeVR. Она обеспечивает поддержку таких важнейших представлений среды ВР как панорама ВР, объект ВР и сцена ВР. Панорама ВР отражает вид из фиксированной точки на окружающее пространство, спроецированный на внутреннюю поверхность цилиндра, на оси которого расположена эта точка (рис.3.2) [3].
Рис.3.2. Панорама ВР
В окне отображения панорамы выводится ее определенная часть. Пользователь может выбирать фрагмент, представляемый в окне, перемещая его вдоль оси цилиндра и вращая цилиндр, а также увеличивать и уменьшать изображение, меняя масштабный угол α. Вертикальное перемещение ограничено высотой цилиндра и текущим значением высоты изображения. При постоянном размере окна увеличение масштабного угла α вызывает расширение попадающего в него фрагмента панорамы при одновременном снижении детальности представления, а изображение как бы удаляется. И наоборот, при уменьшении угла α охватываемый окном фрагмент сокращается, а изображение как бы приближается.
Вращение цилиндра обеспечивает горизонтальное перемещение влево-вправо по панорамному представлению. В панораме, содержащей полный вид в 360°, такое перемещение не ограничено, т.е. пользователь может бесконечно вращать цилиндр в любом направлении. Неполная панорама включает часть цилиндрической поверхности, направляющей которой служит не окружность, а дуга. В этом случае перемещение по горизонтали ограничивается углом этой дуги.
Схема формирования панорамы ВР также показана на рис. 3.2. Исходные виды представляют собой матричные (растровые) изображения. Кадры для их создания можно снимать универсальной фото- или видеокамерой, установленной на поворотном штативе с угломерным устройством (лимбом). Угол между последовательными позициями камеры выбирается в пределах 20°-30° и является фиксированным для панорамы. Для обеспечения плавных переходов цветов и освещенности соседние кадры должны перекрываться на 50%.
Полученные изображения переводятся в цифровую форму и объединяются в интегрированное панорамное представление, которое затем преобразуется в панораму ВР. Две последние операции выполняются с помощью авторских программных средств, реализующих технологию QuickTimeVR.
В качестве альтернативы натурной съемке выступает синтез исходных видов в среде ПС геометрического моделирования. Некоторые из таких систем позволяют формировать интегрированное панорамное представление вокруг заданной точки трехмерной сцены, другие генерируют последовательность матричных файлов для его построения.
Существуют специальные панорамные камеры, автоматически фиксирующие интегрированное панорамное представление на фотопленку или более современный носитель. К их недостаткам относятся высокая стоимость, ограниченная высота цилиндра и необходимость дополнительной обработки краев панорамного представления перед его переводом в формат MOV.
Объект ВР в технологии QuickTimeVR – это интерактивное представление, объединяющее множество различных видов одного объекта с разных точек обзора, расположенных в узлах координатной сетки на поверхности окружающей его сферы (рис. 3.3) [3]. Точки обзора покрывают сферу целиком или частично. В зависимости от этого объект представляется либо со всех сторон, либо только с позиций, относящихся к определенной области.
Рис.3.3. Объект ВР
Каждый вид может быть статическим или анимированным. В первом случае он включает единственное изображение, во втором – серию изображений (кадров), т.е. такому виду соответствует небольшой видеофрагмент или анимация. Данные информационные компоненты могут воспроизводиться однократно, бесконечно в прямом направлении и бесконечно с регулярной инверсией направления (от первого кадра к последнему, затем от последнего к первому и т.д.).
В отличие от панорамы ВР различные виды объекта ВР не интегрируются в единое изображение. Пользователь выбирает отображаемый вид, переходя от одного вида к другому квазинепрерывно, например, вращая объект, или дискретно, указывая направление, которое специфицирует интересующий его вид. Также можно увеличивать и уменьшать изображение.
Один из видов определяется в качестве вида по умолчанию (poster view), отображаемого непосредственно после загрузки объекта.
Технология QuickTimeVR позволяет создавать представления, содержащие альтернативные варианты видов, ассоциируемые с различными состояниями объекта. Смена состояния происходит при наступлении определенных событий. Виды могут быть связаны со звуковыми фрагментами и спрайтами (многократно появляющимися на странице или в кадре и исчезающими изображениями), хранящимися в соответствующих дорожках MOV-файла. Выбор вида для отображения инициирует воспроизведение или вывод на экран данных компонентов. Упомянутые механизмы обеспечивают ситуативность объектов ВР.
Как и в панорамных представлениях, различные виды объектов ВР образуются матричными (растровыми) изображениями. Они формируются на основе видеоматериалов или кадров фотосъемки реального объекта либо синтезируются средствами геометрического моделирования. Для обеспечения плавных переходов между видами рекомендуется, чтобы параллели и меридианы на координатной сетке на поверхности сферы располагались через каждые 10°. В качестве фона объекта ВР может использоваться произвольное матричное изображение.
На входящих в панорамы и объекты ВР видах могут быть определены контактные области. Ассоциируемые с ними команды модификации визуального представления и гиперссылки инициируют выполнение следующих действий:
смена или выбор отображаемого фрагмента панорамы или вида объекта;
увеличение или уменьшение изображения;
изменение состояния объекта ВР, вызывающее соответствующую модификацию его визуального представления (за счет выбора одного из альтернативных вариантов видов);
переход к другой панораме, объекту или сцене QuickTimeVR (рассматриваемой далее);
обращение к Web-странице;
вызов функции, связанной с отображаемым фрагментом панорамы или видом объекта (в частности, отображение или воспроизведение компонентов, содержащихся в других дорожках MOV-файла).
Если панорама или объект ВР используются в кадре или на странице КСО, то к данному множеству типов гиперссылок добавляются ранее рассмотренные в 3.3.2 стандартные ссылки типов 1-7 [3].
Сцена ВР в технологии QuickTimeVR образуется как совокупность взаимосвязанных панорам и объектов. Сцена представляет собой MOV-файл, содержащий все участвующие в ней панорамы и объекты ВР. В каждый момент времени на экране может отображаться только один из компонентов сцены. Точка входа в сцену определяет панораму или объект, отображаемые непосредственно после ее загрузки.
Изображения, используемые в панорамах и объектах, хранятся в упакованном представлении. Поскольку благодаря интерактивности возможны переходы к кадрам анимированных видов объектов из любых других видов (а не только из предыдущего или последующего кадров последовательности как при прямом и инверсном ее воспроизведении), при сжатии таких видов не применяется временная компрессия (т.е. все кадры являются ключевыми/опорными).
Компоненты, основанные на геометрических моделях, не содержат множество заранее созданных изображений, а позволяют их динамически синтезировать. По сравнению с технологией QuickTimeVR данный механизм обладает большей универсальностью и обеспечивает более широкий спектр возможностей. Выбор отображаемого представления не ограничен фиксированным множеством каких-то предопределенных видов. Потенциально пользователю доступны любые виды, в том числе и нереальные – те, которые нельзя зафиксировать при натурной съемке. Плавность навигации по трехмерной сцене (т.е. переходов между разными ее визуальными представлениями) зависит не от числа имеющихся видов и пространственных интервалов между ними, а от сложности применяемых геометрических моделей и производительности компьютера [3].
Рассматриваемые компоненты включают:
геометрические модели, описывающие конфигурации объектов сцены и их частей, а также связи между ними;
информацию о расположении объектов в пространстве;
описание состояний объектов с указанием соответствующих значений параметров геометрических моделей;
информацию о цветах и текстурах;
информацию о расположении источников света в пространстве и их параметрах;
описание поведения объектов (траектории и характер движения, динамическое изменение состояний, форм, цветов, текстур и др., реакции на события и т.д.);
описание контактных областей и ассоциируемых с ними гиперссылок;
матричные изображения, используемые в качестве фона;
прочие информационные компоненты, используемые в сцене (текстовые, звуковые, видео).
Напомню, что при геометрическом моделировании применяется технология трехмерной векторной графики. Геометрическая модель объекта визуализируется в виде каркасного или так называемого проволочного (wireframe) представления. Его поверхность аппроксимируется сетью плоских многоугольников или треугольников. Чем больше этих элементов, тем точнее приближение, выше качество и реалистичность формируемого изображения.
Синтез визуального представления включает определение расположения объектов в пространстве, соответствующего данной точке наблюдения, и генерацию матричного (растрового) изображения по описанию сцены для полученного расположения (рендеринг). Алгоритмы рендеринга используют геометрические модели, информацию о цветах, текстурах и освещенности. Под текстурой понимается совокупность свойств поверхности объекта, влияющих на ее вид.
Простейший вариант рендеринга базируется на операции градиентной заливки. В современных реализациях данного алгоритма в качестве текстур могут выступать матричные изображения, представляющие типовые материалы поверхностей (дерево, гранит, бархат и т.д.) либо виды реальных объектов, полученные путем их фото- или видеосъемки.
Компоненты, базирующиеся на геометрических моделях, подразделяются на два класса. Модели, воплощаемые в компонентах первого класса, создаются с помощью трехмерных графических редакторов. Этот процесс требует от разработчиков владения определенными навыками геометрического моделирования.
Примером реализации рассматриваемого подхода служит технология, базирующаяся на языке моделирования ВР (Virtual Reality Modeling Language, VRML) [3]. Редакторы VRML позволяют строить объекты путем комбинирования (объединения, пересечения и вычитания) базовых геометрических фигур (трехмерных векторных примитивов), трансформирования 3D-представлений (масштабирования, деформирования, поворотов, наклонов, преобразований на основе свойств симметрии и т.д.), а также наложения на их поверхности текстур.
Совокупность объектов, размещенных в пространстве, образует сцену. Но в отличие от QuickTimeVR сцена VRML отображается не поэлементно, а целиком (представление синтезируется для заданных точки и условий наблюдения, поэтому какие-то объекты в нем могут быть невидимы), и пользователь имеет возможность манипулировать входящими в нее объектами по отдельности.
Объектам приписываются свойства, специфицирующие их поведение и интерактивность. Влияние объектов друг на друга отражают определяемые между ними связи. Например, при перемещении объекта будут перемещаться и связанные с ним объекты.
Помимо объектов сцена может включать:
трехмерные тексты;
звуковые компоненты в форматах WAVE и MIDI;
видеофрагменты, воспроизводимые на плоских гранях объектов;
фоновые матричные изображения;
источники света, учитываемые при рендеринге;
контактные области, ассоциируемые с действиями по модификации визуального представления объектов и гиперссылками;
неподвижные и анимированные камеры, позволяющие видеть сцену изнутри с заданных точек наблюдения и совершать «экскурсии» по ней по разным траекториям.
Сцены VRML могут использоваться в приложениях и HTML-страницах. Для их отображения служат VRML-клиенты, реализуемые в виде динамически подключаемых библиотек (DLL) и программ расширения (plug-in) для браузеров. VRML-клиенты предоставляют средства для манипулирования представлением сцены в целом: выбора точки наблюдения, масштабирования, поворота, вращения, управления воспроизведением анимации, изменения условий освещения и т.д.
Контактные области и гиперссылки, предусмотренные в сцене, позволяют:
манипулировать представлениями сцены в целом и входящих в нее объектов по отдельности;
изменять местоположения объектов в рамках сцены (перемещать объекты);
изменять состояния и свойства объектов, влияющие на их визуальное представление и поведение;
переходить к другим сценам;
обращаться к web-страницам;
вызывать функции, связанные с отображаемым представлением.
Как и в случае панорам и объектов ВР, гиперссылки в VRML-компонентах, используемых в кадрах или страницах КСО, также могут применяться вместе с типами 1-7, приведенными в 3.3.2 [3].
Особым классом объектов VRML являются аватары. Аватаром называется трехмерный образ персонажа, действующего в виртуальном мире. В некоторых Internet-приложениях аватары выступают в качестве виртуальных представителей пользователей сети. Применительно к компьютерной дидактике технология аватаров обеспечивает один из способов реализации агентов. Как и другие VRML-объекты, аватар основывается на геометрической модели. Отличия состоят в особых методах анимации, позволяющих наделить его мимикой, жестами и движениями. Комбинации поз и анимационных фрагментов ассоциируются с типовыми действиями, которые должен быть способен выполнять аватар. Например, к числу таких действий относятся приветствие, поклон, демонстрации согласия и несогласия, перемещение (ходьба) по заданной траектории, выражение определенных эмоций и т.д. Аватары включаются в сцены VRML, где могут взаимодействовать с другими объектами.
К отрицательным сторонам технологии VRML относятся невысокое качество и условный характер трехмерных представлений, а также трудоемкость их построения, обусловленная необходимостью ручного формирования геометрических моделей. Кроме того, несмотря на уверения производителей редакторов VRML о легкости их использования, для успешного освоения и эффективного применения этих средств требуется определенная подготовка в области геометрического моделирования.
Технология ScanWare VR. Недостатки технологии VRML преодолеваются при автоматическом формировании геометрических моделей по изображениям реальных объектов. Это реализует технология ScanWare VR, разработанная фирмой Dimension 3D-Systems. Она обеспечивает массовое создание интерактивных трехмерных представлений, ориентированных на применение в электронной коммерции. Съемка изображений осуществляется с помощью специального оборудования, управляемого компьютером: сканирующей камеры, поворотного основания, на котором располагается объект, и осветительных устройств. Формирование представления, не содержащего контактные области, занимает считанные минуты при минимальном участии разработчика.
Для хранения создаваемых компонентов предназначены файлы формата SPX. Данный формат является открытым, его описание доступно для всех желающих. Интерактивные трехмерные представления в формате SPX обладают фотореалистичным качеством и имеют меньший объем, чем соответствующие VRML-аналоги. Для их отображения в HTML-страницах служат распространяемые бесплатно программа расширения для браузеров Open SPX plug-in и Java-апплет SPX-Applet.
Высокое качество визуальных представлений в SPX-компонентах достигается за счет того, что изображения реального объекта применяются дважды: сначала по ним строится геометрическая модель, а затем они используются в качестве текстур, накладываемых на ее поверхность.
Одним из недостатков ScanWare VR является то, что SPX-файл не может содержать описание трехмерной сцены, включающей несколько независимых или взаимодействующих объектов. Прочие минусы данной технологии связаны с ограниченной интерактивностью создаваемых компонентов и невозможностью представления объектов с меняющимися формами или текстурами.
Существуют и другие варианты воплощения подхода, предусматривающего автоматическое формирование геометрических моделей на основе изображений реальных объектов, не требующие применения специального оборудования. Например, к их числу относится программный инструментарий, позволяющий строить интерактивное трехмерное представление по фотографиям двух видов объекта. Однако, простота разработки подобных представлений нивелируется их низким качеством, а также его слабой устойчивостью к манипуляциям пользователя, вызывающим изменение условий отображения (при выборе неподходящего масштаба или точки наблюдения вне определенной области изображение значительно искажается либо вообще не может быть синтезировано).