Мультимедиа и виртуальная реальность

9. Мультимедиа и виртуальная реальность

9.1 Мультимедиа  Увеличение быстродействия процессора, вместимости оперативной памяти и внешних устройств ЭВМ, появление лазерных компакт-дисков и освоение графического режима работы терминалов, развитие методов компьютерной графики и анимации позволяют организовать на компьютере домашний кинотеатр. Чтобы он не был «великим немым», осталось оснастить компьютер устройствами для воспроизведения и записи звука. Теперь в восприятии информации с компьютера человеком участвует не только зрение, но и слух.  Дискретная форма информации, обрабатываемой ЭВМ, потребовала преобразования аналогового звукового сигнала, до сих пор широко применяемого в технике связи и в быту, в цифровую форму путем дискретизации и квантования (см. разд. 1.4). Для этого используются аналого-цифровые (АЦП) и цифро-аналоговые преобразователи (НАЛ). Конструктивно они оформляются в виде звуковой платы. Кроме ЦАП и АЦП, звуковые платы могут содержать усилители сигналов. К звуковым платам подключаются устройства воспроизведения - звуковые колонки и входные звуковые устройства — микрофоны, магнитофоны, радиоприемные устройства. Программное обеспечение компьютера позволяет одновременно проводить операции с неподвижными и анимированными графическими образами, видеофильмами, текстом и звуковым сопровождением. Такая технология получила название мультимедиа (множественная среда). Мультимедиа способна объединить текст, речь, звуки, музыку, телевизионное изображение, фрагменты кинофильмов, мультипликацию, диаграммы, карты, таблицы, рисунки, фотографии, чертежи, схемы и т.п. в единую красочную форму представления информации. Она может выступать в форме диалогового справочника и энциклопедии, электронной книги, рекламного ролика, обучающей программы, игры и т.п. Мультимедиа позволяет синхронно воздействовать на слух и зрение человека под управлением программного обеспечения, тем самым повышая объем передаваемой в единицу времени информации.  Простейший и дешевый путь построения системы мультимедиа - стыковка разнородной аналоговой аппаратуры (магнитофонов и видеомагнитофонов) с компьютером и представление возможностей управлять ими компьютерной программой. Этот путь уже пройден. Дальнейшее развитие мультимедиа - объединение разнородных типов данных в цифровой форме на одной среде-носителе в рамках одной системы и оснащение компьютера устройствами для ускорения обработки.  Новые микропроцессоры, ориентированные на мультимедийное графическое и коммуникационное применение (ММХ -MultiMedia eXtention), имеют дополнительно восемь 64-разрядных регистров и 57 дополнительных команд для одновременной обработки нескольких данных. Видеоадаптеры тоже снабжаются ускорителями обработки графических сигналов.  Сжатие данных. Видео и звуковые оцифрованные данные требуют большой памяти. Для качественного представления звукового сигнала требуется дискретизация через интервал 25 мкс или 40 тысяч значений звукового сигнала в секунду. Для хранения одного оцифрованного значения используются два байта (65 тыс. квантов). Нетрудно подсчитать, что для стереофонической записи (два канала) в секунду образуется 150 К информации. Четырехминутная песня будет представлена 41 М памяти на диске.  Еще хуже дело обстоит для видеосигналов. Для не очень хорошего качества воспроизведения требуется в секунду передавать порядка 30 М памяти. На лазерном диске вместимостью 650 М можно расположить небольшой рекламный ролик длительностью 22 с.  Значения соседних по времени оцифрованных сигналов существенно не меняются. Это дает возможность применять различные методы преобразования дискретных сигналов для уменьшения их объема при хранении.  Цифровое сжатие сигнала заключается в удалении избыточной информации из потока видеоданных после преобразовании аналогового телевизионного изображения в последовательность единиц и нулей. Сжатие делается программой-кодировщиком (кодером). В результате общий объем данных, которые надо передать или сохранить, существенно уменьшается. При воспроизведении сжатый сигнал восстанавливается при помощи специального устройства (проигрывателя) или программы (декодера). Использование цифрового сжатого видео позволяет уменьшить стоимость его передачи, улучшить качество изображения, защитить данные от несанкционированного доступа.  В настоящее время существует несколько технологий сжатия изображений -MPEG, Indeo, Cinepak, JPEG, H.261 и другие. Каждая из них используется в определенных приложениях и обладает своими собственными достоинствами и недостатками.  Основной принцип сжатия изображений заключается в разделении каждого кадра на отдельные блоки с последующим удалением одинаковых частей блока. Этот процесс называется внутри кадровым анализом (intraframe analysis). Избыточная информация удаляется на основании сравнения соседних кадров друг с другом. Такая техника называется компрессией с потерями: чем сильнее сжимаются данные, тем больше информации утрачивается. Основная задача качественного цифрового сжатия состоит в поддержании оптимального баланса между объемом результирующих данных и качеством изображения.  В 1988 г. была создана группа экспертов по движущимся изображениям (MPEG - Moving Picture Experts Group). Они разработали ряд стандартов, которых придерживаются почти все производители. Эти стандарты так и называютсяMPEG - по английской аббревиатуре. Технология MPEG разработана таким образом, чтобы в первую очередь удалялись те элементы изображения, которые незаметны при его просмотре. Для этого используется как внутрикадровый анализ, так и сравнение отдельных кадров между собой.  Форматы кодирования звука в MPEG делятся на три разновидности: Layer I, Layer II, Layer III. Layer III достигает самого большого сжатия, но требует больше ресурсов на кодирование.  Принципы кодирования звука основаны на том факте, что человеческое ухо несовершенно и на самом деле в цифровом  несжатом звуке (CD-audio) передается много избыточной информации. Принцип сжатия работает на эффектах маскировки некоторых звуков для человека. Например, если идет сильный звук на частоте 1000 Гц, то более слабый звук на частоте 1100 Гц уже не будет слышен человеку, также будет ослаблена чувствительность человеческого уха на период в 100 мс после и 5 мс до возникновения сильного звука. Психоакустическая модель, используемая в MPEG, разбивает весь частотный спектр на части, в которых уровень звука считается одинаковым, а затем удаляет звуки, не воспринимаемые человеком, благодаря описанным выше эффектам.  В Layer III части разбитого спектра самые маленькие, что обеспечивает самое хорошее сжатие. Стандарт ISO MPEG Audio Layer III обеспечивает сжатие в 4 - 11 раз с потерями качества, причем потери тем больше, чем больше степень сжатия. При степени сжатия 11 на компакт-диске можно разместить до 11 часов стереофонических музыкальных программ. Еще лучшие результаты достигаются для телевизионных изображений: на компакт-диске размещается полуторачасовой фильм (сжатие до 180 раз).  Всего в настоящее время существуют пять видов стандартов MPEG для кодирования видео- и звуковых сигналов. Наиболее перспективным считается MPEG4. Он позволяет обеспечивать сжатие до 8 звуковых высококачественных каналов. На стандартном компакт-диске в этом стандарте можно поместить трехчасовой видеофильм.  В настоящее время интенсивно внедряется в компьютерную технику новый тип лазерного диска - DVD (цифровой многофункциональный диск). Двухсторонний двухслойный диск DVD способен хранить более девяти часов видеоинформации студийного качества или 30 часов звукозаписи несжатого звука (CD-audio качества) или 17 Гбайт данных.  Мультимедиа программы. Существует множество программ для мультимедиа-приложений. Это, прежде всего, аудио и видео проигрыватели. Звуковая программа WinAmp позволяет воспроизводить музыкальные произведения, представленные в различных форматах от обычной цифровой записи до формата  Layer III. Программа представляется тремя окнами: панелью управления (WINAMP) с кнопками управления, многоканальным устройством регулировки тона - эквалайзером (WINAMP EQUALIZER) и окном со списком музыкальных произведений, выбранных для воспроизведения (WINAMP PLAYLIST).  Обычно компакт-диски сжатого звука содержат, кроме звуковых альбомов, еще поясняющий текст и фотографии исполнителей. Более сложные проигрыватели имеют окна со списком музыкальных произведений, сопровождающим музыку текстом и фотографиями. Примером такой программы является проигрыватель МРЗ фирмы Triada. Вид его окон дан на рисунке 9.2. Аналогичная программа DivX используется для показа видеофильмов.  Мультимедиа-системы успешно применяются в сфере образования (в том числе при дистанционном и заочном обучении). Обучающие программы выводят на экран неподвижные и движущиеся рисунки, которые сопровождаются синхронным звуковым сопровождением. По рисунку может перемещаться подвижный указатель для указания нужного места рисунка. Обучающий материал разбивается на разделы и дозы. Управляющая программа позволяет выбирать раздел, а при его проработке использовать последовательное прохождение доз, либо выбирать нужные фрагменты обучающего материала для повторного прохождения или пропуска хорошо усвоенных фрагментов. Такими программами является серия обучающих программ Teach Pro. Они предназначены для освоения компьютерных технологий. На  В нижней части окна помещена панель управления с указанием фрагментов (светлые полоски на черном фоне внутреннего окна панели). Кнопки управления позволяют начать и приостановить выдачу учебного материала, пропустить фрагмент, перейти к следующему подразделу, включить режим упражнений или контроля после прохождения фрагмента и т.д. Программа сама выводит нужный рисунок, а диктор поясняет его. Указатель в виде манипулятора мыть показывает нужную часть рисунка. Справа на панели управления размещены два движка для регулировки громкости дикторского текста и фонового музыкального сопровождения. При желании можно перейти к традиционному чтению учебника (режим «Книга»).  Другая мультимедийная обучающая программа Talk to Me предназначена для обучения иностранным языкам. Особенностью  ее является голосовое общение с обучаемым. Она позволяет проверять правильность произношения фразы на иностранном языке с помощью анализатора речевого сигнала. Программа имеет несколько режимов работы, нужный режим выбирается из меню.  В режиме «Диалог» программа голосом учителя произносит вопрос на выбранную тему, текст вопроса также можно прочесть на экране, и предлагает произнести фразу ответа, одну из тех, что даны на экране. Программа производит анализ введенного голосового ответа и выдает сообщение о правильности или ошибочности произнесенной фразы. Ведется протокол правильности ответов, который при желании выдается обучаемому.  В режиме «Упражнения по произношению» выбирается фраза для тренировки произношения. На экране дается звуковая развертка ее во времени. Обучаемый произносит фразу и видит ее временную диаграмму. Анализатор ответа выставляет балльную оценку правильности ответа. Фиксируются количество попыток, число отклоненных ответов, выводится средняя оценка. Окно программы Talk to Me в этом режиме приведено на рисунке 9.5.  Talk to Me позволяет также заполнять слова во фразах, проверять порядок слов в предложениях, проводить диктанты. Программа имеет и другие интересные возможности для освоения иностранного языка. Изданы компакт-диски Talk to Me для обучения английскому, французскому, испанскому и другим европейским языкам.  Технология мультимедиа позволяет по желанию пользователя превращать компьютер в домашнюю видеостудию, аудиосистему, телевизионный или радиоприемник, электромузыкальный инструмент. Такие преобразования в каждом конкретном случае открывают перед пользователем различные возможности. Например, выделять интересные кадры с целью их последующего редактирования и использования, изменять темп и тональность звучания музыкальных произведений, изменять спектр записанного с помощью микрофона голоса. Возможности легкого копирования отдельных кадров и целых фрагментов телевизионных передач представляют интерес для журналистов и обозревателей.  Мультимедиа позволяет создавать и использовать электронные книги: энциклопедии, учебные, художественные. Энциклопедии содержат огромный объем информации. Отечественный лазерный диск «Большой энциклопедический словарь» содержит 85000 статей, 6000 цветных иллюстраций, более 70 видеофрагментов и анимации, свыше 200 карт и более часа звукового сопровождения.  К достоинствам электронных энциклопедий и справочников относится великолепная справочно-поисковая система. Она обеспечивает быстрый поиск по ряду признаков: алфавитному, хронологическому, географическому, контекстному и другим. При поиске могут использоваться сложные логические высказывания, которые позволяют отсеять избыточную информацию. Найти нужную справку, статью или рисунок значительно проще, чем в обычной библиотеке.  Великолепно исполненные мультимедийные энциклопедии становятся достойными конкурентами традиционным книгам. Достоинством компакт-дисков как носителей информации является компактность, долговременность хранения и многократное  использование без потери первоначального качества, простота тиражирования.  Просмотр картин знаменитой картинной галереи в сопровождении классической музыки и комментария квалифицированного экскурсовода может заинтересовать не только любителей, но и истинных ценителей живописи. Скульптуры можно рассматривать с разных точек зрения. Можно выбрать по своему усмотрению язык текстовых и звуковых комментариев.  Современные художественные книги содержат в основном текст. В недалеком будущем эти книги будут озвучены голосами профессиональных артистов. Существуют мультимедийные программы (TextAssist), позволяющие озвучивать текстовые документы. Пользователь имеет возможность изменять голоса по своему усмотрению, регулируя высоту голоса, тембр, скорость чтения.  Современные компьютеры и быстрое распространение технологии мультимедиа, вероятно, навсегда изменят психологию людей, которые занимаются поиском и изучением необходимой информации. Громадные скорости поиска и разнообразие форм представления найденной информации, одновременное воздействие на несколько органов чувств делают эту технологию привлекательной для разных слоев населения.

9.2 Виртуальная реальность Виртуальную реальность можно определить как новую информационную технологию, позволяющую пользователю в реальном времени находиться и перемещаться в иллюзорном трехмерном пространстве. Можно считать виртуальную реальность дальнейшим развитием технологии мультимедиа. В этой технологии воздействие производится не только на зрение и слух, но и на осязание и вестибулярный аппарат. Впервые технология виртуальной реальности (ВР) была использована для обучения военных летчиков.  Технология ВР формирует трехмерное изображение, стереофонический звук, тактильные ощущения, воздействует на чувства равновесия. Для создания стереоизображения нужно  для каждого глаза сформировать отдельное изображение. Перед каждым глазом помещается отдельный небольшой монитор. Изображения для двух глаз разделены в пространстве. Этот способ технически реализуется с помощью шлема, содержащего два маленьких дисплея. Есть и другие способы создания стереоизображения.  Существует технология формирования ВР с помощью проекционных устройств, создающих иллюзию окружающего мира путем проекции изображения на стены и потолок помещения. Этот способ особенно эффективен при имитации подводного мира и боевых сражений.  Для взаимодействия с виртуальной реальностью применяются специальные устройства ввода-вывода: шлемы-дисплеи, информационные перчатки и информационный костюм. В информационную перчатку вмонтированы устройства тактильной обратной связи. В нужный момент времени эти устройства надавливают на кончики пальцев, создавая эффект иллюзии касания виртуального объекта, позволяют ощутить его «тяжесть».  Перчатка оснащена также оптико-волокнистыми нитями, которые фиксируют количество света, проходящего через каждую пить. Они оценивают положение и изгиб каждого пальца.  Рука пользователя, одетая в информационную перчатку, может быть спроецирована (погружена) в трехмерную компьютерную среду. Манипулируя информационной перчаткой, пользователь в состоянии взаимодействовать с виртуальным миром и управлять его объектами.  Специальное устройство - джойстринг- обеспечивает эффект обратной силовой связи. При управлении с помощь джойстринга виртуальным автомобилем, который делает крутой поворот на большой скорости, возникает ощущение вырывающегося из рук руля.  Конструкция шлема отслеживает движение головы, и синхронно с наклоном и поворотом головы меняется картина обзора. Встроенная в шлем система датчиков фиксирует движения головы и передает данные на компьютер, который постоянно пересчитывает перспективу при малейшем движении испытуемого в виртуальном мире.  ВР позволяет изнутри рассмотреть со всех сторон скелет, изучить механизм движения отдельных частей скелета. Иллюзия объемности столь велика, что создается впечатление, что кисть скелета сильно выдвигается из дисплея.  Традиционные системы ВР позволяют имитировать движение, однако пользователь в это время неподвижно располагается в кресле. Братья Нурахмед и Нурулла Латыповы создали устройство - виртуальную сферу. Устройство представляет собой полую сферу, размер которой таков, что позволяет внутри нее двигаться взрослому человеку. Диаметр сферы 2,6 м, вес около -100 кг. Сфера устанавливается на колеса-опоры, которые могут вращаться вокруг любой из своих осей. На таких опорах и сама сфера свободно вращается в любом направлении.  Перед тем как войти в сферу через люк, испытуемый надевает специальный костюм. На спине костюма находится портативный компьютер. К нему подключены встроенные в костюм датчики и шлем. Положение и жесты испытуемого определяются по показаниям датчиков, фиксирующих величину углов между частями тела.  Виртуальная сфера позволяет обучаться боевым искусствам, спортивным и танцевальным движениям в диалоговом режиме с компьютерным учителем, делать пешеходные прогулки по самым знаменитым городам мира.  Для описания виртуальной реальности создан специальный язык - VRML (Virtual Reality Modelling Language), на базе которого различные фирмы создают свои программные средства.  Можно предположить, что в недалеком будущем с помощью технологии ВР дополнительно будут осуществляться воздействия на обоняние, вкусовые ощущения, на эмоции и чувства (например, вызывать чувства жажды, радости или страха).