Лекции к дисциплине Мультимедиа технологии
Технология (от греч. techne - искусство, мастерство, умение) - способ организации и выполнения некоторых действий (деятельности) с целью получения продукта с заданными свойствами. Технологический процесс разбивается на ряд этапов. Этап – завершенная совокупность отдельных операций. Операция – скоординированные действия, объединенные единой целью.
В основе информационных технологий лежат информация и информационные процессы, реализуемые с помощью ЭВМ (ПК). Основные принципы, характеризующие новые (компьютерные) информационные технологии:
интерактивный (диалоговый) режим работы с ПК
интегрированность (взаимосвязь) различных программных средств
возможность гибкого изменения как данных, так и постановки задачи в процессе ее решения.
Мультимедиа (Multimedia) в буквальном переводе означает многие среды и означает объединение нескольких средств представления информации в одной системе. Обычно, это – одновременно текст, звук, графика, мультипликация, видеоизображения и пространственное моделирование. Такое объединение средств обеспечивает программным продуктам мультимедиа качественно новый уровень восприятия информации: человек не просто пассивно созерцает, а активно участвует в происходящем.
Классификация по способу восприятия информации человеком. Всю информацию по способу восприятия можно разделить на три основные группы:
Информация, воспринимаемая зрением человека, так называемая зрительная или визуальная информация, включающая текст, графические изображения и рисунки, фотографии, мультфильмы, видеофильмы;
Информация, воспринимаемая слуховым аппаратом человека, так называемая звуковая информация, включающая произвольные шумы, музыкальные произведения, речь;
Информация, воспринимаемая сенсорной системой человека, так называемая сенсорная или тактильная информация, при работе с помощью специальных технических средств.
Классификация по способу воздействия информации на человека.
Всю поступающую к пользователю информацию можно разделить на ассоциативную и прямую.
Ассоциативная - информация, восприятие которой основано на ассоциациях, возникающих у человека под действием раннее усвоенной информации. К этому виду информации можно отнести текст, речь и, возможно, рисунки и мультфильмы.
Прямая – информация, непосредственно передающая важные свойства объектов. К такому виду информации могут быть отнесены фотографии, видеофильмы, произвольный звук.
Одной из существенных отличительных особенностей средств мультимедиа считается возможность представления и обработки прямой информации.
Мультимедиа технологии тесно связаны с понятием «информационный процесс». Среди всех информационных процессов можно выделить наиболее общие. К ним относятся, хранение, обработка информации и передача.
Рост интереса к мультимедиа-приложениям объясняется, с одной стороны, наличием на рынке доступного аппаратного обеспечения, а с другой - наличием инструментальных программных систем для авторской разработки мультимедиа-программ. В настоящее время многие авторские системы позволяют разработчикам создавать мультимедиа приложения без трудоемкого процесса традиционного программирования. Оцифрованные статические изображения, аудио- и видеоданные можно добавить как объекты, которые могут быть объединены по желанию автора и выбраны по желанию пользователя.
К таким инструментальным программным системам относятся:
Authorware Professional фирмы Authorware Inc.
Multimedia Toolbox фирмы Asymetrix.
Идейной предпосылкой возникновения технологии мультимедиа считают концепцию организации памяти MEMEX. Она предусматривала поиск информации в соответствии с ее смысловым содержанием, а не по формальным признакам (по порядку номеров, индексов или по алфавиту и т.п.). Эту концепцию предложил еще в 1945 году советник президента Рузвельта американский ученый Ваннивер Буш в проекте по созданию электромеханической информационной системы. Его предложения были высказаны в статье «Как мы можем думать». «В этой статье, которая считается наиболее значимым прогнозом развития информатики во второй половине ХХ в., описано гипотетическое устройство (названное автором MEMEX по начальным буквам слов memory extender – расширитель памяти), позволяющее человеку справляться с информационными перегрузками.
Хотя проект MEMEX при жизни автора реализован не был, он считается первым проектом технического устройства, предназначенного для фиксации связей между элементами смысловой информации и для обеспечения доступа по ним к этой информации. В этом смысле MEMEX, отмечает М.М.Субботин, «полностью соответствует современным представлениям и природе и назначении гипертекста»» [Агеев, 141-143].
Идея В. Буша нашла свое выражение и компьютерную реализацию сначала в виде системы гипертекста (система работы с комбинациями текстовых материалов), а затем и гипермедиа (система, работающая с комбинацией графики, звука, видео и анимации). И, наконец, в мультимедиа, соединившей в себе обе эти системы.
Появление систем мультимедиа обусловлено, как требованиями практики, так и развитием теории. Резкий рывок в этом направлении за последнее десятилетие произошёл благодаря развитию технических и системных средств. Это - прогресс в развитии ПЭВМ (возросшие объем памяти, быстродействие, графические возможности, характеристики внешней памяти); достижения в области видеотехники (улучшение характеристик лазерных дисков и их массовое внедрение). Важную роль сыграла так же разработка методов быстрого и эффективного сжатия/развертки данных.
Презентация современной CD-ROM-технологии для мультимедиа впервые состоялась в 1987 г. на конференции в Сиэтле и эту дату считают началом появления полноценной мультимедиа с видео- и аудиоинформацией, хотя работы только с аудиоинформацией проводились гораздо раньше применительно к компьютерам Apple и IBM.
Дальнейшим шагом в становлении мультимедиа стала технология CD-I (Compact Disk Interactive – интерактивные видеодиски), позволившая организовать произвольную выборку информации с компакт-диска путем управления лазерным видеопроигрывателем с помощью ПК. Эта технология разработана фирмой Philips Electronics и поддержана фирмами Sony, IBM и Microware.
Технология DVI (Digital Video Interactive ), разработанная фирмами IBM и Intel и используемая для построения мультимедиа-систем, состоит из 4 базовых компонентов:
специализированного микропроцессорного набора, являющегося основой видеосистемы (например, пиксельный процессор i82750PB фирмы Intel для компрессии и декомпрессии изображений, процессор TMS320C10 фирмы Texas Instrument для цифровой обработки сигналов, дисплейный процессор i82750DB фирмы Intel для отображения находящегося в видеопамяти изображения и др.);
программного интерфейса на уровне драйверов (Video Driver, Audio Drriver, VRAM Driver, CD-ROM Driver) и отдельных подсистем: графики и видеоэффектов Graphics, компрессии и декомпрессии данных AVSS (Audio/Video Support System), обеспечения мультизадачности RTX (Real Time Executive), управления памятью, вводом/выводом STD (Standart) др.
специальных форматов файлов, содержащих перемежающуюся аудио- и видеоинформацию, обеспечивающих равномерность скорости воспроизведения данных при использовании накопителя CD-ROM;
алгоритмов сжатия/восстановления различных типов информации, ориентированных на субъективное восприятие человеком и допускающее некоторые потери или искажения (Lossy).
Появление систем мультимедиа производит революционные изменения в таких областях, как
образование,
компьютерный тренинг,
бизнес,
наука,
искусство,
компьютерные игры
во многих сферах профессиональной деятельности
Мультимедиа продукт – интерактивная компьютерная разработка, в состав которой могут входить музыкальное сопровождение, видеоклипы, анимация, галереи картин и слайдов, различные базы данных.
Примеры:
электронные книги, энциклопедии, галереи
электронные архивы
обучающие программы
развивающие программы
программы для детей
реклама,
презентации
игры
Цели применения мультимедиа продуктов
Популяризаторская и развлекательная
Научно-просветительская или образовательная
Научно-исследовательская
Этапы разработки компьютерных обучающих систем
Формулирование основной темы и идеи издания.
Разработка концепции (укрупненного содержания и основных технических приемов, использование которых предполагается в издании).
Написание покадрового сценария и определение навигационной схемы.
Сбор и подготовка части материала, необходимой для создания макета издания (решение вопросов авторских прав, написание образцов текстовой информации, оцифровка и цветокорректура образцов изображений, видео и аудио, отрисовка экранных форм и т.д.).
Создание макета (α-версии) диска, включающего в себя все типовые экранные формы, заполненные типовой информацией и демонстрирующего логику навигации и технические возможности, предусмотренные в издании.
Сбор и подготовка всего объема информации.
Создание полного варианта диска (β-версия).
Тестирование продукта.
Создание матрицы продукта ("золотой диск"), готовой к тиражу.
Тиражирование
Виртуальная реальность - создание с помощью аппаратно-программных средств некоторого виртуального (кажущегося) мира, в который (с помощью специальных устройств - шлемов, очков, перчаток и даже костюмов) «помещается» пользователь и начинает активно «жить» по законам этого мира, принимая участие в происходящих в нем событиях и получая при этом достаточно полный комплекс ощущений.
Погружение (иммерсивность) – мера степени информации, окружающей и включающей человека в деятельность через его сенсорные средства. В пределе иммерсивность превращается в присутствие.
Присутствие – мера субъективного эмоционального чувства присутствия человека в области среды или пространства.
Интерактивность – мера предоставляемой человеку возможности свободы действий внутри среды, которые основаны на правилах и поведении среды Интерактивность проявляется в форме собственного движения в мире, взаимодействия с объектами мира, реакции объектов на участника и существует в двух видах – статическая и семантическая.
Язык моделирования виртуальной реальности (Virtual Reality Modeling Language - VRML) был впервые предложен Марком Песке (Mark Pesce) в 1993 году. Этот язык стал продолжением языка OpenInventor фирмы SGI, базировавшегося на текстовом описании трехмерных моделей.
Язык VRML получил широкую поддержку со стороны компаний, разрабатывающих пакеты трехмерного моделирования и специализирующихся на Web-браузерах.
VRML-документ представляет собой обычный текстовый файл, который содержит описания трехмерных фигур и свойств их поверхностей (цвет, текстура материала, освещение и т.п.). Такой документ поступает в браузер в виде исходного текста, точно так же, как и обычный HTML-документ. Браузер, получающий VRML-документ, должен уметь интерпретировать VRML-код.
Первая версия языка — VRML 1.0 — была представлена на второй конференции WWW в октябре 1994 года.
Стандарт VRML 2.0, принятый в августе 1996 года, поддерживает анимацию и звуковые эффекты; для него существует поддержка на уровне языков Java и JavaScript.
В декабре 1997 года ISO (международная организация по стандартизации) и IEC (международная электротехническая комиссия) утвердили международный стандарт VRML 97.
Виртуальная реальность QuickTime (QuickTime Virtual Reality - QTVR) имеет два типа роликов QTVR: панорамные картины и клипы с объектами.
Панорамные картины представляют обзор сцены на 360 град (интерьер комнаты или долина, окруженная горами). Используя мышь, пользователь может перетаскивать сцену, как бы осматриваясь. Кроме того, возможно уменьшение или увеличение масштаба, благодаря чему сцену можно наблюдать более или менее детализировано.
Клипы с объектами позволяют пользователю исследовать (также с помощью мыши) объект с различных сторон, как бы ходя вокруг него. Ролики QTVR любого типа могут содержать горячие точки – активные области, содержащие ссылки на другие ролики. Ролики QTVR можно создавать в некоторых программах, например, Bryce. Также их можно строить по фотографиям, которые «сшиваются» с помощью специального программного обеспечения, визуализируя результат как QTVR
Технологии и приборы, позволяющие осязать предметы с помощью ПК, получили название haptics (от греческого слова hapteshai - «трогать», «сжимать». Они либо переводят информацию в синтезированную речь либо кодируют шрифтом Брайля:
осязательная мышь компании Logitech,
механическая рука – устройство Phantom от фирмы SensAble и др.
«осязаемый дисплей», который состоит из планшета, оснащенного большим количеством маленьких игл, которые выдвигаются наружу, управляемые сигналом ПК à получаем рельефное изображение или рельефный текст шрифта Брайля
Компания AromaJet предлагает технологию Smell over IP для передачи запаха по Интернету. Эта технология предполагает использование
«ароматического» программного обеспечения
специального устройства, которое позволит создавать и воспроизводить запахи. Устройство воспроизведения запахов использует картриджи ароматов.
Разработка таких сайтов относится к новой области деятельности — сцентографии (Scentography), которая занимается интеграцией запаха с различными формами вещания, к которым, в частности, относятся игры, DVD, Web-сайты.
Сцентография обеспечивает Web-пространству новое измерение, дополняя традиционные средства удаленных коммуникаций запахом. В определенном смысле сцентография — это еще и искусство создавать такие запахи, которые бы привлекали посетителей. Прежде подобной специализации просто не существовало — в силу того, что не было инструмента, который бы позволял человеку записывать запахи, как музыку по нотам.
Мультимедиа компьютер - компьютер, снабженный аппаратными и программными средствами, реализующими технологии мультимедиа.
С целью реализации технологии мультимедиа в 1988 г. Стив Джобс разработал совершенно новый тип персонального компьютера. У данного компьютера все необходимые базовые средства технологии мультимедиа были заложены в архитектуру (аппаратные средства) и программные средства. Если раньше взаимодействие пользователя с компьютером осуществлялось с использованием интерфейса типа WIMP (Window, Image, Menu, Pointer - окно, образ, меню, указатель), то появление компьютера NeXT обусловило появление возможности работать с интерфейсом SILK (Speak, Image, Language, Knowledge - речь, образ, язык, знание). В состав NeXT входит система электронной мультимедиа-почты, позволяющая обмениваться сообщениями типа речи, текста, графической информации.
В компьютере NeXT использовались:
совершенно новые мощные центральные процессоры Motorola 68030 и 68040,
процессор обработки сигналов DSP, который отвечает за обработку звуков, изображений, синтез и распознавание речи, сжатие изображения, работу с цветом;
были разработаны звуковые платы ( Sound Blaster );
платы мультимедиа, которые аппаратно реализовали алгоритм перевода аналогового сигнала в дискретный.
Здесь стали использоваться стираемые оптические диски, стандартно встроенные сетевые контроллеры, позволяющие подключаться в сеть, обеспечены методы сжатия, развертки и т.д.
Мультимедиа компьютер – это центр, к которому могут подключаться другие компоненты (телевизор или плазменная панель, видеокамера, внешний тюнер, различные электромузыкальные инструменты и т. п.). Очень удобен такой ПК для хранения самой разнообразной мультимедиа-информации: фотоархива, видеоматериалов или звукозаписей.
Виды мультимедиа компьютеров