
- •Технологический институт в г. Таганроге
- •Введение Предмет, цель и задачи дисциплины
- •Структура дисциплины
- •Особенности дисциплины
- •Модуль 1. Основы мультимедиа технологий
- •Глава 1. Основы мультимедиа технологий
- •1.1. Базовые понятия и информационные основы мультимедиа
- •1.1.1. Определения, отличительные признаки, преимущества и основные направления развития мультимедиа
- •1.1.2. Особенности человеческого восприятия
- •1.1.3. Оцифровка информации мультимедиа
- •1.1.4. Типы и форматы файлов мультимедиа
- •1.1.5. Разновидности и форматы cd и dvd
- •1.2. Требования к системе мультимедиа
- •1.2.1. Стандартизация и спецификации мультимедиа компьютеров
- •1.2.2. Состав аппаратуры мультимедиа
- •1.3. Обработка звука и звуковые карты
- •1.3.1. Характеристики звука
- •1.3.2. Методы получения звука
- •1.3.3. Восприятие объемного звука
- •1.3.4. Параметры звуковых карт
- •1.3.5. Основные модули и элементы звуковой карты
- •1.3.6. Категории и эволюция звуковых карт
- •1.4. Акустические системы
- •1.4.1. Эволюция акустических систем
- •1.4.2. Примеры акустических систем
- •1.5. Краткий обзор спецификаций ac’97, pc’98 и других
- •1.6. Музыкальный формат mp3
- •1.7. Средства поддержки видео на компьютере
- •1.7.1. Видеосистема пк
- •1.7.2. Функции и карты расширения видеоадаптеров
- •1.7.3. Типы видео и его сжатие
- •1.7.4. Ощущение и модели цвета
- •1.7.5. Метод jpeg
- •1.7.6. Стандарт mpeg
- •1.7.7. Метод Motion jpeg и формат dv
- •1.8. Элементы технологии синтеза 3d-изображений
- •1.9. Компьютерная анимация
- •1.10. Гипермедиа
- •1.10.1. Понятие и определения гипермедиа
- •1.10.2. Примеры реализации гипермедиа, ее средства и признаки
- •1.11. Сферы применения мультимедиа и гипермедиа
- •1.12. Экспертмедиа
- •1.13. Контрольные вопросы
- •Глоссарий к модулю 1
- •Приложения Приложение 1. Темы и вопросы лабораторного практикума
- •Тема 1. Компоненты мультимедиа.
- •Тема 2. Инструментальные системы разработки мультимедиа продукции.
- •Приложение 2. Условная схема расположения громкоговорителей в различных многоканальных аудиосистемах
- •Приложение 3. Конфигурации громкоговорителей многоканальных аудиосистем
- •Список сокращений
- •Библиографический список
- •Содержание
- •Глава 1. Основы мультимедиа технологий 11
- •Часть 1. Основы мультимедиа технологий
1.7.7. Метод Motion jpeg и формат dv
Метод Motion JPEG (MJPEG) при помощи соответствующих аппаратных средств выполняет только внутрикадровое сжатие видеоинформации в РВ (но без сжатия аудиоинформации) с коэффициентами (5-100):1. Каждый кадр обрабатывается независимо, что позволяет потом осуществлять произвольный (независимый) доступ к любому кадру [3]. MJPEG (по сравнению с MPEG) работает быстрее, но качество дает ниже. Он является стандартным алгоритмом сжатия для компьютерного формата чередующегося аудио и видео AVI (Audio Video Interleaved), используется для нелинейного цифрового видеомонтажа, но MPEG-2 постепенно внедряется и в эту область.
По мнению аналитиков, с ростом доступности быстрых каналов и с увеличением применения кабельных модемов и DSL-соединений, схемы, когда изображения сначала загружаются, а потом воспроизводятся, уходят в прошлое. В прошлое уйдут и коммутируемые Internet-соединения по телефонным линиям. Методы компрессии с потерями, такие как MPEG, уступят место потоковому видео. Кабельные модемы позволяют воспроизводить видео в РВ. Его можно смотреть так же, как кабельное телевидение.
Формат DV используется цифровыми видеокамерами и платами видеомонтажа. Алгоритм кодирования аналогичен JPEG. Каждый кадр обрабатывается независимо от других, из-за чего формат обладает самой низкой степенью сжатия. Зато он позволяет производить монтаж без потери качества и редактирование с минимальным его ухудшением. Для хранения одного часа видео в MPEG-4 требуется 12 Гбайт, что довольно внушительно даже по сегодняшним меркам.
Выбор формата хранения видеоматериала зависит от его назначения. Если фильм планируется просматривать на бытовых проигрывателях Video-CD или DVD, то формат определяется имеющейся аппаратурой. Если материал предполагается редактировать, то лучше оставить его до окончания этого процесса в Digital Video. Когда же материал получен в другом формате (например, оцифровкой с аналоговой видеокамеры с помощью TV-тюнера), для минимизации потерь перед началом обработки видео лучше конвертировать в Digital Video, и только завершив ее, решать вопрос о выборе конечного формата. DVD помимо высокого качества привлекает и некоторыми дополнительными возможностями: работа с несколькими звуковыми дорожками, создание субтитров и т. п. При необходимости их использования имеет смысл предпочесть MPEG-2. Во всех же остальных случаях разумнее остановить свой выбор на MPEG-4/DivX. По крайней мере, именно этот формат обеспечивает наилучшее соотношение между качеством картинки и требуемым объемом [60].
1.8. Элементы технологии синтеза 3d-изображений
Для иллюстрации вычислительных аспектов функционирования видеосистемы ПК и сложности решаемых ее графическим процессором и ускорителем задач кратко рассмотрим процесс создания на ПК синтезированных видеоматериалов. В общем случае синтез трехмерного изображения включает в себя следующие этапы [49]:
конструирование (расчет) трехмерного объекта на основе исходных данных, например, результатов 3D-сканирования или математического описания объекта;
расчет движения объекта и трансформации его формы;
моделирование поверхности объекта с учетом различных факторов (освещения, отражений, рельефа и раскраски поверхности и т.п.);
проецирование рассчитанного объекта на плоскость экрана с учетом всех возможных визуальных эффектов, обусловленных его строением, особенностями освещения, степенью прозрачности среды и т.п.
Все эти операции выполняются для того, чтобы аналитически рассчитать те особенности конечного изображения, которые будут создавать ощущение его объемности. Эти особенности основаны на развитой в результате опыта способности человека к объемному восприятию изображений, к которой относятся:
оценка расстояния до объекта на основе информации о его размерах (чем меньше выглядит объект известных размеров, тем дальше он находится);
оценка порядка наложения двух объектов равной высоты друг на друга (тот, который выгдядит выше, – находится ближе);
определение глубины пространства за счет использования эффекта перспективы – визуального сближения параллельных линий, уходящих вдаль;
анализ световых эффектов на объекте (теней, бликов и т.п.) [49].
Использование этих факторов позволяет создать ощущение объемности изображения не только при бинокулярном, но и при монокулярном зрении. Это дает возможность формировать изображения 3D-объектов с помощью традиционных двумерных устройств отображения (мониторов).
3D-конвейер. Процесс расчета трехмерного изображения объекта (точнее, его двумерной проекции) называется 3D-конвейером, поскольку он выполняется в несколько последовательных типовых этапов [49].
Построение геометрической (каркасной) модели поверхности объекта путем задания трехмерных координат опорных (ключевых) точек, а также уравнений соединяющих их линий. Объектов в кадре обычно бывает несколько. Подобным образом осуществляется конструирование сцены, ландшафта, интерьера.
Разбиение поверхности полученного объекта на элементарные плоские элементы (как правило, треугольники) – тесселяция или триангуляция. Чем больше получится плоских граней и меньше их размер, тем точнее воспроизводится поверхность объекта.
Трансформация – моделирование «динамики» объекта: его перемещения, вращения, изменения размеров и формы. Сводится к стандартному преобразованию трехмерных координат вершин граней (вертексов) и требует интенсивного использования операций матричной (линейной) алгебры и тригонометрических функций.
Расчет освещенности и затенения поверхности объекта. Осуществляется расчет освещенности каждого элементарного треугольника в зависимости от его удаленности от источника света и угла падения светового луча (это подчеркнет объемность объекта). Чтобы устранить «угловатость» плоских граней, используют методы интерполяции значений освещенности, обеспечивающие плавное ее изменение на границах – затенение, например, по методу Гуро или по методу Фонга.
Проецирование полученного 3D-объекта на плоскость экрана – преобразование 3D-объекта в совокупность двумерных координат вершин его граней. При этом для каждой вершины запоминается ее расстояние до плоскости проецирования (z-координата), что позднее позволит корректно определять видимость частей объекта. Совокупность данных о глубине каждой вершины (значений z-координат) называют z-буфером.
Обработка (настройка) координат вершин элементарных треугольников – преобразование в целые числа, сортировка, отбрасывание задних граней.
Удаление скрытых поверхностей.
Закраска элементарных треугольников (текстурирование) путем наложения текстур (texture) – элементов «обшивки» объекта. Текстура хранится в виде квадратной растровой картинки, состоящей из текселов (texel – texture element). Другими словами, тексел – это пиксел текстуры. Наложение текстур – первый этап конвейера, выполняемый с растровой графикой, а поэтому довольно трудоемкий, подверженный дефектам и требующий различных приемов их коррекции, таких как: использование текстур с различным разрешением, коррекция перспективы, фильтрация и другие.
Моделирование эффектов прозрачности и полупрозрачности объектов и среды – коррекция цвета пикселов (альфа-смешение и затуманивание).
Коррекция дефектов картинки, вызванных угловатостью линий на границах (краях) объектов, – антиалиасинг (anti-aliasing).
Интерполяция недостающих цветов при кодировании цвета с менее чем 24 бит/пиксел – дизеринг (dithering).
Окончательное формирование кадра. Кадр формируется в кадровом буфере – области локальной памяти 3D-акселератора. Кадровый буфер используется для формирования выходного аналогового видеосигнала 3D-ускорителя, точно так же, как это делается в обычном VGA-адаптере ПК.
Пост-обработка (Post-processing). Она производится в том случае, когда требуется реализовать какие-либо двумерные эффекты над сформированным кадром как единым целым.
Этапы 1-7 образуют геометрическую стадию 3D-конвейера, все операции которой выполняются с векторной графикой. Эта стадия связана с интенсивными тригонометрическими и другими вычислениями. Но лишь новейшие профессиональные модели 3D-акселераторов содержат геометрический процессор, обеспечивающий аппаратное ускорение геометрической стадии.
Этапы 8-13 образуют стадию рендеринга (rendering – прорисовка, визуализация), где действия выполняются уже с растровыми объектами, состоящими из отдельных дискретных элементов (пикселов и текселов). Эта стадия является наиболее сложной и трудоемкой, поэтому именно здесь необходимо аппаратное ускорение. Большинство современных 3D-акселераторов как раз и предназначено для выполнения рендеринга, они различаются лишь числом реализуемых функций [49].