
- •1. Предмет мультимедиа. Задачи. Аппаратура. Примеры.
- •3. Разработка шрифтов. Средства и методы.
- •4. Классификация шрифтов (растровые, векторные, алгоритмические и т.Д.)
- •5. Компьютерные шрифты (Type1, TrueType).
- •6. Текст, основные понятия, метрика
- •7. Текст, правила набора, вёрстки, оформление систем мультимедиа.
- •8. Гипертекст, основные понятия, программы создания.
- •9. Графика. Сканирование изображений, обработка изображений.
- •10. Графические форматы. Растровые и векторные изображения.
- •11. Цвет, модели, палитры.
- •12. Матричные операции
- •13. Методы обработки растровой графики.
- •14. Эффекты и фильтры в растровой графике.
- •15. Математические подходы к подавлению шума.
- •16. Кодирование, классификация, методы сжатия (rle, Хаффман, jpeg)
- •2. Алгоритм Хаффмана.
- •3. Jpeg.
- •4. Lzw(Lempel-Ziv & Welch).
- •17. Трассировка и программы трассировки.
- •18. Программы создания и обработки графики
- •19. Звук. Характеристики и параметры. Квантование, дискретизация.
- •20. Звук. Кодирование, mp3.
- •21. Звук. Форматы файлов, редактирование и эффекты
- •5. Формат wma (Windows Media Audio)
- •6. Формат OggVorbis.
- •22.Звуковые платы. Аппаратура воспроизведения и записи звука.
- •23. Программы обработки звука, подходы к подавлению шума, эффекты, моделирование звука.
- •1. Изменение высоты и темпа звука
- •24. Видео и анимация. Аналоговое и цифровое. Форматы видеофайлов.
- •Форматы видеофайлов.
- •2. Audio Video Interleave (сокращённо avi; букв. Чередование Аудио и Видео) — riff-медиа-контейнер, впервые использованный Microsoft в 1992 году.
- •25. Цифровые видеостандарты.
- •26.Аппаратура. Оцифровка, редактирование.
- •27. Сжатие, классификация методов кодирования.
- •28. Сжатие, технологии, методы, mpeg.
- •3. Дискретное Wavelet-преобразование (dwt)
- •4. Разность кадров
- •5. Mpeg
- •29. Стандарт dvd, mpeg.
- •30.Интегрирующие пакеты. Классификация, назначение.
- •2. Изобразительное управление потоком данных
- •3. Кадр
- •4. Карточка с языком сценариев
- •6. Иерархические объекты
- •8. Маркеры (тэги)
26.Аппаратура. Оцифровка, редактирование.
В настоящее время для записи или воспроизведения видео еще довольно часто (особенно если речь идет о домашней технике) используются аналоговые видеоустройства: аналоговые видеокамеры, видеомагнитофоны, телевизоры и т. д. Однако развитие цифровых апаратных средств позволило обрабатывать видеоизображения на компьютере. Плюсы цифровой обработки заключаются не столько в хорошем ее качестве, сколько в тех возможностях, которые она предоставляет и которые не могут дать аналоговые способы монтажа. Но до того, как работать с видео на компьютере, его нужно оцифровать, так как РС понимает только цифровые сигналы. Эту задачу и призваны решить платы ввода/вывода видео (видеобластеры). Хорошей альтернативойвидеобластерамявляютсяцифровые видеокамеры, которые позволяют передать изображение в компьютер напрямую. Для этого камеры оснащаются компьютерным интерфейсом (в последнее время этоIEEE1394, а простенькие домашние видеокамеры подключаются к РС через шинуUSB), так что необходимость в каких-либо специальных дополнительных устройствах отпадает.
Простейшими устройствами захвата видео являются видеоплаты с TV-входом. Они позволяют просматривать изображание, полученное с видеокамеры, магнитофона, тюнера или другого бытового видеоустройства, на экране монитора, сохранять отдельные кадры или даже видеопоследовательность (часто со звуковым сопровождением, тогда видеокарта должна иметь аудиовход) на диск - здесь главным образом нужна только соответствующая программная поддержка. Однако такие мультимедийные видеоадаптеры не являются настоящими платами видеомонтажа, оцифровка видео для них скорее побочная задача, которую они решают не совсем хорошо. Для серьезной же оцифровки аналогового видео и последующего монтажа нужны специализированные системы. Такими системами являются устройства, позволяющие:
Принимать аналоговый сигнал (от видеомагнитофона, аналоговой камеры) на один из нескольких (числом не менее трех) выбираемых программным способом входов
Оцифровывать сигнал и отображать его в реальном времени на экране монитора (то есть его можно использовать как телевизор) в окне или на весь экран
Аппаратно сжимать (при необходимости) отдельные кадры видеопоследовательности и сохранять их в файлы на диске
Аппаратно сжимать видео со звуком и писать его на диск в файл соответствующего формата
Выводить изображение на внешнее аналоговое устройство (скажем, телевизор или видеомагнитофон) с помощью имеющихся на устройстве аналоговых выходов, причем желательно, чтобы декодирование компрессированного видеофайла выполнялось аппаратно самой платой
Было создано довольно большое количесто алгоритмов, которые позволяют сжимать видеоинформацию с той или иной степенью потери качества. Наибольшее распространение получили два из них.
MJPEG,MPEG
27. Сжатие, классификация методов кодирования.
28. Сжатие, технологии, методы, mpeg.
Сжатие видео.Следует исходить из разумной достаточности при определении необходимой степени сжатия. При этом необходимо учитывать, как четыре характеристики (частота кадра, экранное разрешение, глубина цвета и качество изображения) влияют на объем и качество видео. Вы должны ясно себе представлять, какую "цену" придется заплатить за качественное изображение. Чем больше глубина цвета, выше разрешение и лучше качество, тем большая производительность компьютера вам потребуется, не говоря уж о громадных объемах дискового пространства, необходимого под цифровое видео. Учитывая эти характеристики, можно выбрать оптимальный коэффициент сжатия. Надо отметить, что в профессиональном видео действует простое правило - чем ниже коэффициент сжатия, тем лучше. Современные приложения (игры, компьютерные тренажеры, видеокиоски и некоторые деловые пакеты) зачастую не требуют полноэкранного видео. Такие программы обычно используют видео в окне, и для них не требуется оцифровывать целый кадр
Сжатие обычное(в режиме реального времени). Терминreal-time(реальное время) имеет много толкований. Применительно к сжатию данных используется его прямое значение, т. е. работа в реальном времени. Многие системы оцифровывают видео и одновременно сжимают его, иногда параллельно совершая и обратный процесс декомпрессии и воспроизведения. Для качественного выполнения этих операций требуются очень мощные специальные процессоры, поэтому большинство плат ввода/вывода видео дляPCбытового класса не способны оперировать с полнометражным видео и часто пропускают кадры. Недостаточная частота кадров является одной из основных проблем дл видео наPC. При производительности ниже 24 кадров/с видео перестает быть плавным, что нарушает комфортность восприятия. К тому же, пропущенные кадры могут содержать необходимые данные по синхронизации звука и изображения.
Симметричное и асимметричное сжатие. Этот показатель связан с соотношением способов сжатия и декомпрессии видео. Симметричное сжатие предполагает возможность проиграть видеофрагмент с разрешением 640 на 480 при скорости в 30 кадров/с, если оцифровка и запись его выполнялась с теми же параметрами. Асимметричное сжатие - это процесс обработки одной секунды видео за значительно большее время. Степень асимметричности сжатия обычно задается в виде отношения. Так цифры 150:1 означают, что сжатие одной минуты видео занимает примерно 150 минут реального времени. Асимметричное сжатие обычно более удобно и эффективно для достижении качественного видео и оптимизации скорости его воспроизведения. К сожалению, при этом кодирование полнометражного ролика может занять слишком много времени, вот почему подобный процесс выполняют специализированные компании, куда отсылают исходный материал на кодирование (что увеличивает материальные и временные расходы на проект).
Сжатие с потерей или без потери качества. Как мы уже говорили, чем выше коэффициент сжатия, тем больше страдает качество видео. Все методы сжатия приводят к некоторой потере качества. Даже если это не заметно на глаз, всегда есть разница между исходным и сжатым материалом. Пока существует всего один алгоритм (разновидностьMotion-JPEGдля форматаKodakPhotoCD), который выполняет сжатие без потерь, однако он оптимизирован только для фотоизображений и работает с коэффициентом 2:1.
Сжатие видеопотока или покадровое сжатие.Это, возможно, наиболее обсуждаемый сегодня вид сжатия. Покадровый метод подразумевает сжатие и хранение каждого видеокадра как отдельного изображения. Сжатие видеопотока основано на следующей идее: несмотря на то, что изображение все врем претерпевает изменения, задний план в большинстве видеосцен остается постоянным - отличный повод для соответствующей обработки и сжатия изображения. Создается исходный кадр, каждый следующий сравнивается с предыдущим и последующим изображениями, а фиксируется лишь разница между ними. Этот метод позволяет существенно повысить коэффициент сжатия, практически сохранив при этом исходное качество. Однако в этом случае могут возникнуть трудности с покадровым монтажом видеоматериала, закодированного подобным образом.
Коэффициент сжатия. Этот показатель особенно важен для профессионалов, работающих с цифровым видео на компьютерах. Коэффициент сжатия - это цифровое выражение соотношения между объемом сжатого и исходного видеоматериала. Для примера, коэффициент 200:1 означает, что если принять объем полученного после компрессии ролика за единицу, то исходный оригинал занимал объем в 200 раз больший. Обычно, чем выше коэффициент сжатия, тем хуже качество видео. Но многое, конечно, зависит от используемого алгоритма. ДляMPEGсейчас стандартом считается соотношение 200:1, при этом сохраняется неплохое качество видео. Различные вариантыMotion-JPEGработают с коэффициентами от 5:1 до 100:1, хотя даже при уровне в 20:1 уже трудно добиться нормального качества изображения. Кроме того, качество видео зависит не только от алгоритма сжатия (MPEGилиMotion-JPEG), но и от параметров цифровой видеоплаты, конфигурации компьютера и даже от программного.
Методы кодирования
1. Векторная квантизация (Vector Quantization,VQ) Компрессорами, использующими технологию VQ, являются Indeo 3.2 и Cinepac. Оба они применяют цветовую схему YUV. Процесс кодирования очень трудоемок и практически неосуществим без специального дополнительного оборудования. Процесс декодирования очень быстр. Имеют место блоковые искажения при высоких коэффициентах сжатия. Технологии, использующие алгоритмы БДКП, ДВП могут достигать более высоких уровней сжатия.
Основная идея векторной квантизации заключается в разбиении изображения на блоки (размером 4x4 пиксела в цветовой схеме YUV для компрессоров Indeo и Cinepac). Как правило, некоторые блоки оказываются похожими друг на друга. В этом случае компрессор идентифицирует класс похожих блоков и заменяет их одним общим блоком. Кроме того, генерируется двоичная таблица (карта) таких общих блоков из самых коротких кодовых слов. VQ-декодер затем, используя таблицу, собирает изображение поблочно из общих блоков. Ясно, что данный способ кодирования с потерями качества, так как, строго говоря, схожесть блоков весьма относительна. Здесь допускается аппроксимация реальных блоков изображения к общему, их объединяющему. Процесс кодирования длителен и трудоемок, так как кодеру необходимо выявлять принадлежность каждого блока изображения к какому-нибудь общему блоку. Однако задача декодирования в этом случае сводится к задаче построения изображения по заданной карте из общих блоков и не занимает много аппаратных и временных ресурсов. Таблицу или карту также называют еще и кодовой книгой, А двоичные коды, входящие в нее, — кодовыми словами, соответственно. Наибольшее сжатие с использованием алгоритма VQ достигается путем уменьшения числа классов общих блоков, то есть предположением о схожести относительно большего числа блоков изображения, и, как следствие, уменьшением кодовой книги. По мере уменьшения размеров кодовой книги качество воспроизводимого видео ухудшается. В результате на изображении появляется искусственная “блочность”.
2. Дискретное Косинусное Преобразование (ДКП) См. JPEG.