- •1. Понятие телевизионного стандарта. Телевизионные стандарты: secam, pal, ntsc, hdv и их характеристики.
- •3. Цифровое видео: особенности, основные характеристики.
- •4. Понятие о сжатии информации. Методы и алгоритмы сжатия.
- •2. Понятие аналогово-цифрового преобразования. Основные операции аналогово-цифрового преобразования: дискретизация и квантование.
- •5. Линейные системы. Дискретные и непрерывные сигналы. Теорема Котельникова. Алиасинг.
- •7. Корреляция. Дискретное преобразование Фурье (дпф).
- •8. Применения дпф.
- •6. Импульсная характеристика. Свертка.
- •9. Применения цифровой обработки сигналов.
- •12. Компенсация движения на основе областей, подпиксельная компенсация движения.
- •10. Понятие видеокодека. Блок схема кодера. Принцип работы.
- •13. Модель изобр. Кодирование изобр. С предсказ. Кодирование преобразованием. Квантование. Переупорядочение и кодир. Нулей.
- •15. Гибридная модель dpcm/dct видеокодека.
- •16. Цветовые пространства: rgb, yCbCr; форматы сэмплир. YCbCr.
- •14. Энтропийный кодер. Коды с предсказанием. Коды переменной длины. Арифметическое кодирование.
- •18. Оценка качества видеоизображения: субъективное и объективное измерение качества.
- •20. Форматы сжатия аудиоданных с потерями.
- •21. Форматы сжатия аудиоданных без потерь.
- •17. Понятие формата видеофайлов. Основные видеоформаты и их характеристики.
- •29. Классификация жанров кино по imDb и их основные характеристики.
- •31. Программа нелинейного монтажа Adobe Premiere. Основные правила монтажа.
- •32. Промо-ролик, трейлер, тизер: основные отличия, правила создания.
- •30. Морфинг и варпинг. Принципы построения, назначение.
- •33. Стилизация видео. Основные принципы стилизации.
- •23. Извлечение звука из различных источников
- •34. Спецэффекты. Основные понятия и назначение. Классификация. Основные методы и приемы разработки.
- •24. Параметры цифрового звука.
- •25.Обработка звука – фильтры.
- •27. Использование аудиофайлов в Web
- •28. Основы видеомонтажа. Основные понятия. Линейный и нелинейный монтаж. Основные принципы и методы видеомонтажа.
13. Модель изобр. Кодирование изобр. С предсказ. Кодирование преобразованием. Квантование. Переупорядочение и кодир. Нулей.
Естественное видеоизображение состоит из решетки со значениями сэмплов в ее узлах. Изображения бывает трудно сжимать в их исходной форме из-за высокой корреляции между близкими сэмплами.
Эффективная компенсация движения сокращает локальную корреляцию сэмплов на остаточном кадре, позволяя его сжимать эффективнее по сравнению с исходным видеокадром. Целью модели изображения является дальнейшая декорреляция исходного кадра или его остатка и приведение его к форме, допускающей хорошее сжатие энтропийным кодером.
Модель изображения имеет три компоненты: преобразование (декорреляция и компактификация данных), квантование (уменьшение точности представления данных) и переупорядочение (группирование данных в соответствии с их численными значениями и величинами).
Компенсация движения является примером кодирования с предсказанием, при котором кодер делает прогноз для текущей области на основе предыдущих (или будущих) кадров и вычитает эту область-прогноз из текущей области.
Также можно сформировать прогноз или предсказание сэмпла изображения или области на основе ранее отправленных сэмплов того же изображения или кадра. Пространственное предсказание иногда называется дифференциальной кодоимпульсной модуляцией DPCM.
Пусть надо закодировать пиксель Х. Кодер формирует предсказание (прогноз) для X на основе комбинации соседних ранее декодированных пикселей, вычитает этот прогноз из X и кодирует их разность (результат вычитания). Декодер вычисляет это предсказание, добавляет его к принятой разности и тем самым восстанавливает пиксель X.
На практике бывает невозможно выбрать формулу предсказания, которая одинаково хорошо работала бы во всех областях сложного изобр. Лучшее предсказание можно сформировать в зависимости от локальных статистических свойств изображения (например, используя разные формулы для областей с однородной текстурой и с текстурами, сильно неоднородными только по горизонтали или вертикали, и т.д.).
Кодирование преобразованием. Целью этапа преобразования при обработке видеокодеком является отображение цифровых данных полных или остаточных кадров в другую обл. (область преобразования).
Выбор такого преобразования определяется по многим критериям.
1. Цифровые данные, отображенные в область преобразования, должны быть декоррелированными (разделенными на элементы с минимальной межкомпонентной зависимостью) и компактными (большая часть энергии преобразованных данных должна быть сконцентрирована в малом числе значений или коэффициентов преобразования). 2. Преобразование должно быть обратимым. 3. Оно должно быть эффективным с точки зрения его вычислимости.
Типы: 1.Преобразования на основе блоков (Кархунена-Лоэвэ, дискретное косинус-преобразование - DCT) работает с NхN-блоками сэмплов исходного или остаточного изобр., поэтому изобр. обрабатывается поблочно. Блоковые преобразования имеют низкие требования к объему памяти и хорошо подходят для сжатия остаточных изображений, полученных на основе блоковой компенсации движения, но они уязвимы от артефактов, возникающих на стыках блоков (так называемая блочность).2. Преобразования на основе изображений (дискретное вейвлетное преобразование - DWT) работают с целым кадром (или большим куском изображения). Они превосходят блоковые преобразования при сжатии неподвижных и статичных изображений, однако для их работы необходим большой объем памяти (так как необходимо хранить целиком весь кадр или большую его часть), и оно плохо сочетается с компенсацией движения на основе блоков.
DCT и DWT реализованы в MPEG-4 Visual.
Квантование. Квантователь отображает числовой сигнал с областью значений X в квантованный сигнал области У с уменьшенным числом значений. Скалярный квантователь (напр., метод округления дробного числа до целого) отображает один входной сэмпл в одно квантованное значение на выходе, а векторный квантователь отображает группу сэмплов на входе (вектор) в один элемент, а декодер к нему сопоставляет некоторое приближение(группу квантованных величин) к исходному множеству данных (вектору). Квантование можно использовать для понижения точности изобр. после применения кодирующего преобразования. Так будет удалена часть незначимых величин и коэффициентов, близких к нулю. Прямой квантователь обнуляет несущественные значения коэффициентов, оставляя малое число существенных ненулевых коэффициентов.
Квантованные коэффициенты преобразования необходимо закодировать максимально компактным образом. При кодировании на основе преобразования выходом квантователя служит разреженный массив данных, в котором содержится мало ненулевых элементов и много нулей. Переупорядочение (группировка вместе ненулевых элементов) и эффективное представление нулевых коэффициентов осуществляется до применения энтропийного кодирования.