Видео Проблемы работы с видео-изображением
Различные ТВ-стандарты, существующие в мире (NTSC, PAL, SECAM), применение разных мониторов и видеоконтроллеров диктует разнообразие подходов в разрешении возникающих проблем.
1. Требуется синхронизация двух изображений, для чего служит устройство генлок (genlock). С его помощью на экране монитора могут быть совмещены изображение, сгенерированное компьютером (анимированная или неподвижная графика, текст, титры), и "живое" видео. Если добавить еще одно устройство - кодер (encoder), компьютерное изображение может бытьпреобразовано в форму ТВ-сигнала и записано на видеопленку. "Настольные видео-студии", являющиеся одним из примеров применения систем мультимедиа, позволяют готовить совмещенные видео-компьютерные клипы, титры для видеофильмов, помогают при монтаже кинофильмов.
2. Требуется обрабатывать или редактировать аналоговое изображение. Для того, чтобы это стало возможным, его необходимооцифроватьи ввести в память компьютера. Для этого служат так называемые платы захвата (capture board, frame grabbers). Оцифровка аналоговых сигналов порождает огромные массивы данных. Оцифрованный кадр может затем быть изменен, отредактирован обычным графическим редактором, могут быть убраны или добавлены детали, изменены цвета, масштабы, добавлены спецэффекты, типа мозаики, инверсии и т.д. Естественно, интерактивная экранная обработка возможна лишь в пределах разрешения, обеспечиваемого данным конкретным видеоадаптером. Обработанные кадры могут быть записаны на диск в каком-либо графическом формате и затем использоваться в качестве реалистического неподвижного фона для компьютерной анимации. Возможна такжепокадроваяобработка исходного изображения и вывод обратно на видеопленку для создания псевдореалистического мультфильма.
*Частота кадров в американском ТВ-стандарте NTSC - 30 кадров/с (PAL, SECAM - 25 кадров/с).
3. Требуется вывести видео на экран с соответствующей скоростью. Подобной скоростью передачи информации - около 30 Мбайт / с - не обладает ни одно из существующих внешних запоминающих устройств. Чтобы выводить на экран компьютера оцифрованное видео, приходится идти на уменьшение объема передаваемых данных, (вывод уменьшенного изображения в небольшом окне, снижение частоты кадровой развертки до 10-15 кадров / с, уменьшение числа бит / пиксель), что, в свою очередь приводит к ухудшению качества изображения.
Решение
Основные проблемы – объемов для хранения и поддержка высокой пропускной способности - решаются с помощью методов сжатия / развертки данных, которые позволяют сжимать информацию перед записью на внешнее устройство, а затем считывать и разворачивать в реальном режиме времени при выводе на экран.
Адаптивные разностные алгоритмы
… могут сжимать данные с коэффициентом порядка 100:1- 160:1, что позволяет разместить на CD-ROM около часа полноценного озвученного видео. Работа этих алгоритмов основана на том, что обычно последующий кадр отличается от предыдущего лишь некоторыми деталями, поэтому, взяв какой-то кадр за базовый, для следующих можно хранить только относительные изменения. При значительных изменениях кадра, например, при монтажной склейке, наезде или панорамировании камеры, автоматически выбирается новый базовый кадр. Для статических изображений коэффициент сжатия, естественно, ниже - порядка 20-30:1. Для аудиоданных применяют свои методы компрессии.
Существует симметричнаяиасимметричнаясхемы сжатия данных.
1. При асимметричной схемеинформация сжимается в автономном режиме, т.е. одна секунда исходного видео сжимается в течение нескольких секунд или даже минут мощными параллельными компьютерами и помещается на внешний носитель, например CD-ROM. На компьютерах пользователей устанавливаются сравнительно дешевые платы декодирования, обеспечивающие воспроизведение информации мультимедиа в реальном времени.
Достоинства:Использование такой схемы увеличивает коэффициент сжатия, улучшает качество изображения.
Недостаток:пользователь лишен возможности разрабатывать собственные продукты мультимедиа.
2. При симметричной схеме сжатие и развертка происходят в реальном времени на компьютере пользователя, благодаря чему за персональными компьютерами.
Достоинство:любой пользователь имеет возможность производить собственную продукцию, в том числе и коммерческую, не выходя из дома.
Недостатки: несколько падает качество изображения: появляются "смазанные" цвета, картинка как бы расфокусируется.
3. Смешанная схема- разработчик продукта готовит, отлаживает и испытывает продукт мультимедиа на своем компьютере с симметричной схемой, а затем "полуфабрикат" в стандартном формате отсылается на фирму, где его подвергают сжатию на мощном компьютере, с использованием более совершенных алгоритмов и помещают результирующий продукт на CD-ROM.
В настоящее время целый ряд фирм активно ведет разработку алгоритмов сжатия видеоинформации, стремясь достичь коэффициента сжатия порядка 200:1 и выше.
В основе наиболее эффективных алгоритмов лежат различные адаптивные варианты:
DCT (Discrete Cosine Transform, дискретное косинус-преобразование),
DPCM (Differential Pulse Code Modulation, разностная импульсно-кодовая модуляция),
фрактальные методы.
Алгоритмы реализуются аппаратно - в виде специальных микросхем, или "firmware" - записанной в ПЗУ программы, либо чисто программно.
Разностные алгоритмы сжатия применимы не только к видео-изображениям, но и к компьютерной графике, что дает возможность применять на обычных персональных компьютерах новый для них вид анимации, а именно покадровую запись рисованных мультфильмов большой продолжительности. Эти мультфильмы могут храниться на диске, а при воспроизведении считываться, распаковываться и выдаваться на экран в реальном времени, обеспечивая те же необходимые для плавного изображения 25-30 кадров в секунду.
При работе с цифровым видеосигналом возникает необходимость обработки и хранения очень больших объёмов информации, например одна минута цифрового видеосигнала с разрешением SIF (сопостовимым с VHS) и цветопередачей true color (миллионы цветов) займёт (288 x 358) пикселов x 24 бита x 25 кадров/с x 60 c = 442 Мб, то есть на носителях, используемых в современных ПК, таких, как компакт-диск (CD-ROM, около 650 Мб) или жесткий диск (несколько гигабайт) сохранить полноценное по времени видео, записанное в таком формате не удастся. С помощью MPEG-сжатия объем видеоинформации можно заметно без заметной деградации изображения.
Формат MPEG
MPEG - это аббревиатура от Moving Picture Experts Group. Эта экспертная группа работает под совместным руководством двух организаций - ISO (Организация по международным стандартам) и IEC (Международная электротехническая комиссия). Ее задача - разработка единых норм кодирования аудио- и видеосигналов. Стандарты MPEG используются в технологиях CD-i и CD-Video, являются частью стандарта DVD, активно применяются в цифровом радиовещании, в кабельном и спутниковом ТВ, Интернет-радио, мультимедийных компьютерных продуктах, в коммуникациях по каналам ISDN и многих других электронных информационных системах.
Часто аббревиатуру MPEG используют для ссылки на стандарты, разработанные этой группой. На сегодняшний день известны следующие:
MPEG-1предназначен для записи синхронизированных видеоизображения (обычно в формате SIF, 288 x 358) и звукового сопровождения на CD-ROM с учетом максимальной скорости считывания около 1.5 Мбит/с. Качественные параметры видеоданных, обработанных MPEG-1, во многом аналогичны обычному VHS-видео, поэтому этот формат применяется в первую очередь там, где неудобно или непрактично использовать стандартные аналоговые видеоносители.
MPEG-2предназначен для обработки видеоизображения соизмеримого по качеству с телевизионным при пропускной способности системы передачи данных в пределах от 3 до 15 Мбит/с, профессионалы используют и большие потоки. На технологии, основанные на MPEG-2, переходят многие телеканалы, сигнал сжатый в соответствии с этим стандартом транслируется через телевизионные спутники, используется для архивации больших объёмов видеоматериала.
MPEG-3- предназначался для использования в системах телевидения высокой чёткости (high-defenition television, HDTV) со скоростью потока данных 20-40 Мбит/с, но позже стал частью стандарта MPEG-2 и отдельно теперь не упоминается. Кстати, формат MP3, который иногда путают с MPEG-3, предназначен только для сжатия аудиоинформации и полное название MP3 звучит как MPEG Audio Layer III.
MPEG-4- задает принципы работы с цифровым представлением медиа-данных для трех областей: интерактивного мультимедиа (включая продукты, распространяемые на оптических дисках и через Сеть), графических приложений (синтетического контента) и цифрового телевидения.
MJPEG Многие карты (например, Miro DC10/30) поддерживают аппаратное сжатие видео по стандарту MJPEG. От привычных уже стандартов семейства MPEG, которые позволяют сжимать видеоданные с учетом межкадровой избыточности изображения, MJPEG отличается тем, что уменьшает поток данных, сжимая каждый кадр отдельно, без учета соседних кадров. Вообще говоря, такая схема сжатия более примитивна, однако весьма эффективна. Именно наличие формата MJPEG позволяет вводить видео без пропуска кадров даже на компьютерах со слабой дисковой подсистемой.
Алгоритм сжатия
Базовым объектом кодирования в стандарте MPEG является кадр телевизионного изображения. 1. Поскольку в большинстве фрагментов фон изображения остается достаточно стабильным, а действие происходит только на переднем плане, сжатие начинается с создания исходного кадра.
2. Исходные (Intra) кадры кодируются только с применением внутрикадрового сжатия по алгоритмам, аналогичным используемым в JPEG. Кадр разбивается на блоки 8х8 пикселов. Над каждым блоком производится дискретно-косинусное преобразование (ДКП) с последующим квантованием полученных коэффициентов. Вследствие высокой пространственной корелляции яркости между соседними пикселами изображения, ДКП приводит к концентрации сигнала в низкочастотной части спектра, который после квантования эффективно сжимается с использованием кодирования кодами переменной длины.
3. Обработка предсказуемых (Predicted) кадров производится с использованием предсказания вперёд по предшествующим исходным или предсказуемым кадрам. Кадр разбивается на макроблоки 16х16 пикселов, каждому макроблоку ставится в соответствие наиболее похожий участок изображения из опорного кадра, сдвинутый на вектор перемещения. Эта процедура называется анализом и компенсацией движения.
Допустимая степень сжатия для предсказуемых кадров превышает возможную для исходных в 3 раза. В зависимости от характера видеоизображения, кадры двунаправленной интерполяции (Bi-directional Interpolated ) кодируются одним из четырёх способов: предсказание вперёд;обратное предсказание с компенсацией движения- используется когда в кодируемом кадре появляются новые объекты изображения;двунаправленное предсказание с компенсацией движения;внутрикадровое предсказание- при резкой смене сюжета или при высокой скорости перемещения элементов изображения. С двунаправленными кадрами связано наиболее глубокое сжатие видеоданных, но, поскольку высокая степень сжатия снижает точность восстановления исходного изображения, двунаправленные кадры не используются в качестве опорных. Если бы коэффициенты ДКП передавались точно, восстановленное изображение полностью совпадало бы с исходным. Однако ошибки восстановления коэффициентов ДКП, связанные с квантованием, приводят к искажениям изображения.
Чем грубее производится квантование, тем меньший объём занимают коэффициенты и тем сильнее сжатие сигнала, но и тем больше визуальных искажений.