17. Принципы представления цифрового видео, форматы, методы сжатия.

Цифровое видео — множество технологий записи, обработки, передачи, хранения и воспроизведения визуального или аудиовизуального материала в цифровом представлении. Основное отличие от аналогового видео в том, что видеосигналы кодируются и передаются в виде последовательности бит. Цифровое видео может распространяться на различных видеоносителях, посредством цифровых видеоинтерфейсов в виде потока или файлов. Видеопоток - это временна́я последовательность кадров определенного формата, закодированная в битовый поток. Скорость передачи несжатого видеопотока с чересстрочной разверткой разрядностью 10 бит и цветовой субдискретизацией 4:2:2 стандартной четкости будет составлять 270 Мбит/с. Такой поток получается если сложить произведения частоты дискретизации на разрядность каждой компоненты: 10 × 13,5 + 10 × 6,75 × 2 = 270 Мбит/с. Однако, расчет размера получаемого файла, содержащего несжатый видеопоток, производится несколько иначе. Сохраняется только активная часть строки видеосигнала. Для представления в пространстве Y', Cr, Cb расчитываются следующие составляющие:

• количество пикселей в кадре для яркостной компоненты = 720 × 576 = 414 720

• количество пикселей в кадре для каждой цветностной компоненты = 360 × 576 = 207 360

• число битов в кадре = 10 × 414 720 + 10 × 207 360 × 2 = 8294400 = 8,29 Мбит

• скорость передачи данных (BR) = 8,29 × 25 = 207,36 Мбит / сек

• размер видео = 207,36 Мбит / сек * 3600 сек = 746 496 Мбит = 93 312 Мбайт = 93,31 Гбайт = 86,9 ГиБ

Цифровое сжатие

Цифровое сжатие, в общем случае известное также как сжатие данных или сокращение цифрового потока, является, в отличие от аналогового, более высокотехнологичным способом получения максимальных аудиовизуальных результатов при минимуме затрат. И потому при цифровом кодировании звук и видео можно довести до зрителя, значительно уменьшив поток или ширину полосы частот, причем с развитием компьютерных технологий известные методы сжатия дешевеют, а новые постепенно становятся все более жизнеспособными. К тому же такие направления, как цифровое вещание и видео по требованию, вообще не могли бы существовать без применения сжатия, а системы нелинейного (то есть произвольного) монтажа оказались бы без него абсолютно нерентабельными.

Цифровое сжатие — гибкая технология, поскольку используемые уровни сложности кодирования и степень компрессии могут варьироваться применительно к приложению. Основным принципом цифрового сжатия является использование так называемой избыточности звукового или видеосигнала. Избыточность объясняется тем, что звук и видео содержат области, обладающие сходными характеристиками. Таким образом, весь поток информации можно условно разделить на предсказуемую часть (иначе говоря — избыточность) и новую, непредсказуемую часть (известную в теории информации как энтропия). Сумма этих двух величин и дает нам поток данных, уменьшение которого будет зависеть от того, насколько хорошо мы можем осуществить «предсказание». Теоретически можно полностью устранить избыточность и оставить только энтропию, но для этого понадобился бы идеальный алгоритм сжатия, который был бы чрезвычайно сложным и работал бы неоправданно долго. Если же степень сжатия настолько велика, что результирующая скорость потока данных становится меньше энтропии, то информация теряется.

На практике коэффициент сжатия выбирается меньше идеального, чтобы обеспечить некоторый запас надежности. Это дает возможность пользоваться более простыми алгоритмами и производить повторное восстановление/сжатие без ощутимых потерь качества. В бытовой аппаратуре коэффициент сжатия может быть больше, чем в студийной, и если не требуется многократная перезапись, то в процессе сжатия некоторая доля энтропии отбрасывается.

 

	Правила сжатия Вам не потребуется знать все сложности процесса сжатия, если придерживаться следующих общих правил: Если сжатие не является крайне необходимым, то не пользуйтесь им! Пока монтаж и компоновка материала не завершены, лучше работать с исходным источником, чтобы иметь достаточный запас по качеству, а сжатие производить только на последнем этапе, то есть непосредственно перед выводом на носитель. Если же сжатие неизбежно, то старайтесь применять как можно меньший коэффициент компрессии. Другими словами, всегда используйте максимально возможный цифровой поток. Не включайте системы сжатия друг за другом и по возможности избегайте повторного сжатия. Это всегда приводит к потере качества, причем чем меньше поток, тем явственнее будет это ухудшение. Качество будет еще хуже, если между применением кодеков вы будете совершать какие-то монтажные действия или применять спецэффекты. Системы цифрового кодирования всегда вносят временную задержку и затрудняют видеомонтаж, а применение сжатия может привести и к рассинхронизации видео- и аудиопотоков. Любые системы сжатия лучше всего работают с самым чистым видеоматериалом. Шумы в сигнале, дрожание картинки, зернистость и недостаток освещения при съемке, а также некачественное декодирование исходного видеосигнала затрудняют сжатие и приводят к плохим результатам. Сжатые данные всегда гораздо больше подвержены воздействию ошибок передачи, чем несжатые. Не верьте заявлениям производителей, в которых качественные показатели кодеков сравниваются с аналоговым видео («качество по стандарту VHS», «качество, сравнимое с Betacam SP» и т.п.), ибо дефекты сжатого цифрового изображения отличаются от дефектов изображения аналогового, даже если аналоговое видео воспроизводится с бытового видеомагнитофона, известного своими недостатками. Качество изображения, полученного тем или иным кодеком, напрямую зависит от типа и состояния материала источника. Поэтому подвергайте сомнению даже самые убедительные демонстрации, так как при этом может использоваться специально подобранный материал, гарантирующий превосходную работу того или иного кодека. Всегда пользуйтесь для тестирования своим собственным материалом, подобранным на основе разумного баланса «легких» и «трудных» сюжетов! Качество сжатия можно оценить только субъективно.

Многие разновидности цифрового сжатия видеосигналов основаны на том, что сигналы высокого уровня по амплитуде не встречаются одновременно на всех частотах, а при сжатии звуковых сигналов необходимо выполнить частотный анализ входного сигнала, чтобы разработать эффект маскирования. Обычно для таких целей используются спектральные преобразования, которые также применяются в методе фазовой корреляции при измерении движения. Частным случаем спектральных преобразований являются преобразования Фурье, которые используются в большинстве известных алгоритмов сжатия аудио- и видеосигналов. Преобразования Фурье — это метод обработки, используемый для анализа изменений сигналов во времени и для выражения их в виде спектра.

В цифровых системах сигнал представляется в виде дискретных отсчетов. Результатом преобразования Фурье для этого сигнала является такое же число дискретных частот  — и такое преобразование называется дискретным преобразованием Фурье (ДПФ). Если же вам встретится упоминание о быстром преобразовании Фурье (БПФ), то это означает всего лишь эффективный способ вычисления ДПФ, при котором происходит спектральный анализ блока отсчетов посредством независимого вычисления каждой дискретной частоты анализа.

Что касается термина «дискретное косинусоидальное преобразование» (ДКП, DCT), то это — дополнительное упрощение ДПФ, которое осуществляется благодаря использованию только одной — косинусной — составляющей.

Форматы цифрового видео

В этом разделе мы проанализируем характерные форматы представления цифрового видео, такие как QuickTime фирмы  Apple, MPEG комитета Motion Picture Expert Group и AVI фирмы  Microsoft.

Общая черта всех популярных форматов цифровых видеофайлов состоит в том, что основная часть любого из них - это система сжатия и восстановления видеоданных (compression/decompression - сокращенно codec), называемая кодеком. Обычно программы, поддерживающие основные форматы видеофайлов, позволяют замещать старые кодеки на новые, более совершенные, по мере разработки последних. Такой подход позволил легко адаптировать форматы видеофайлов и поддерживающие их программы к новым технологиям, как только те становились доступными.

Исходные релизы форматов QuickTime и VfW содержали очень простые кодеки, так как уровень развития компьютерной техники того периода не мог обеспечить применение более качественных методов, требовавших значительно более высоко уровня вычислительного ресурса. По мере совершенствования компьютерных технологий стало возможным использовать более эффективные методы сжатия и распаковки, что привело к применению новых кодеков.

К наиболее известным и широко применяемым форматам следует отнести  QuickTime фирмы Apple. Под этим именем объединены два различных понятия. Для пользователей - это стандартный способ работы с потоковыми данными, такими как видео и аудио. Для производителей - это гибкое средство разработки приложений, совершенствующееся по мере развития технологий. Формат пригоден для работы с любой времязависимой информацией. Видеофильмы в этом формате могут содержать несколько видео- и аудиодорожек. Таким образом, фильм в этом формате может иметь многоязыковую поддержку, а также содержать MIDI-информацию для управления внешним синтезатором. Продолжительность событий на каждой из дорожек также может быть различной. Можно также накладывать друг на друга несколько видеодорожек.

Формат был создан первоначально для платформы Macintosh для хранения аудио- и видеоданных на магнитных и оптических носителях. Сейчас он используется и в оболочке Windows. Предусмотрен специальный набор средств, называемый Movie Toolbox, который обеспечивает редактирование и модификацию видеофильмов в данном формате, т. е. можно вклеивать, вырезать, копировать и редактировать отдельные видеофрагменты таким же образом, как это делается при профессиональном монтаже обычного кино. Данные в этом формате можно хранить на магнитном или компакт-диске в виде обычного файла, а также помещать на цифровой видеомагнитофон.

Набор средств Movie Toolbox определяет шесть методов сжатия, используемых при хранении видеофильмов в этом формате. Перечислим эти методы.

Photo Compressor - предназначен для сжатия отдельных изображений с глубиной цвета от 8 до 24 бит (для сжатия фреймов или видеокадров обычно используется метод JPEG).

Video Compressor - метод сжатия видеопоследовательностей с потерями, основанный на преобразовании пространственного спектра и временном сжатии. Глубина цвета - 24 бита. Метод отличается высокой скоростью распаковки сжатого видеоряда.

Compact Video Compressor - также метод сжатия с потерями, пригодный для 16 и 24-битного представления цвета. Отличается более высоким качеством и большим коэффициентом сжатия по сравнению с предыдущим, но требует значительных затрат времени на выполнение начального сжатия информации.

Animation Compressor - метод сжатия анимационных последовательностей, основанный на применении алгоритма группового кодирования, рассмотренного в § 3.3. Используется как в варианте с потерями, так и без потерь. Работает с любой глубиной цвета.

Graphic Compressor - предназначен для быстрого сжатия и распаковки 8-битовых неподвижных изображений и их последовательностей. Коэффициент сжатия невелик. Применяется при хранении информации на устройствах с низкой скоростью обмена данными, типа компакт- или DVD-дисков.

Raw Compressor - программа предварительной обработки изображений, позволяющая получить нужную глубину цвета перед тем, как сжать его одним из описанных выше методов.

Аудиоданные в этом формате кодируются в виде последовательности квантованных дискретных выборок в формате AIFF, как это было описано в § 3.4 или непосредственно в ресурсе звуковой среды видеофильма.

Основная структурная единица файлов этого формата носит название атом. Различают атомы-контейнеры и атомы-листья. Контейнеры содержат другие атомы, в том числе и атомы-контейнеры. А атомы-листья содержат только данные. Каждый поток данных файла хранится в отдельном атоме дорожки. Дополнительные сведения о данном формате можно почерпнуть из книг   и на сайте www.quicktime.apple.com.

Комитет Motion Picture Expert Group, как уже ранее упоминалось, был создан международной ассоциацией по стандартизации специально для создания высококачественных стандартов сжатия цифрового видео. И действительно был разработан ряд стандартов, таких как MPEG-1, MPEG-2, MPEG-4 для воспроизведения видео с различной скоростью и качеством на платформах Windows, Macintosh и UNIX, а также рекомендован определенный набор методов сжатия видео- и аудиоданных.

Формат MPEG-1 определяет файлы для хранения кодируемого видеоматериала (расширение mpv) и формат системного потока для объединения видео- и аудиоданных (расширение mps), а также три формата для кодирования только аудио (mpa, mp2и l3).  Формат MPEG-2 предназначен для вещания и мало пригоден для персональных компьютеров.  MPEG-4 предназначен для передачи низкокачественного видео для систем видеотелефонии и видеоконференций.

Стандарты MPEG определяют только способ хранения данных, но не указывают, как были получены данные в этом формате. Все форматы MPEG с потерями. Для кодирования данных в этом формате вычислительных ресурсов ПК недостаточно. Корректная обработка MPEG на ПК без дополнительных аппаратных средств также связана с определенными трудностями. Они могут привести к задержкам или ухудшению качества воспроизведения.

Формат MPEG хранит несколько типов кадров. Независимые или ключевые кадры (l-frames) не требуют никакой дополнительной информации для декодирования. При их сжатии используется методика, аналогичная JPEG-сжатию, но более эффективная. Предсказуемые кадры (P-frames) хранят различие между предыдущим независимым или предсказуемым кадром и текущим кадров (то, что в § 3.5.2 определялось как межфреймовое дельта-сжатие или компенсация движения). Дальнейшее улучшение качества сжатия достигается путем использования двунаправленных предсказаний движения или B-frames. В нем предсказание сохраняется как разности текущего как с предыдущим, так и с последующим кадрами, вследствие чего последовательность кадров может иногда нарушаться.

При кодировании звука MPEG отбрасывает ряд избыточных данных, опираясь на особенности человеческого слуха, о которых уже говорилось в § 3.4. В результате достигается гораздо более высокий уровень сжатия по сравнению с РСМ и u-Law, о которых говорилось в предыдущем параграфе. Оценивая данный формат, следует отметить, что он гарантирует самое высокое качество как видео, так и аудио, но требует наличия большого количества вычислительных ресурсов.

Формат Audio/Video Interleave (AVI) фирмы  Microsoft получил свое название из-за того, что в нем аудио- и видеоданные расположены перемежающимися слоями. В заголовке файла хранится множество различной информации, в том числе, о частоте следования и размере кадров. Программа воспроизведения должна извлечь данные видеокадра и связанного с ним звукового сопровождения, затем передать звук на звуковую карту, а видеоданные распаковать и воспроизвести на экране монитора.

Поддержка равномерного потока данных требует внимания ко всем частям системы воспроизведения для того, чтобы сохранить синхронизацию независимо от задержек при распаковке видеоданных.

В структуре AVI-файла содержатся два блока LIST. Первый из них (LIST hdrl) содержит информацию о фильме в целом и каждом из его потоков, включая разрешение экрана и частоту кадров видеоданных, а также формат, частоту оцифровки и разрядность квантованных аудиоданных. Второй блок LIST movi хранит сами видео- и аудиоданные в виде отдельных потоков, сегментированных на блоки выборки. Интересно отметить, что в формате AVI звуковые данные опережают видео на 0,75 с.

Форматы стандартной чёткости (SD)
Формат	Владелец	Дискретизация	Глубина цвета	Битрейт (Мбит/с)	Тип компрессии	Степень сжатия	Размер кадра (пикселей)
DV/MiniDV	Несколько	4:2:0 (PAL) 4:1:1 (NTSC)	8 бит	25	ДКП	5:1	720×576(PAL) 720×480(NTSC)
DVCPRO 25	Panasonic	4:1:1	8 бит	25	ДКП	5:1	720×576(PAL) 720×480(NTSC)
DVCPRO 50	Panasonic	4:2:2	8 бит	50	ДКП	3,3:1	720×576(PAL) 720×480(NTSC)
DVCAM	Sony	4:2:0 (PAL) 4:1:1 (NTSC)	8 бит	25	ДКП	5:1	720×576(PAL) 720×480(NTSC)
Digital Betacam	Sony	4:2:2	10 бит	90	ДКП	2,3:1	720×576(PAL) 720×480(NTSC)
Betacam SX	Sony	4:2:2	10 бит	18/170	MPEG-2	10:1	720×576(PAL) 720×480(NTSC)
MPEG IMX	Sony	4:2:2	8 бит	30 40 50	MPEG-2 422P@ML	6:1 4:1 3,3:1	720×576(PAL) 720×480(NTSC)
XDCAM	Sony	4:2:0/4:1:1 4:2:2	8 бит	30 40 50	MPEG-2	6:1 4:1 3,3:1	720×576(PAL) 720×480(NTSC)