1.4.2. Применение частотно-полосных преобразований для сжатия видео

Несмотря на наличие большого количества преобразований, использующих перекрывающиеся блоки, они не годятся для практической реализации высокоэффективного видеокодека. Дело в том, что общепринятый подход к сжатию видео заключается в сжатии разности между текущим и предыдущим кадрами видеопоследовательности. При этом для уменьшения амплитуды подобной разности используется техника компенсации движения, случившегося на изображении за время между двумя соседними кадрами. Общепринятым методом компенсации движения является определение векторов движения для блоков изображения определенного, стандартного размера. Например, в стандарте Н263(MPEG4) используются блоки размером 8x8 и 16x16 пикселей. На границе между подобными блоками могут возникать разрывы плавности изменения изображения (т.е. те же квадраты), что приводит к уменьшению эффективности работы алгоритмов, использующих перекрывающиеся блоки.

И хотя с подобным эффектом можно бороться различными способами, следующая проблема делает бессмысленным применение стандартных алгоритмов с перекрывающимися участками. Какой бы хорошей ни была система компенсации движения, при сжатии реальных видеофрагментов возникают ситуации, когда для определенных участков изображения выгоднее сжимать непосредственно текущий кадр, а не разницу с предыдущим. Если для сжатия используется преобразование с не перекрывающимися блоками, то для каждого типа блока можно легко выбирать тип кодирования - межкадровый или прямой. Для обычного преобразования с перекрывающимися участками это в принципе невозможно. И хотя перекрывающиеся преобразования имеют большую эффективность сжатия, это преимущество полностью и даже с запасом нивелируется невозможностью динамически переключать тип блока. Правда, существуют методы, уменьшающие негативные последствия от этого факта, но они требуют больших вычислительных затрат и потому в реальных кодеках неприменимы [11].

Таким образом, из всего множества частотно-полосных преобразований практически применимы для сжатия видео только DCT и простейший wavelet - Haar (он же является и DCT с размером блока 2x2 пикселя). При этом стандартное DCT с размером блока 8x8 пикселей имеет большую частотную эффективность, чем Haar, но зато последний теоретически позволяет независимо кодировать любой блок с минимальным размером 2x2 пикселя. Вообще при увеличении размера блока возрастает эффективность используемого преобразования, но падает пространственная адаптивность.

1.4.3. Адаптивная пред- и постфильтрация

Из-за того, что частотная эффективность доступных преобразований далека от идеала, при высоких коэффициентах сжатия на восстановленном изображении возникает большое количество артефактов, которые ухудшают визуальное качество изображения и, что хуже всего, постепенно накапливаются в петле обратной связи кодека. Так как текущая распакованная картинка используется как опорная для следующего кадра, кодек вынужден передавать лишние данные в следующем закодированном кадре, чтобы компенсировать накопившуюся ошибку. В результате часть закодированного потока составляют ''лишние'' данные, а при очень высоких коэффициентах сжатия это приводит к катастрофически низкому качеству изображения. Для борьбы с этим явлением возможно два подхода - можно с помощью предварительной обработки сигнала убрать 'избыточную' информацию из входного изображения, т.е. применить адаптивный предфильтр, а можно попробовать убрать артефакты сжатия из уже распакованного изображения, т.е. применить адаптивный постфильтр. Наиболее продуктивным является сочетание этих методов.

Стандарты сжатия видео, начиная с H261, регламентировали сам формат - тип преобразования, компенсацию движения и т.д., но оставляли свободу действия для разработчиков в области создания собственных предфильтров и постфильтров. При этом фильтрационные блоки рассматривались как дополнение к основному кодеку и не входили в собственно ядро - петлю обратной связи кодека. Подобный подход приводил к тому, что артефакты сжатия все равно накапливались в петле обратной связи и ухудшали эффективность кодирования.

Вследствие увеличения конкуренции на рынке среди фирм, занимающихся разработкой средств сжатия видео, многие подобные компании стали заниматься разработками собственных кодеков, чтобы (хотя и ценой отхода от стандарта) получить большую эффективность сжатия, чем у конкурентов. Одним из таких подходов является внесение блоков адаптивных постфильтра (и/или предфильтра) внутрь петли обратной связи кодека и регулирование параметров работы этих фильтров в зависимости от размера порогов квантования частотно-полосного преобразования. Таким образом уменьшается накопление ошибок сжатия, а результирующую систему из частотно-полосного преобразования и адаптивных блоков можно рассматривать как некое новое, локально адаптивное к статистике входного сигнала преобразование. Подобный подход позволяет существенно увеличить эффективность работы кодека при высоких коэффициентах сжатия.