(по цифровому вещанию) Dvorkovich_V_Cifrovye_videoinformacionnye_sistemy

Глава14. Стандарты кодирования динамических изображений

–

Рис. 14.65. Визуализация внутрикадрового предсказания изображения «Барбара»

Принцип визуализации этих возможностей приведен на рис. 14.65–14.67. Режимы предсказания блоков 16 × 16 изображаются зеленым цветом, режимы блоков 4 × 4 — желтым, начало блока 4 × 4 обозначается красной точкой. Это дает возможность визуально воспринимать картину предсказания во всех деталях и в целом.

На этих рисунках внизу приведены увеличенные фрагменты изображения, на котором можно более детально рассмотреть как предсказываются текстуры различных направлений. К остаточному кадру для увеличения яркости добавляется постоянная составляющая, соответствующая уровню серого. Остаточный кадр иллюстрирует малую энергию остатков и высокую эффективность внутрикадрового предсказания. Кроме того, визуализатор позволяет выводить предсказанный кадр. Данные изображения позволяют сделать вывод об адекватной работе кодера.

Межкадровое предсказание в P-кадрах

В дополнение к типам макроблоков с внутрикадровым кодированием определены различные типы P-макроблоков как типы кодирования с компенсацией движения. Синтаксис поддерживает деление на блоки яркости размером 16 ×16, 16 ×8, 8 × 16 и 8 × 8 отсчетов.

Если выбрано деление на блоки 8 ×8 отсчетов, то передается дополнительный синтаксический элемент, который определяет, производится ли дальнейшее деление блока 8 ×8 на блоки 8 ×4, 4 ×8 или 4 ×4 отсчета яркости и соответствующие отсчеты цветности (рис. 14.31).

Глава14. Стандарты кодирования динамических изображений

Рис. 14.68. Кадр изображения и его разбиение на блоки различных размеров

размер блока 16 × 16; в областях с большими изменениями выбираются меньшие размеры блоков.

Визуализатор позволяет показывать для каждого кадра размеры блоков предсказания и вектора движения для них. На рис. 14.68 слева направо приведен исходный кадр, исходный кадр с нанесенными векторами движения, кадр с нанесенными размерами блоков и его фрагмент.

Помимо этого визуализатор позволяет показывать для каждого кадра коэффициенты квантования макроблоков, битовый размер макроблоков, а так же программа может выдать статистическую информацию о видеопотоке: среднее число битов на макроблок, средний коэффициент квантования, соотношение различных типов кадров, размер текущего кадра в байтах, число макроблоков различных типов текущего кадра.

Каждый блок цветности разбивается таким же образом, как яркостный. Однако вертикальные и горизонтальные размеры такого блока в два раза меньше.

Точность компенсации движения — четверть расстояния между отсчетами яркости. Величины предсказания в полупиксельных позициях получаются с помощью применения одномерного 6-точечного КИХ-фильтра (рис. 14.33). Величины предсказания в четвертьпиксельных позициях получаются с помощью

14.8. Визуализация параметров видеокодирования

Рис. 14.69. Формирование разностного сигнала в P-кадрах

усреднения значений в целочисленных и полупиксельных позициях (рис. 14.34). Оценка смещения элементов цветности обеспечивается с точностью до 1/8-пик- сельного интервала.

Векторы движения соседних блоков зачастую оказываются коррелированными, поэтому вектор-предсказание формируется на основе ранее вычисленных векторов движения и передается только вектор разности между истинным значением вектора и предсказанным значением. Более точное предсказание движения с использованием целопиксельного, полупиксельного и четвертьпиксельного предсказания сигналов яркости и дополнительно 1/8-пиксельное предсказание сигнала цветности представляет собой одно из главных улучшений по отношению к предшествующим стандартам по нескольким причинам. Наиболее очевидная причина — более точное представление движения. Другая причина — большая гибкость фильтрации предсказания. Целопиксельное, полупиксельное и четвертьпиксельное предсказание представляет различные степени низкочастотной фильтрации, которые автоматически выбираются в процессе поиска движения.

На рис. 14.69 приведен вариант обработки P-кадра с четвертьпиксельным предсказанием. Здесь слева приведено исходное изображение, в середине — изображена составляющая яркости с векторами движения, а справа — разностная составляющая.

Межкадровое предсказание в B-кадрах

Существенная разница между B- и P-кадрами состоит в том, что B-кадры кодируются так, что некоторые макроблоки или блоки могут использовать взвешенное среднее двух различных значений предсказания с компенсацией движения для построения сигнала предсказания.

Кодирование векторов движения в B-кадрах похоже на кодирование векторов движения в P-кадрах с соответствующими изменениями, так как соседние блоки могут быть закодированы с использованием различных режимов предсказания.

На рис. 14.70 представлено изображение кадра и двух разностных сигналов, сформированных с использованием прямого и двунаправленного предсказания. Для визуального восприятия различия изображений разностные сигналы увеличены в два раза.

Деблокирующая фильтрация

Деблокирующий фильтр применяется после обратного преобразования в кодере (при восстановлении и сохранении макроблока для формирования прогноза следующего кадра) и в декодере (при восстановлении и отображении макроблока).

Глава14. Стандарты кодирования динамических изображений

Рис. 14.70. Формирование разностного сигнала при прямом и двунаправленном предсказаниях

Фильтр используется для сглаживания блочных артефактов. При этом:

–границы блока сглаживаются, улучшая зрительное восприятие декодированных изображений (особенно при больших коэффициентах сжатия);

–отфильтрованный макроблок используется в режиме компенсации движения деталей изображения в кодере, что значительно уменьшает величину остаточных коэффициентов.

Фильтрация применяется к вертикальным и горизонтальным границам блоков размером 4 × 4 (рис. 14.40).

Параметры деблокирующего фильтра зависят от типа границ между блоками. На рис. 14.41 показан пример применения деблокирующей фильтрации. Деблокирующий фильтр увеличивает эффективность сжатия незначительно: скорость выходного битового потока уменьшается не более чем на 1–3%, а PSNR увеличивается примерно на 1%. Однако субъективное качество восстановленной видеопоследовательности с деблокирующей фильтрацией значительно выше. Увеличение эффективности кодирования, обеспечиваемое деблокирующим фильтром, зависит от содержания последовательности и требуемой выходной скорости закодированного потока.

Особо следует подчеркнуть, что деблокирующая фильтрация весьма эффективна в режимах компенсации движения деталей изображения.

В презентационном диске приведены динамические изображения результатов визуализации алгоритмов обработки видеоинформации. Они также проиллюстрированы на рис. 14.71–14.76.

Рассмотренная система является удобным инструментом визуального анализа и контроля работы алгоритма кодирования, позволяющая разработчику или исследователю выявлять ошибки и неоптимальные решения в работе кодера, сравнивать работу разных кодеров, может использоваться для обучения студентов и специалистов, изучающих современные системы видеокодирования и, в частности, стандарт H.264.

14.8. Визуализация параметров видеокодирования

Рис. 14.71. Разбиение последовательности кадров на блоки различных размеров

Рис. 14.72. Динамика векторов движения в блоках различного размера

Рис. 14.73. Векторы преимущественно горизонтального движения объектов

Глава14. Стандарты кодирования динамических изображений

Рис. 14.74. Векторы преимущественно вертикального движения объектов

Рис. 14.75. Динамика движения деталей в эталонной видеопоследовательности «Сад цветов»

Рис. 14.76. Динамика движения деталей в эталонной видеопоследовательности «Американский футбол»

5.1.Цифровая обработка телевизионных и компьютерных изображений. 2-е изд. перераб. и доп. / Под ред. Ю.Б. Зубарева и В.П. Дворковича В.П. М.: НАТ, 1997.

5.2.Ватолин Д., Ратушняк А., Смирнов М., Юкин В. Методы сжатия данных. Устройство архиваторов, сжатие изображений и видео. М.: ДИАЛОГМИФИ, 2003.

5.3.Стандарты кодирования мультимедиа и гипермедиа-информации ISO (рабочая группа JTS1/SC29). http://blog.piclab.ru/wp-content/uploads/ISO_Standarts.pdf

5.4.ISO/IEC DIS 10918-1. Information Technology — Digital Compression and Coding of Continuous-tone Still Images: Requirements and Guidelines./ Ed.1, JTS 1/ SC 29, 1994

ITU. CCITT. Recomendation T 61. Terminal Eqipment and Protocols for Telematic Servises. Information Technology — Digital Compession and Coding of Continuou-Tone Still Images – Requirements and Guidelines, 1993.

5.5.ISO/IEC DIS 10918-2. Information Technology — Digital Compression and Coding of Continuous-tone Still Images: Compliance Testing./ Ed.1, JTS 1/ SC 29, 1994

Recommendation ITU-T T.83. Series T: Terminals for Telematic Servises. Information Technology - Digital compression and coding of continuous-tone still images: Compliance testing , 1995.

5.6.ISO/IEC DIS 10918-3. Information Technology — Digital Compression and Coding of Continuous-tone Still Images: Extensions./ Ed.1, JTS 1/ SC 29, 1994 Recommendation ITU-T T.84. Series T: Terminals for Telematic Servises. Information TechnologyAmendment 1: Provisions to allow Registration of new Compression Types and Versions in the SPIFF Header, 1999.

5.7.ISO/IEC DIS 10918-4. Information technology — Digital compression and coding of continuous-tone Still images: Registration of JPEG profiles, SPIFF profiles, SPIFF tags, SPIFF colour spaces, APPn markers, SPIFF compression types and Registration Authorities (REGAUT)./ Ed.1, JTS 1/ SC 29, 1999.

Recommendation ITU-T T.86. Series T: Terminals for Telematic Servises. Information technology — Digital compression and coding of continuous-tone still images: Registration of JPEG Profiles, SPIFF Profiles, SPIFF Tags, SPIFF colour Spaces, APPn Markers, SPIFF Compression types and Registration authorities (REGAUT), 1999.

5.8.The JPEG Still Picture Compression Standard// Communications of the ACM. V.34. № 4. April, 1991.

5.9.Wallace G.K. The JPEG Still Picture Compression Standard// Communication of the ACM. V.34. № 4. April, 1991.

5.10.King N. Ngan, Hee C. Koh., Wai C. Wong. Hybrid Image Coding Scheme Incorporating Human Visual System Characteristics// Optical Engineering. V. 30. № 7. 1991.

Литература к части V

5.11.МККР. Параметры кодирования сигналов цифрового телевидения для студий: Рекомендация 601.

5.12.Сэломон Д. Сжатие данных изображений и звука / Пер. с англ. В.В. Чепыжова. М.: Техносфера, 2004.

5.13.Госалес Р., Вудс Р. Цифровая обработка изображений/ Пер. с англ. П.А. Чочиа. М.: Техносфера, 2005.

5.14.Dvorkovitch V.P., Nechepaev V.V., Mokhin G.N., Dvorkovitch A.V. Digital Compression of TV Images for the Transmission through the Satellite Channels: International Conference on Satellite Communications. Proceedings. V.1. Moscow. October, 1994.

5.15.ISO/IEC 15444-1. Information technology — JPEG 2000 image coding system: Core coding system./ Ed.1, JTS 1/ SC 29, 2004

Recommendation ITU-T T.800. Series T: Information technology — JPEG 2000 image coding system: Core coding system, 2005.

5.16.ISO/IEC 15444-2. Information technology — JPEG 2000 image coding system: Extensions./ Ed.1, JTS 1/ SC 29, 2004

Recommendation ITU-T T.801. Series T: Information technology — JPEG 2000 image coding system: Extensions, 2005.

5.17.ISO/IEC 15444-3.Information technology — JPEG 2000 image coding system: Motion JPEG 2000./ Ed.1, JTS 1/ SC 29, 2007

Recommendation ITU-T T.802. Series T: Information technology — JPEG 2000 image coding system: Motion JPEG 2000, 2008.

5.18.ISO/IEC 15444-4. Information technology — JPEG 2000 image coding system: Conformance testing./ Ed.1, JTS 1/ SC 29, 2004

Recommendation ITU-T T.803. Series T: Information technology — JPEG 2000 image coding system: Conformance testing, 2008.

5.19.ISO/IEC 15444-6. Information technology — JPEG 2000 image coding system — Part 6: Compound image file format./ Ed.1, JTS 1/ SC 29, 2003.

5.20.ISO/IEC 15444-9. Information technology — JPEG 2000 image coding system: Interactivity tools, APIs and protocols./ Ed.1, JTS 1/ SC 29, 2005 Recommendation ITU-T T.808. Series T: Information technology — JPEG 2000 image coding system: Interactivity tools, APIs and protocols, 2005.

5.21.ISO/IEC 15444-12. Information technology — JPEG 2000 image coding system — Part 12: ISO base media file format./ Ed.1, JTS 1/ SC 29, 2008.

5.22.ISO/IEC 14495-1. Information technology. Lossless and near-lossless compression of continuous-tone still images. Part 1: Baseline/JTC 1/SC 29, 1999.

5.23.ISO/IEC 14495-2. Information technology — Lossless and near-lossless compression of continuous-tone still images. Part 2: Extensions/JTC 1/SC 29, 2003.

5.24.Рыбаков Г., Суслов А. JPEG, JPEG2000, JPEG-LS. Сжатие изображений с потерями и без. http://rain.ifmo.ru/cat/view.php/theory/data-compression/ jpeg-2006

5.25.Борисов М. Сжатие изображений: JPEG и JPEG 2000. http://nnm.ru/blogs/badylai/szhatie_izobrazhenij_jpeg_i_jpeg2000

Литература к части V

5.26.Дворкович В.П., Дворкович А.В. Расчет банков фильтров дискретного вей- влет-преобразования и анализ их характеристик // ЦОС. 2006. № 2.

5.27.Recommendations of the H-Series, CCITT Study Group XV, Report R37, 1990.

5.28.ITU-T. Recommendations : H Series : H.261–Video codec for audiovisual services at p x 64 kbit/s, 1993

5.29.ISO/IEC 11172-1: Information technology — Coding of moving pictures and associated audio for digital storage media at up to about 1,5 Mbit/s — Part 1: Systems./ Ed.1, JTS 1/ SC 29, 1993.

5.30.ISO/IEC 11172-2: Information technology — Coding of moving pictures and associated audio for digital storage media at up to about 1,5 Mbit/s — Part 2: Video./ Ed.1, JTS 1/ SC 29, 1993.

5.31.ISO/IEC 11172-3. Information Technology — Coding of Moving Pictures and Associated Audio for Digital Storage Media at up to about 1.5 Mbit/s. Part 3: Audio./ Ed.1, JTS 1/ SC 29, 1993.

5.32.ISO/IEC 11172-4. Information Technology — Coding of Moving Pictures and Associated Audio for Digital Storage Media at up to about 1.5 Mbit/s. Part 4: Conformance Testing./ Ed.1, JTS 1/ SC 29, 1993.

5.33.ISO/IEC 13818-1. Information Technology — Generic Coding of Moving Pictures and Associated Audio Information. Part 1: Systems./ Ed.1, JTS 1/ SC 29, 1994.

5.34.ISO/IEC 13818-2. Information Technology — Generic Coding of Moving Pictures and Associated Audio Information. Part 2: Video./ Ed.1, JTS 1/ SC 29,1994.

5.35.ISO/IEC 13818-3. Information Technology — Generic Coding of Moving Pictures and Associated Audio Information. Part 3: Audio./ Ed.1, JTS 1/ SC 29, 1994.

5.36.ISO/IEC 13818-4. Information Technology — Generic Coding of Moving Pictures and Associated Audio Information. Part 4: Conformance Testing./ Ed.1, JTS 1/ SC 29, 1995.

5.37.ISO/IEC 13818-5. Information Technology — Generic Coding of Moving Pictures and Associated Audio Information. Part 5: Technical Report./ Ed.1, JTS 1/ SC 29,1995.

5.38.ITU-T. Recommendations: H Series: H.262–Information technology — Generic coding of moving pictures and associated audio information: Video, 2000.

5.39.Digicipher HDTV System. Submitted by General Instrument Corporation Videocipher Division. San Diego, California. June, 1990.

5.40.Advanced Digital Television (ADTV). System Discription. NBC- Philips-Thom- son./ David Sarnoff Research Center. Feb.,1991.

5.41.422P@ML Amendment: «ISO/IEC 13818-2 Amendment 2: Information Technology — Generic Coding of Moving Pictures and Associated Audio Information. Video. 1996.

5.42.ITU-T. Recommendations: H Series: H.263–Information technology — Video coding for low bit rate communication, 1995.