123

3.1. Задача сжатия информации и пути ее решения

3. Практическое использование видеокомпрессии в телевидении

3.1. Задача сжатия информации и пути ее решения

Одной из важнейших практических задач в области цифрового телевидения является задача сокращения скорости передачи двоичных символов и, соответственно, требуемой полосы частот канала связи. Эта задача может быть решена путем уменьшения избыточности информации, передаваемой в телевизионном сигнале без заметного для глаза ухудшения качества воспроизводимого телевизионного изображения. Уменьшение избыточности обеспечивает также сокращение требуемого объема памяти запоминающих устройств при записи телевизионных программ, видеофрагментов или отдельных изображений.

В соответствии с установившейся в технической литературе терминологией уменьшение объема передаваемой телевизионной информации в большинстве случаев называется сжатием видеоинформации, а также сжатием изображений, сжатием звуковых сигналов, сжатием речи. В англоязычной литературе используется терминcompression, и вместо словасжатиевозможно использовать словокомпрессия. А обратная операция называетсядекомпрессией. Таким образом, основной цельювидеокомпрессииявляется более компактное представление изображений с информационной точки зрения.

Следует также иметь в виду, что сравнительно часто вместо терминов «сжатие» («компрессия»)или«декомпрессия» используются соответственно термины «кодирование»и «декодирование». Это соответствует терминологии стандартов Международной организации по стандартизации (ISO–InternationalStandardizationOrganization) (encoding,decoding), но следует всегда понимать, что имеется в виду. Например, в процессе сжатия (то есть кодирования) выполняется несколько разных по сущности операций, некоторые из которых, взятые сами по себе, также называются кодированием.

Избыточность телевизионного сигнала разделяется на структурную, статистическую и психофизиологическую.

Структурная избыточностьсвязана с наличием в стандартном телевизионном сигнале гасящих импульсов, во время которых информация об изображении не передается. Структурная избыточность телевизионного сигнала может быть уменьшена путем передачи во время гасящих импульсов какой-либо другой полезной информации, например, сигналов звукового сопровождения. Однако большого выигрыша это не дает.

Статистическая избыточностьвызывается наличием корреляционных связей между значениями сигнала в соседних элементах одной строки, в соседних строках и в соседних кадрах. Наглядно можно представить себе смысл статистической избыточности как наличие повторяемости информации в следующих друг за другом кадрах. Одним из наиболее известных методов сокращения статистической избыточности являетсякодирование с предсказанием или дифференциальная импульсно-кодовая модуляция (ДИКМ). В ряде стандартов сжатия кодирование с предсказанием является одним из основных инструментов устранения избыточности. При этом для большинства кадров передается не само изображение, а так называемая ошибка предсказания – разность действительного изображения данного кадра и предсказанного изображения этого же кадра, которое формируется по известным алгоритмам из изображений ранее переданных кадров. Так как большинство кадров телевизионного изображения в значительной степени повторяют предыдущие, ошибка предсказания содержит значительно меньший объем информации, чем действительное изображение.

Психофизиологическаяилиперцептуальнаяизбыточность телевизионного сигнала определяется той информацией в нем, которая не воспринимается зрительным аппаратом человека и, следовательно, могла бы и не передаваться. Психофизиологическая избыточность может быть устранена за счет удаления из передаваемого сигнала информации, отсутствие которой существенно не влияет на восприятие изображения человеком.

Мощным средством сокращения избыточности является кодирование с преобразованием, при котором набор статистически зависимых отсчетов изображения во временнóй области преобразуется в набор независимых коэффициентов в спектральной области. Разложение производится по ортогональным базисным функциям, различным для разных преобразований. При удачном выборе вида преобразования энергия в спектральной области сосредотачивается вблизи низкочастотных компонент спектра, а коэффициенты в высокочастотной области оказываются малыми или вообще нулевыми.

К наиболее широко распространенным и глубоко исследованным относится, в частности, дискретно-косинусное преобразование(ДКП).

Дальнейшее сокращение избыточности получается благодаря переходу от поэлементного к групповому преобразованию, когда телевизионное изображение разбивается на отдельные участки и производится кодирование сразу группы элементов, составляющих участок. По принципу группового кодирования функционирует, например, ДКП.

Применение совокупности различных способов сжатия информации, заключенной в телевизионном изображении, позволяет не только передавать цифровой сигнал, соответствующий телевизионному изображению стандартной четкости, по эфирным каналам системы телевизионного вещания, но и реализовать одновременную передачу по этим радиоканалам цифровых сигналов нескольких телевизионных программ, а также организовать передачу сигналов усовершенствованных систем ТВЧ.

Методы сжатия изображений можно разделить на два класса: методы сжатия без потерь информации и методы сжатия с частичной потерей информации. При сжатии без потерь после декомпрессии восстанавливается изображение, идентичное исходному.

Возможности сжатия реальных цветных или полутоновых черно-белых изображений без потерь весьма ограничены. Гораздо большего эффекта позволяют достичь методы сжатия с частичной потерей информации, но без заметного ухудшения визуально-воспринимаемого качества декодированных изображений.

Сжатие необходимо и для передачи в цифровой форме сигналов звукового сопровождения. Расчеты показывают, что при частоте дискретизации 48 кГц и 16 разрядах АЦП скорость передачи двоичных символов составляет 0,768 Мбит/с на один звуковой канал. Методы сжатия звука, используемые на практике, основаны на учете свойств человеческого слуха и относятся к методам сжатия с частичной потерей информации. При сжатии отбрасывается значительная часть слуховой информации, но качество воспроизводимого звука остается достаточно высоким. Следовательно, сжатие достигается в основном за счет уменьшения психофизиологической избыточности.

Практическими вопросами сжатия аудиовизуальной информации и выпуском соответствующих стандартов и рекомендаций занимается MPEG(MotionPicturesExpertsGroup) – созданная в 1988 г. организация, объединяющая представителей фирм – производителей оборудования и научных институтов разных стран.MPEGпредставляет собой подкомитет двух международных организаций –ISOи Международной электротехнической комиссии (IEC–InternationalElectrotechnicalCommission).

Одна из основных задач группы MPEGсостояла в изучении проблемы и разработке стандарта на компрессию цифрового телевизионного сигнала, что позволило предложить способы записи или передачи сигналов изображения и звука посредством возможно меньшего числа данных с возможно лучшим качеством.

Международный стандарт кодирования с информационным сжатием MPEG-2 (также известный какISO/IEC-13818) был специально разработан для кодирования телевизионных сигналов систем вещательного телевидения в 1996 г. и дополнялся в последующие годы. Особо следует отметить, что стандартMPEG-2 предусматривает возможность перехода к ТВЧ.

Стандарт MPEG-2 к настоящему времени насчитывает уже 10 частей, первая из которых была представлена к стандартизации в 1994 году, а последняя – в 1999 году.

Среди 10 составных частей стандарта MPEG-2 можно выделить три основных: 13818-1 – системную, 13818-2 – видео и 13818-3 – звуковую.

Системная часть описывает форматы кодирования для мультиплексирования звуковой, видео- и другой информации, рассматривает вопросы комбинирования одного или более потоков данных в один или множество потоков, пригодных для хранения или передачи. Системное кодированиев соответствии с синтаксическими и семантическими правилами, налагаемыми данным стандартом, обеспечивает необходимую и достаточную информацию, чтобы синхронизировать декодирование без переполнения или «недополнения» буферов кодера при различных условиях приема или восстановления потоков. Таким образом, системный уровень выполняет пять основных функций:

• синхронизация нескольких сжатых потоков при воспроизведении;

• объединение нескольких сжатых потоков в единый поток;

• инициализация для начала воспроизведения;

• обслуживание буфера;

• определение временнóй шкалы.

Спецификация видеочасти (13818-2) регламентирует кодовое представление и процесс декодирования, обеспечивающий воспроизведение компрессированных телевизионных изображений. Видеочасть предполагает сжатие потока видеоданных за счет устранения пространственной и временнóй избыточности, присущих телевизионному изображению. Устранение пространственной избыточности основывается на использовании ДКП, временнóй – на дифференциальном кодировании с компенсацией движения. Но процедура кодирования не регламентируется стандартом, что оставляет возможности для совершенствования кодеров и улучшения качества воспроизводимого изображения.

Звуковая часть стандарта MPEG-2 (13818-3) определяет возможное кодирование многоканального звука.

Важнейшая особенность стандарта MPEG-2 – представление сигналов телевизионного изображения и звука в форме, задаваемой спецификациями 13818-1 – 13818-3, позволяет обращаться с видео и звуковыми потоками как с потоками компьютерных данных, которые могут записываться на самые разные носители информации, передаваться и приниматься с использованием каналов связи и сетей телекоммуникаций, которые существуют сегодня и появятся в будущем.

С принятием стандарта MPEG-2 работы по компрессии видеоданных перешли в область практической реализации. На данный момент можно назвать более 10 фирм, которые выпускают для продажи кодеры и декодеры по стандартуMPEG-2. Наиболее известны из них Philips, Panasonic, Page Micro Technology, CLJ Communications, Wegener Communications, Scientific-Atlanta, NTL, Segem Group, NEC, Vistek, General Instruments и др.

Транспортный поток MPEG-2 допускает вместе со звуковыми и видео потоками цифровых программ также потоки, содержащие любую другую цифровую информацию.

Фактически успех цифрового телевидения и DVD-видео основан на использовании стандартаMPEG-2, первые версии которого были разработаны практически пятнадцать лет назад. В течение нескольких лет стандартMPEG-2 постоянно улучшался. Заложенная в данном стандарте технология видеокомпрессии доказала свою эффективность, но в настоящее время она является уже заметно устаревшей. Сегодня стандартMPEG-2 подошел к границам своих возможностей. Пришло время заменить способы видеосжатия, на которых основывается стандартMPEG-2, более эффективной и продвинутой технологией, воспользовавшись преимуществами непрерывного прогресса в производстве процессоров.

Другой важнейшей разработкой группы MPEGявляетсястандарт компрессии MPEG-4, визуальная часть которого получила названиеMPEG-4Visual(группыPart2 стандартовMPEG-4). Первая разработка данного стандарта была опубликована в 1999 г., а его полномасштабное внедрение ожидается в ближайшее время.

Как и стандарт кодирования MPEG-2 система кодированияMPEG-4 представляет собой набор технических инструментов компрессии оцифрованной информации, организованных в профили, число которых достигает 20. В системе сжатияMPEG-4 используются несколько новых приемов кодирования на основе объектно-базового принципа, что обеспечивает уже в настоящее время более чем двукратное повышение степени сжатия по сравнению сMPEG-2. Таким образом, стандартMPEG-4Visualпредназначен для непосредственного использования в системах ТВЧ.

Например, в случае применения стандарта MPEG-4Visualвысококачественная передача одной телевизионной программы стандартной четкости осуществляется при скорости потока данных фактически равной 2…2,5 Мбит/с, а программы ТВЧ при скорости 4…8 Мбит/с.

Функционирование объектно-базовой системы кодирования осуществляется посредством разделения изображения на специфические объекты (сегменты), каждый из которых можно кодировать разными способами. Например, из изображения выделяются участки человеческого лица, что потребует больше деталей, и участки заднего фона, которые можно дать с меньшим числом деталей. Таким способом только некоторые детали изображения (которые реально выиграют от этого) следует передавать с более плотным потоком бит (в Мбит/с). Если сегментацию сложных сцен выполнить эффективно, то можно получить заметное снижение общей скорости потока данных.

Стандарт сжатия MPEG-4 может использоваться для организации видеоконференций при передаче видеоданных по цифровым телефонным каналам. Этот стандарт может также применяться в низкоскоростных системах мультимедиа.

Стандарт MPEG-4 определяет различные виды аудиовизуальных объектов и способы их описания и кодирования. Например, стандарт MPEG-4 Visual позволяет кодировать не только прямоугольные видеокадры. Объектно-ориентированное кодирование, вводимое системой MPEG-4, во-первых, дает более эффективное сжатие потока данных, а, во-вторых, позволяет создавать принципиально новые способы производства мультиме­дийных программ. Другая важная особенность MPEG-4 – введение механизма, позволяющего ор­ганизовать защиту авторских прав на интеллектуальную собственность.

В ходе дальнейшей разработки данного стандарта стало ясно, что заложенные в нем принципы кодирования значительно мощнее, чем только кодирование на сверхнизких скоростях. Предел сверху скорости цифрового потока был расширен сначала до 10 Мбит/с, а затем до 38 Мбит/с и ведется работа по его дальнейшему расширению.

С целью реализации более эффективных способов сжатия видеоданных по сравнению со стандартом MPEG-4Visualв 2003 году был разработанстандарт нового поколения видеокомпрессии MPEG-4 AVC(Advanced Video Coding – «продвинутое кодирование видео»),известный также под названием MPEG-4 Part 10(ISO/IEC14496Part10) или Н.264 (по классификацииITU–InternationalTelecommunicationsUnion, то есть МСЭ – Международного союза электросвязи). Окончательные этапы развития стандарта Н.264 были осуществлены объединенной командой по видео (JointVideoTeam), состоящей из экспертовMPEGиVCEG(VideoCodingExpertsGroup– рабочей группой МСЭ), которая функционирует во многом подобно группеMPEG. Таким образом, окончательная редакция данного стандарта видеокомпрессии была опубликована под совместным патронажемISO/IECиITU.

Стандарты компрессии MPEG-4VisualиH.264 имеют общее происхождение и многие схожие черты, так как они были разработаны на основе более раннего стандарта сжатияMPEG-2. Однако они развивают его в существенно различных направлениях.

Например, стандарт MPEG-4Visualявляется более гибким. При его разработке предполагалась возможность его использования в различных мультимедийных приложениях.

Цель разработки стандарта сжатия Н.264, поддерживающего всего три профиля, имела более прагматический характер. Основными сферами его применения являются – цифровое телевизионное вещание, устройства хранения визуальной информации, системы передачи потокового видео. Зато он обеспечивает более эффективные механизмы компрессии прямоугольных видеокадров. Например, использование стандарта Н.264 совместно со способом обработки аудиоданных ААС позволяет уменьшить скорость потока данных в системе цифрового наземного телевизионного вещания при передаче одной программы стандартной четкости до 1,5 Мбит/с.

К настоящему времени разработано приложение к стандарту Н.264/AVC, обеспечивающее многоракурсное видеокодирование (MVC – Multiview Video Coding), в котором применяетсямежракурсное предсказание для устранения статистической избыточности. Благодаря усовершенствованию технологии отображения телевизионных изображений, многоракурсное видео становится востребованным у телезрителей, так как расширяет визуальное впечатление о рассматриваемых объектах за счет возможности интерактивного выбора точки наблюдения.

Система видеокомпрессии MVC стандартизована как приложение 4 к части 10 стандарта MPEG-4 (MPEG-4 Part 10 Appendix 4).

Стремительный рост потока видеоинформации определяет появление и развитие новых мультимедийных и коммуникационных приложений. Следствием этого является потребность в разработке более эффективных стандартов видеокомпрессии (с более высоким значением коэффициента сжатия).

Дальнейшее расширение вычислительных возможностей аппаратных средств устройств видеокомпрессии позволило разработать проект нового стандарта Н.265/HEVC (High Efficiency Video Coding – «высокоэффективное видеокодирование»), являющегося логическим развитием стандарта Н.264/AVC. Эксперты MPEG и VCEG заняты в настоящее время принятием решения по элементам нового стандарта, которые, как предполагается, наполовину уменьшат скорость битового потока по сравнению с предыдущими наилучшими вариантами решений при сопоставимом качестве воспроизводимых изображений.

В разрабатываемом стандарте H.265/HEVCпредложено использовать следующие механизмы видеокомпрессии:

• Предсказание с компенсацией движения с высоким разрешением. Разрешение вектора движения увеличено от обычно используемого 1/4 пикселя до 1/8 пикселя, что особенно эффективно для видеопоследовательностей с низким разрешением.

• Адаптивный выбор матрицы квантования(Adaptive Quantization Matrix Selection – AQMS). Матрица квантования формируется в процессе работы или выбирается из заранее определенной группы вариантов на уровне макроблока. Выбор основан на критерии R-D (Rate-Distortion, сжатие-ошибка), значение которого фиксируется в битовом потоке.

• Адаптивное кодирование ошибки предсказания(AdaptivePredictionErrorCoding–APEC). При повышении точности предсказания корреляция остаточных сигналов уменьшается, поэтому преобразование иногда становится неэффективным для уплотнения энергии. АРЕС позволяет кодировать остаточные данные в области преобразования или в пространственной области с принятием решения и сигнализацией вниз на уровень блока преобразования.

• Увеличение размеров блока для предсказания с компенсацией движения и преобразования. Размер макроблока увеличивается до 3232 или 6464 пикселей. Принято также 2D-преобразование 16 порядка для остаточных блоков, формируемых устройством компенсации движения, больших или равных 1616 пикселей.

• Конкурентное предсказание векторов движения. Вместо одного отдельного модуля предсказания вектора движения (как в стандарте Н.264/AVС), наборы пространственных, временных и пространственно-временных модулей предсказания конкурируют друг с другом; выигрывает модуль предсказания с наилучшими характеристиками критерия R-D.

• Адаптивный интерполяционный фильтр (Adaptive Interpolation Filter – AIF). Коэффициенты AIF (его импульсная характеристика) уточняются на уровне изображения и кодируются как дополнительная информация.

• Направленное преобразование, зависящее от режима (Mode-DependentDirectionalTransform– MDDT). Для режимов внутрикадрового предсказания с сильно выраженной направленностью соответствующие преобразования MDDT вычисляют с помощью сверхточногоwaveletили Карунена-Лоэва преобразования для обозначения высокого уровня энергии вдоль указанных направлений. Причем тип преобразованияMDDTпривязывается к выбранному режиму внутрикадрового предсказания.

С появлением стандартов сжатия MPEG-4 Visual и Н.264 роль стандарта компрессии MPEG-2 в настоящее время не уменьшилась, так как данные стандарты во многом совместимы, особенно это относится к информационным магистралям. На сегодня в ряде стран стандарт сжатия MPEG-2 является для вещания фактически основным, на функционировании которого основаны работа наземных систем цифрового телевидения DVB-T.

Вследствие того, что большинство используемых ныне абонентских приставок (STB) поддерживают стандарт MPEG-2, он, по крайней мере, в течение нескольких последующих лет останется широко распространенным.

Группа MPEGсейчас работает над следующим стандартом –MPEG-7, который будет полностью отличаться от других стандартов этого ряда.Стандарт MPEG-7 называется«Интерфейс описания мультимедийного контента», то есть он должен стандартизовать набор дескрипторов, пригодный для описания различной мультимедийной продукции.MPEG-7 является стандартом описания аудиовидеоинформации, выходящей за рамки традиционного документа; в данные звука и изображения будут включены аналитические характеристики. СтандартMPEG-7 обеспечит этикетирование содержания программного материала, позволяющее эффективно выполнять поиск нужного пакета данных на основе текстовых дескрипторов, что может быть полезным в будущих системах телевизионного вещания.

Стандарт MPEG-7, дополняяMPEG-4Visual, определяет такое описание аудиовизуальных объектов, которое позволяет идентифицировать передаваемые изображения и звуковое сопровождение без декодирования потока данных. Это важное свойство, позволяющее создавать базы и архивы данных для хранения как телефильмов, так и других телепрограмм вкомпрессированной форме. Именно появление стандартов MPEG-4 Visual и MPEG-7создает реальные возможности для быстрого развития интерактивных служб цифрового телевидения, а также для конвергенции и интеграции цифрового телевидения и Интернета.

Основными областями применения стандарта MPEG-7 будут системы телевизионного вещания, описание аудиовизуальных архивов, срав­нение медицинских снимков для диагностики в системах телемедицины и др.

К настоящему времени известны и другие способы компрессии аудиовидеоданных. Например, компания Microsoftпредложила собственный стандарт сжатияWindows Media Series 9(WM9) илиVideo Coding1 (VC-1), называемый также (Corona), который базируется на исходном стандартеMPEG-4Visual. Новый стандарт компрессии, альтернативный Н.264, позволяет осуществлять телевизионное эфирное, кабельное и спутниковое вещание со скоростями потока данных менее 3 Мбит/с на одну программу, обеспечивает высококачественную запись видеоинформации на оптические и магнитные носители, а также передачу видеоинформации по сетямInternet. Одним из существенных преимуществ кодеков данного стандарта является непосредственная возможность работы с чересстрочной разверткой без преобразования в прогрессивную.

Корпорация BBC(BritishBroadcastingCorporation– Британская радиовещательная корпорация) пошла по пути создания собственного кодека сжатияDiracна основеоткрытой технологии с использованием Wavelet(маленькая волна) –функций, то естьWavelet-преобразования, и архитектуры на базе длинных групп видеокадров.Dirac– это гибридный видеокодек с компенсацией движения, соответствующий стандартамMPEG. Движение объектов в изображении отслеживается, а полученная информация используется для формирования предсказания последующего кадра, которое квантуется и подвергается статистическому кодированию.

Термин «гибридный» отражает тот факт, что используются как преобразование, так и компенсация движения, благодаря которой устраняется временнáя избыточность. Система с компенсацией движения отличается применением перекрывающихся блоков, позволяющих отказаться от фильтров подавления блочного шума. При этом достигается высокая эффективность компрессии, в 2,5 раза превышающая коэффициент компрессии кодека стандарта Н.264 [21].

В научно-исследовательском институте телевидения (НИИТ, г. Санкт-Петербург) разработана национальная система видеокомпрессии RVC(Russian Video Coding – российская система видеокодирования), способная заменить MPEG-4. Кодек RVC-1.2, построенный на основе единого механизма декорреляции (трехмерного дискретно-косинусного преобразования – 3D-DCT), отличается адаптивностью и высокой эффективностью, поэтому может использоваться в самых различных системах: вещательных и прикладных телевизионных стандартной и высокой четкости, видеоконференцсвязи, медицинских и дистанционного обучения. Сравнительный анализ качества изображения в системах с кодеком RVC-1.2 и Н.264 показал, что первый обеспечивает в полтора-два раза меньшую скорость цифрового потока видеоданных высокой четкости при одинаковом уровне качества. Видеокодек RVC-1.2, предложенный НИИТ, прост в реализации и требует гораздо меньшее количество вычислительных операций. Международная презентация российской системы видеокодировании состоялась в сентябре 2010 г.

Базовые принципы видеокомпрессии достаточно глубоко изложены в описании стандарта MPEG-2. Поэтому с методической точки зрения при углубленном изучении техники цифрового телевидения очень важным является детальное изучение стандарта видеокомпрессии MPEG-2, которое одновременно дает хорошее начальное понимание ключевых моментов функционирования стандартов видеокомпрессии более высокого уровня.