123

3.1. Задача сжатия информации и пути ее решения

3. Практическое использование видеокомпрессии в телевидении

3.1. Задача сжатия информации и пути ее решения

Одной из важнейших практических задач в области цифрового телевидения является задача сокращения скорости передачи двоичных символов и, соответственно, требуемой полосы частот канала связи. Эта задача может быть решена путем уменьшения избыточности информации, передаваемой в телевизионном сигнале без заметного для глаза ухудшения качества воспроизводимого телевизионного изображения. Уменьшение избыточности обеспечивает также сокращение требуемого объема памяти запоминающих устройств при записи телевизионных программ, видеофрагментов или отдельных изображений.

В соответствии с установившейся в технической литературе терминологией уменьшение объема передаваемой телевизионной информации в большинстве случаев называется сжатием видеоинформации, а также сжатием изображений, сжатием звуковых сигналов, сжатием речи. В англоязычной литературе используется термин compression, и вместо слова сжатие возможно использовать слово компрессия. А обратная операция называется декомпрессией. Таким образом, основной целью видеокомпрессии является более компактное представление изображений с информационной точки зрения.

Следует также иметь в виду, что сравнительно часто вместо терминов «сжатие» («компрессия») или «декомпрессия» используются соответственно термины «кодирование» и «декодирование». Это соответствует терминологии стандартов Международной организации по стандартизации (ISO – International Standardization Organization) (encoding, decoding), но следует всегда понимать, что имеется в виду. Например, в процессе сжатия (то есть кодирования) выполняется несколько разных по сущности операций, некоторые из которых, взятые сами по себе, также называются кодированием.

Избыточность телевизионного сигнала разделяется на структурную, статистическую и психофизиологическую.

Структурная избыточность связана с наличием в стандартном телевизионном сигнале гасящих импульсов, во время которых информация об изображении не передается. Структурная избыточность телевизионного сигнала может быть уменьшена путем передачи во время гасящих импульсов какой-либо другой полезной информации, например, сигналов звукового сопровождения. Однако большого выигрыша это не дает.

Статистическая избыточность вызывается наличием корреляционных связей между значениями сигнала в соседних элементах одной строки, в соседних строках и в соседних кадрах. Наглядно можно представить себе смысл статистической избыточности как наличие повторяемости информации в следующих друг за другом кадрах. Одним из наиболее известных методов сокращения статистической избыточности является кодирование с предсказанием или дифференциальная импульсно-кодовая модуляция (ДИКМ). В ряде стандартов сжатия кодирование с предсказанием является одним из основных инструментов устранения избыточности. При этом для большинства кадров передается не само изображение, а так называемая ошибка предсказания – разность действительного изображения данного кадра и предсказанного изображения этого же кадра, которое формируется по известным алгоритмам из изображений ранее переданных кадров. Так как большинство кадров телевизионного изображения в значительной степени повторяют предыдущие, ошибка предсказания содержит значительно меньший объем информации, чем действительное изображение.

Психофизиологическая или перцептуальная избыточность телевизионного сигнала определяется той информацией в нем, которая не воспринимается зрительным аппаратом человека и, следовательно, могла бы и не передаваться. Психофизиологическая избыточность может быть устранена за счет удаления из передаваемого сигнала информации, отсутствие которой существенно не влияет на восприятие изображения человеком.

Мощным средством сокращения избыточности является кодирование с преобразованием, при котором набор статистически зависимых отсчетов изображения во временнóй области преобразуется в набор независимых коэффициентов в спектральной области. Разложение производится по ортогональным базисным функциям, различным для разных преобразований. При удачном выборе вида преобразования энергия в спектральной области сосредотачивается вблизи низкочастотных компонент спектра, а коэффициенты в высокочастотной области оказываются малыми или вообще нулевыми.

К наиболее широко распространенным и глубоко исследованным относится, в частности, дискретно-косинусное преобразование (ДКП).

Дальнейшее сокращение избыточности получается благодаря переходу от поэлементного к групповому преобразованию, когда телевизионное изображение разбивается на отдельные участки и производится кодирование сразу группы элементов, составляющих участок. По принципу группового кодирования функционирует, например, ДКП.

Применение совокупности различных способов сжатия информации, заключенной в телевизионном изображении, позволяет не только передавать цифровой сигнал, соответствующий телевизионному изображению стандартной четкости, по эфирным каналам системы телевизионного вещания, но и реализовать одновременную передачу по этим радиоканалам цифровых сигналов нескольких телевизионных программ, а также организовать передачу сигналов усовершенствованных систем ТВЧ.

Методы сжатия изображений можно разделить на два класса: методы сжатия без потерь информации и методы сжатия с частичной потерей информации. При сжатии без потерь после декомпрессии восстанавливается изображение, идентичное исходному.

Возможности сжатия реальных цветных или полутоновых черно-белых изображений без потерь весьма ограничены. Гораздо большего эффекта позволяют достичь методы сжатия с частичной потерей информации, но без заметного ухудшения визуально-воспринимаемого качества декодированных изображений.

Сжатие необходимо и для передачи в цифровой форме сигналов звукового сопровождения. Расчеты показывают, что при частоте дискретизации 48 кГц и 16 разрядах АЦП скорость передачи двоичных символов составляет 0,768 Мбит/с на один звуковой канал. Методы сжатия звука, используемые на практике, основаны на учете свойств человеческого слуха и относятся к методам сжатия с частичной потерей информации. При сжатии отбрасывается значительная часть слуховой информации, но качество воспроизводимого звука остается достаточно высоким. Следовательно, сжатие достигается в основном за счет уменьшения психофизиологической избыточности.

Практическими вопросами сжатия аудиовизуальной информации и выпуском соответствующих стандартов и рекомендаций занимается MPEG (Motion Pictures Experts Group) – созданная в 1988 г. организация, объединяющая представителей фирм – производителей оборудования и научных институтов разных стран. MPEG представляет собой подкомитет двух международных организаций – ISO и Международной электротехнической комиссии (IEC – International Electrotechnical Commission).

Одна из основных задач группы MPEG состояла в изучении проблемы и разработке стандарта на компрессию цифрового телевизионного сигнала, что позволило предложить способы записи или передачи сигналов изображения и звука посредством возможно меньшего числа данных с возможно лучшим качеством.

Международный стандарт кодирования с информационным сжатием MPEG-2 (также известный как ISO/IEC-13818) был специально разработан для кодирования телевизионных сигналов систем вещательного телевидения в 1996 г. и дополнялся в последующие годы. Особо следует отметить, что стандарт MPEG-2 предусматривает возможность перехода к ТВЧ.

Стандарт MPEG-2 к настоящему времени насчитывает уже 10 частей, первая из которых была представлена к стандартизации в 1994 году, а последняя – в 1999 году.

Среди 10 составных частей стандарта MPEG-2 можно выделить три основных: 13818-1 – системную, 13818-2 – видео и 13818-3 – звуковую.

Системная часть описывает форматы кодирования для мультиплексирования звуковой, видео- и другой информации, рассматривает вопросы комбинирования одного или более потоков данных в один или множество потоков, пригодных для хранения или передачи. Системное кодирование в соответствии с синтаксическими и семантическими правилами, налагаемыми данным стандартом, обеспечивает необходимую и достаточную информацию, чтобы синхронизировать декодирование без переполнения или «недополнения» буферов кодера при различных условиях приема или восстановления потоков. Таким образом, системный уровень выполняет пять основных функций:

• синхронизация нескольких сжатых потоков при воспроизведении;

• объединение нескольких сжатых потоков в единый поток;

• инициализация для начала воспроизведения;

• обслуживание буфера;

• определение временнóй шкалы.

Спецификация видеочасти (13818-2) регламентирует кодовое представление и процесс декодирования, обеспечивающий воспроизведение компрессированных телевизионных изображений. Видеочасть предполагает сжатие потока видеоданных за счет устранения пространственной и временнóй избыточности, присущих телевизионному изображению. Устранение пространственной избыточности основывается на использовании ДКП, временнóй – на дифференциальном кодировании с компенсацией движения. Но процедура кодирования не регламентируется стандартом, что оставляет возможности для совершенствования кодеров и улучшения качества воспроизводимого изображения.

Звуковая часть стандарта MPEG-2 (13818-3) определяет возможное кодирование многоканального звука.

Важнейшая особенность стандарта MPEG-2 – представление сигналов телевизионного изображения и звука в форме, задаваемой спецификациями 13818-1 – 13818-3, позволяет обращаться с видео и звуковыми потоками как с потоками компьютерных данных, которые могут записываться на самые разные носители информации, передаваться и приниматься с использованием каналов связи и сетей телекоммуникаций, которые существуют сегодня и появятся в будущем.

С принятием стандарта MPEG-2 работы по компрессии видеоданных перешли в область практической реализации. На данный момент можно назвать более 10 фирм, которые выпускают для продажи кодеры и декодеры по стандарту MPEG-2. Наиболее известны из них Philips, Panasonic, Page Micro Technology, CLJ Communications, Wegener Communications, Scientific-Atlanta, NTL, Segem Group, NEC, Vistek, General Instruments и др.

Транспортный поток MPEG-2 допускает вместе со звуковыми и видео потоками цифровых программ также потоки, содержащие любую другую цифровую информацию.

Фактически успех цифрового телевидения и DVD-видео основан на использовании стандарта MPEG-2, первые версии которого были разработаны практически пятнадцать лет назад. В течение нескольких лет стандарт MPEG-2 постоянно улучшался. Заложенная в данном стандарте технология видеокомпрессии доказала свою эффективность, но в настоящее время она является уже заметно устаревшей. Сегодня стандарт MPEG-2 подошел к границам своих возможностей. Пришло время заменить способы видеосжатия, на которых основывается стандарт MPEG-2, более эффективной и продвинутой технологией, воспользовавшись преимуществами непрерывного прогресса в производстве процессоров.

Другой важнейшей разработкой группы MPEG является стандарт компрессии MPEG-4, визуальная часть которого получила название MPEG-4 Visual (группы Part 2 стандартов MPEG-4). Первая разработка данного стандарта была опубликована в 1999 г., а его полномасштабное внедрение ожидается в ближайшее время.

Как и стандарт кодирования MPEG-2 система кодирования MPEG-4 представляет собой набор технических инструментов компрессии оцифрованной информации, организованных в профили, число которых достигает 20. В системе сжатия MPEG-4 используются несколько новых приемов кодирования на основе объектно-базового принципа, что обеспечивает уже в настоящее время более чем двукратное повышение степени сжатия по сравнению с MPEG-2. Таким образом, стандарт MPEG-4 Visual предназначен для непосредственного использования в системах ТВЧ.

Например, в случае применения стандарта MPEG-4 Visual высококачественная передача одной телевизионной программы стандартной четкости осуществляется при скорости потока данных фактически равной 2…2,5 Мбит/с, а программы ТВЧ при скорости 4…8 Мбит/с.

Функционирование объектно-базовой системы кодирования осуществляется посредством разделения изображения на специфические объекты (сегменты), каждый из которых можно кодировать разными способами. Например, из изображения выделяются участки человеческого лица, что потребует больше деталей, и участки заднего фона, которые можно дать с меньшим числом деталей. Таким способом только некоторые детали изображения (которые реально выиграют от этого) следует передавать с более плотным потоком бит (в Мбит/с). Если сегментацию сложных сцен выполнить эффективно, то можно получить заметное снижение общей скорости потока данных.

Стандарт сжатия MPEG-4 может использоваться для организации видеоконференций при передаче видеоданных по цифровым телефонным каналам. Этот стандарт может также применяться в низкоскоростных системах мультимедиа.

Стандарт MPEG-4 определяет различные виды аудиовизуальных объектов и способы их описания и кодирования. Например, стандарт MPEG-4 Visual позволяет кодировать не только прямоугольные видеокадры. Объектно-ориентированное кодирование, вводимое системой MPEG-4, во-первых, дает более эффективное сжатие потока данных, а, во-вторых, позволяет создавать принципиально новые способы производства мультиме­дийных программ. Другая важная особенность MPEG-4 – введение механизма, позволяющего ор­ганизовать защиту авторских прав на интеллектуальную собственность.

В ходе дальнейшей разработки данного стандарта стало ясно, что заложенные в нем принципы кодирования значительно мощнее, чем только кодирование на сверхнизких скоростях. Предел сверху скорости цифрового потока был расширен сначала до 10 Мбит/с, а затем до 38 Мбит/с и ведется работа по его дальнейшему расширению.

С целью реализации более эффективных способов сжатия видеоданных по сравнению со стандартом MPEG-4 Visual в 2003 году был разработан стандарт нового поколения видеокомпрессии MPEG-4 AVC (Advanced Video Coding – «продвинутое кодирование видео»), известный также под названием MPEG-4 Part 10 (ISO/IEC 14496 Part 10) или Н.264 (по классификации ITU – International Telecommunications Union, то есть МСЭ – Международного союза электросвязи). Окончательные этапы развития стандарта Н.264 были осуществлены объединенной командой по видео (Joint Video Team), состоящей из экспертов MPEG и VCEG (Video Coding Experts Group – рабочей группой МСЭ), которая функционирует во многом подобно группе MPEG. Таким образом, окончательная редакция данного стандарта видеокомпрессии была опубликована под совместным патронажем ISO/IEC и ITU.

Стандарты компрессии MPEG-4 Visual и H.264 имеют общее происхождение и многие схожие черты, так как они были разработаны на основе более раннего стандарта сжатия MPEG-2. Однако они развивают его в существенно различных направлениях.

Например, стандарт MPEG-4 Visual является более гибким. При его разработке предполагалась возможность его использования в различных мультимедийных приложениях.

Цель разработки стандарта сжатия Н.264, поддерживающего всего три профиля, имела более прагматический характер. Основными сферами его применения являются – цифровое телевизионное вещание, устройства хранения визуальной информации, системы передачи потокового видео. Зато он обеспечивает более эффективные механизмы компрессии прямоугольных видеокадров. Например, использование стандарта Н.264 совместно со способом обработки аудиоданных ААС позволяет уменьшить скорость потока данных в системе цифрового наземного телевизионного вещания при передаче одной программы стандартной четкости до 1,5 Мбит/с.

К настоящему времени разработано приложение к стандарту Н.264/AVC, обеспечивающее многоракурсное видеокодирование (MVC – Multiview Video Coding), в котором применяется межракурсное предсказание для устранения статистической избыточности. Благодаря усовершенствованию технологии отображения телевизионных изображений, многоракурсное видео становится востребованным у телезрителей, так как расширяет визуальное впечатление о рассматриваемых объектах за счет возможности интерактивного выбора точки наблюдения.

Система видеокомпрессии MVC стандартизована как приложение 4 к части 10 стандарта MPEG-4 (MPEG-4 Part 10 Appendix 4).

Стремительный рост потока видеоинформации определяет появление и развитие новых мультимедийных и коммуникационных приложений. Следствием этого является потребность в разработке более эффективных стандартов видеокомпрессии (с более высоким значением коэффициента сжатия).

Дальнейшее расширение вычислительных возможностей аппаратных средств устройств видеокомпрессии позволило разработать проект нового стандарта Н.265/HEVC (High Efficiency Video Coding – «высокоэффективное видеокодирование»), являющегося логическим развитием стандарта Н.264/AVC. Эксперты MPEG и VCEG заняты в настоящее время принятием решения по элементам нового стандарта, которые, как предполагается, наполовину уменьшат скорость битового потока по сравнению с предыдущими наилучшими вариантами решений при сопоставимом качестве воспроизводимых изображений.

В разрабатываемом стандарте H.265/HEVC предложено использовать следующие механизмы видеокомпрессии:

• Предсказание с компенсацией движения с высоким разрешением. Разрешение вектора движения увеличено от обычно используемого 1/4 пикселя до 1/8 пикселя, что особенно эффективно для видеопоследовательностей с низким разрешением.

• Адаптивный выбор матрицы квантования (Adaptive Quantization Matrix Selection – AQMS). Матрица квантования формируется в процессе работы или выбирается из заранее определенной группы вариантов на уровне макроблока. Выбор основан на критерии R-D (Rate-Distortion, сжатие-ошибка), значение которого фиксируется в битовом потоке.

• Адаптивное кодирование ошибки предсказания (Adaptive Prediction Error Coding – APEC). При повышении точности предсказания корреляция остаточных сигналов уменьшается, поэтому преобразование иногда становится неэффективным для уплотнения энергии. АРЕС позволяет кодировать остаточные данные в области преобразования или в пространственной области с принятием решения и сигнализацией вниз на уровень блока преобразования.

• Увеличение размеров блока для предсказания с компенсацией движения и преобразования. Размер макроблока увеличивается до 3232 или 6464 пикселей. Принято также 2D-преобразование 16 порядка для остаточных блоков, формируемых устройством компенсации движения, больших или равных 1616 пикселей.

• Конкурентное предсказание векторов движения. Вместо одного отдельного модуля предсказания вектора движения (как в стандарте Н.264/AVС), наборы пространственных, временных и пространственно-временных модулей предсказания конкурируют друг с другом; выигрывает модуль предсказания с наилучшими характеристиками критерия R-D.

• Адаптивный интерполяционный фильтр (Adaptive Interpolation Filter – AIF). Коэффициенты AIF (его импульсная характеристика) уточняются на уровне изображения и кодируются как дополнительная информация.

• Направленное преобразование, зависящее от режима (Mode-Dependent Directional Transform – MDDT). Для режимов внутрикадрового предсказания с сильно выраженной направленностью соответствующие преобразования MDDT вычисляют с помощью сверхточного wavelet или Карунена-Лоэва преобразования для обозначения высокого уровня энергии вдоль указанных направлений. Причем тип преобразования MDDT привязывается к выбранному режиму внутрикадрового предсказания.

С появлением стандартов сжатия MPEG-4 Visual и Н.264 роль стандарта компрессии MPEG-2 в настоящее время не уменьшилась, так как данные стандарты во многом совместимы, особенно это относится к информационным магистралям. На сегодня в ряде стран стандарт сжатия MPEG-2 является для вещания фактически основным, на функционировании которого основаны работа наземных систем цифрового телевидения DVB-T.

Вследствие того, что большинство используемых ныне абонентских приставок (STB) поддерживают стандарт MPEG-2, он, по крайней мере, в течение нескольких последующих лет останется широко распространенным.

Группа MPEG сейчас работает над следующим стандартом – MPEG-7, который будет полностью отличаться от других стандартов этого ряда. Стандарт MPEG-7 называется «Интерфейс описания мультимедийного контента», то есть он должен стандартизовать набор дескрипторов, пригодный для описания различной мультимедийной продукции. MPEG-7 является стандартом описания аудиовидеоинформации, выходящей за рамки традиционного документа; в данные звука и изображения будут включены аналитические характеристики. Стандарт MPEG-7 обеспечит этикетирование содержания программного материала, позволяющее эффективно выполнять поиск нужного пакета данных на основе текстовых дескрипторов, что может быть полезным в будущих системах телевизионного вещания.

Стандарт MPEG-7, дополняя MPEG-4 Visual, определяет такое описание аудиовизуальных объектов, которое позволяет идентифицировать передаваемые изображения и звуковое сопровождение без декодирования потока данных. Это важное свойство, позволяющее создавать базы и архивы данных для хранения как телефильмов, так и других телепрограмм в компрессированной форме. Именно появление стандартов MPEG-4 Visual и MPEG-7 создает реальные возможности для быстрого развития интерактивных служб цифрового телевидения, а также для конвергенции и интеграции цифрового телевидения и Интернета.

Основными областями применения стандарта MPEG-7 будут системы телевизионного вещания, описание аудиовизуальных архивов, срав­нение медицинских снимков для диагностики в системах телемедицины и др.

К настоящему времени известны и другие способы компрессии аудиовидеоданных. Например, компания Microsoft предложила собственный стандарт сжатия Windows Media Series 9 (WM9) или Video Coding 1 (VC-1), называемый также (Corona), который базируется на исходном стандарте MPEG-4 Visual. Новый стандарт компрессии, альтернативный Н.264, позволяет осуществлять телевизионное эфирное, кабельное и спутниковое вещание со скоростями потока данных менее 3 Мбит/с на одну программу, обеспечивает высококачественную запись видеоинформации на оптические и магнитные носители, а также передачу видеоинформации по сетям Internet. Одним из существенных преимуществ кодеков данного стандарта является непосредственная возможность работы с чересстрочной разверткой без преобразования в прогрессивную.

Корпорация BBC (British Broadcasting Corporation – Британская радиовещательная корпорация) пошла по пути создания собственного кодека сжатия Dirac на основе открытой технологии с использованием Wavelet (маленькая волна) – функций, то есть Wavelet-преобразования, и архитектуры на базе длинных групп видеокадров. Dirac – это гибридный видеокодек с компенсацией движения, соответствующий стандартам MPEG. Движение объектов в изображении отслеживается, а полученная информация используется для формирования предсказания последующего кадра, которое квантуется и подвергается статистическому кодированию.

Термин «гибридный» отражает тот факт, что используются как преобразование, так и компенсация движения, благодаря которой устраняется временнáя избыточность. Система с компенсацией движения отличается применением перекрывающихся блоков, позволяющих отказаться от фильтров подавления блочного шума. При этом достигается высокая эффективность компрессии, в 2,5 раза превышающая коэффициент компрессии кодека стандарта Н.264 [21].

В научно-исследовательском институте телевидения (НИИТ, г. Санкт-Петербург) разработана национальная система видеокомпрессии RVC (Russian Video Coding – российская система видеокодирования), способная заменить MPEG-4. Кодек RVC-1.2, построенный на основе единого механизма декорреляции (трехмерного дискретно-косинусного преобразования – 3D-DCT), отличается адаптивностью и высокой эффективностью, поэтому может использоваться в самых различных системах: вещательных и прикладных телевизионных стандартной и высокой четкости, видеоконференцсвязи, медицинских и дистанционного обучения. Сравнительный анализ качества изображения в системах с кодеком RVC-1.2 и Н.264 показал, что первый обеспечивает в полтора-два раза меньшую скорость цифрового потока видеоданных высокой четкости при одинаковом уровне качества. Видеокодек RVC-1.2, предложенный НИИТ, прост в реализации и требует гораздо меньшее количество вычислительных операций. Международная презентация российской системы видеокодировании состоялась в сентябре 2010 г.

Базовые принципы видеокомпрессии достаточно глубоко изложены в описании стандарта MPEG-2. Поэтому с методической точки зрения при углубленном изучении техники цифрового телевидения очень важным является детальное изучение стандарта видеокомпрессии MPEG-2, которое одновременно дает хорошее начальное понимание ключевых моментов функционирования стандартов видеокомпрессии более высокого уровня.