3.2.2. Компрессия видеоданных

Телевизионный сигнал, как известно, избыточен, что обусловлено значительной избыточностью изображений, типичных для телевизионного вещания. В общем случае бóльшая часть изображения любого телевизионного кадра обычно приходится на участки, имеющие постоянную или мало меняющуюся в пространстве яркость, а резкие световые переходы и детали малых размеров занимают небольшую долю площади изображения. Коэффициент корреляции соседних элементов изображения, описывающий статистическую связь между яркостями этих элементов, близок к 1. Зная яркость одного элемента, можно с высокой степенью вероятности предсказать яркость соседнего, например, полагая их просто равными. Такого рода избыточность можно назвать пространственной избыточностью изображения.

Изображения соседних кадров в телевидении обычно очень похожи друг на друга, даже при показе движущихся объектов. Переходы от сюжета к сюжету встречаются редко. Межкадровая разностьна значительной части площади изображения обычно близка к нулю. Зная распределение яркости в одном кадре, можно с высокой степенью уверенности предсказать распределение яркости следующего кадра. Эта предсказуемость указывает навременнýю избыточность изображения.

Пространственная и временнáя формы избыточности связаны со статистическими свойствами телевизионных изображений.

Таким образом, в телевидении различают статистическую избыточность, избыточность по восприятию, структурную и спектральную избыточность. По теории вероятностей избыточность является следствием определенных корреляционных связей.Корреляцияозначает, что некоторый элемент изображения более или менее существенно зависит от соседей в пространстве и во времени. Под статистической избыточностью понимают корреляционные связи между соседними (по вертикали и горизонтали) отсчетами телевизионного сигнала. Необходимо подчеркнуть, что снижение избыточности в этом случае до определенных пределов обратимо, то есть без потерь информации. Примером такого«беспроигрышного»кодирования служит предсказание на основе ДКП. Можно назвать и другие разностные методы.

Избыточность по восприятию связана с особенностями зрения человека. Например, цветовое разрешение нашего зрения ниже яркостного. Эта особенность учтена во всех стандартных аналоговых системах цветового кодирования. В совместимых системах вещательного телевидения NTSC, PAL и SECAM цветовое разрешение существенно понижено по отношению к яркостному. Тоже самое зафиксировано в цифровом стандарте 4:2:2, где, по определению, две цветоразностные компоненты представлены таким же по объему информационным массивом, что и один яркостный сигнал.

Учитывая эту особенность нашего зрения по восприятию мелких деталей цветного изображения, можно в несколько раз сократить полосу частот при передаче и кодировании сигналов цветности.

Структурная избыточность– итог особенностей стандарта разложения или, по иному, преобразования изображения в телевизионный сигнал. В нем, например, периодически передаются неизменные по форме элементы сигнала: гасящие импульсы строк и полей. В цифровом телевизионном сигнале нет необходимости передавать эти импульсы по каналу связи, так как они могут быть восстановлены в декодере по опорным сигналам синхронизации. В цифровом телевидении достаточно передавать только активную часть изображения. В цифровом стандарте 4:2:2 при 10 битах на отсчет устранение из состава цифрового телевизионного сигнала гасящих импульсов строк и полей сокращает скорость передачи данных с270 Мбит/с до 207 Мбит/c, то есть примерно на 23%. Естественно,эта особенность сигнала учтена в стандартеMPEG-2 [23, 24].

Спектральная избыточность проявляется как результат излишка высокой частоты дискретизации. В частности, принятая ортогональная структура дискретизации телевизионного изображения в общем случае не является оптимальной в частотном пространстве. Можно сократить передаваемый цифровой поток, если преобразовать используемую структуру дискретизации в другую, которая характеризуется меньшим числом отсчетов в кадре, например, от формата 4:2:2 перейти к формату 4:2:0 или 4:2:1. Используя интерполяцию и передискретизацию определенным образом выбранных групп отсчетов телевизионного сигнала, можно, в принципе, видоизменить спектральный состав и снизить частоту дискретизации. Такая обработка обычно необратима и, как правило, ведет к некоторому снижению качества восстановленного телевизионного изображения за счет уменьшения его разрешения. В стандарте MPEG-2 этот вид избыточности не устраняется.

Итак, в MPEG-2 применены известные, давно апробированные методы сокращения избыточности. Вместе с ними использованы и новые подходы. В особенности это относится к совокупности согласованных алгоритмов сокращения статистической избыточности. Здесь особо эффективными оказались два метода:кодирование телевизионных отсчетов с предсказанием и ДКП.

Кодирование с предсказанием реализуется с помощью дифференциальной импульсно-кодовой модуляции (ДИКМ). При кодировании с предсказанием вычисляется разность между истинным и предсказанным значением отсчета. Затем разность квантуется по уровню. От точности предсказания зависит среднее число бит, необходимых для передачи разностной информации. Предсказание может быть экстраполяционным. В этом случае (его часто называют предсказанием вперед) по предшествующим значениям отсчетов телевизионного сигнала оцениваются последующие отсчеты. Интерполяционное (двунаправленное) предсказание означает, что оценка среднего по положению отсчета телевизионного сигнала выполняется по известным значениям предшествующих и последующих отсчетов. Такое предсказание наиболее точно оценивает текущие отсчеты. Однако за точность приходится расплачиваться возросшим объемом вычислений и соответственно памяти, необходимой при реализации. При этом эффект не окупает затраты.

Как уже отмечалось, предсказание выполняется по соседним с предсказываемым отсчетам, причем под соседними надо понимать отсчеты, расположенные «до и за»рассматриваемым. К ним надо добавить соседей в предшествующей и последующей строках, полях и кадрах. Таким образом, возможнопострочное,межстрочное,внутриполевое,внутрикадровое,межполевое,меж­кадровоепредсказание. Это полный набор возможных направлений корреляций. Но уже подчеркивалось, что предсказание вдоль отдельной строки по предшествующему и последующему элементу не эффективно. По этому же критерию можно отсеять и некоторые другие возможные направления.

При простейшем внутриполевом предсказании вперед предшествующий отсчет телевизионной строки принимается как ожидаемый уровень последующего отсчета. Фактически это означает вычеркивание постоянной составляющей или, что тоже самое, выделение разностной информации. Такой метод предсказания особенно эффективен, когда передаются крупные, не содержащие мелких деталей, фрагменты изображения, где яркость постоянна или изменяется медленно.

Другой способ – межкадровое предсказание вперед. В этом случае текущий отсчет оценивается по отсчету с теми же координатами, но предыдущего кадра. Это очень эффективный метод предсказания для неподвижных изображений. Ситуация усложняется, когда изображение содержит движущиеся объекты или изменяющиеся в целом. В этом случае отсчеты, принадлежащие однозначным элементам изображения, от кадра к кадру будут смещаться. Возникает разностная информация, даже если в остальном никаких изменений не происходит. Это можно ослабить, если ввести компенсацию движения. Для этого необходимо определитьвекторы перемещения движущихся частей изображения при последовательном переходе от кадра к кадру. Векторы движения позволяют определить положение кодируемого отсчета в новом кадре (скомпенсировать его перемещение) и, таким образом, сохранить высокую точность предсказания.

Таким образом, стандарт MPEG-2 фактически не регламентирует методы сжатия видеосигнала, а только определяет структуру битового потока кодируемого видеосигнала. Поэтому конкретно используемые алгоритмы зависят от собственных разработок фирм-производителей оборудования. При этом ярко выражены общие принципы построения стандартаMPEG-2, в соответствии с которыми процесс сжатия цифрового видеосигнала может быть разбит на ряд последовательных операций: преобразование аналогового сигнала в цифровую форму, предварительная обработка, ДКП, квантование, кодирование (рис. 3.1).

После АЦП производится предварительная обработка сигнала, которая включает в себя следующие преобразования:

1. Удаление избыточной информации. Например, если фон изображения состоит из идентичных символов (пикселей), то совершенно не обязательно их все передавать. Достаточно описать один пиксель и послать его с сообщением о том, как часто и где он повторяется в изображении.

2. Если исходное изображение передается в виде чересстрочных полей, то они преобразуются в кадры с прогрессивной разверткой.

3. Цветоделенные сигналы E_R,E_G, E_Bпреобразуются в цветоразностные сигналыE_R–Y иE_B–Y и сигнал яркостиE_Y.

4. Изображение достраивается до кратного 16 количества пикселей по строкам и столбцам, чтобы обеспечить разбиение изображения на целое число макроблоков.

5. Производится преобразование стандарта цифрового представления телевизионного сигнала 4:4:4 в стандарт 4:2:2 (горизонтальная передискретизация цветоразностных компонентов) или 4:2:0 (горизонтальная и вертикальная передискретизация цветоразностных компонентов).

6. Изображение разбивается на последовательность макроблоков, каждый из которых, в свою очередь, состоит из нескольких блоков размером 88 пикселей. (Исследования проводились по разбиению на блоки размером44,88, 1616 пикселей, которые показали, что разбиение88 является наилучшим компромиссом между точностью преобразования, то есть минимальной среднеквадратичной ошибкой, и необходимым объемом вычислений.) В этом случае каждый блок представляет собой квадратную матрицу, содержащую 64 отсчета телевизионного сигнала и называемую сигнальной. Следовательно,макроблок несет информацию о компонентах яркости определенного участка изображенияи пространственно соответствующих им компонентах цветности. Поэтому любой макроблок состоит из трех прямоугольных матриц, содержащих восьмибитовые отсчеты, а именно: матрицы яркостиY_Dи двух матриц цветностиС_Rи С_B. Цифровые отсчеты матрицY_D, С_Rи С_Bнепосредственно связаны с первичными значениями красного, зеленого и синего (R,G,B) соответствующих точек изображения. Значения первичных цветов гамма – предкорректированы. Причем величина гамма-коэффици­ен­та стандартом не определяется, но обычно находится в диапазоне 2,2…2,8.

Стандартами цифрового кодирования предусматриваются три формата цветности, каждому из которых соответствует свой порядок следования блоков в макроблоке:

4:2:0 – макроблок состоит из шести блоков. Четыре блока, несущие информацию о яркости, образуют матрицу Y_D размером 1616 пикселей. Два блока цветности, определяющие цветоразностные компоненты E_R–Y и E_B–Y, соответствуют матрицам С_R и С_B с размерами 88 пикселей. Причем матрицы цветности С_R и С_B соответствуют области изображения, покрывае-мой матрицей яркости Y_D. Матрицы С_R и С_B в два раза меньше (как по горизонтали, так и по вертикали), чем матрица Y_D. Матрица Y_D должна иметь четное число строк и столбцов (если изображение передается по полям, то количество строк в изображении должно быть кратно четырем). Каждой паре отсчетов цветности С_R и С_B соответствует матрица из четырех отсчетов яркости (два по вертикали, два по горизонтали) (рис. 3.2). Порядок следования блоков в макроблоке формата цветности 4:2:0 следующий:

Y_DС_RС_B

1 2 5 6

3 4 .

4:2:2 – макроблок состоит из восьми блоков. Четыре блока яркости образуют матрицу Y_D. Четыре блока цветности соответствуют матрицамС_Rи С_B, каждая из которых содержит по два блока. Порядок следования блоков в макроблоке в данном случае следующий:

Y_DС_RС_B

1 2 5 6

3 4 7 8.

Матрицы цветности С_Rи С_Bв два раза меньше матрицы яркостиY_Dпо горизонтали и равны по вертикали. МатрицаY_Dдолжна иметь четное число строк и столбцов (если изображение передается по полям, то количество строк в изображении должно быть кратно двум). Каждой паре отсчетов яркости по горизонтали соответствует по одному отсчету из матриц цветностиС_Rи С_B.

Рис. 3.2. Схема разбивки изображения на блоки при реализации формата цветности 4:2:0

4:4:4 – макроблок состоит из двенадцати блоков. Он содержит четыре блока яркости и восемь блоков цветности в следующем порядке:

Y_DС_RС_B

1 2 5 9 6 10

3 4 7 11 8 12.

Матрицы цветности С_Rи С_Bравны по размеру матрице яркостиY_D. Каждому отсчету яркости соответствуют по одному отсчету из матриц цветностиС_Rи С_B. Если изображение передается полями с чересстрочной разверткой, то количество строк в изображении должно быть кратно двум.

Внутренняя организация макроблоков различна при кодировании полей и кадров. Пары полей могут кодироваться как раздельно, так и вместе как единый кадр. При кодировании полей блоки яркости группируются по полям: верхние – из первого полукадра, нижние – из второго. Блоки цветности располагаются в порядке следования кадров для обоих типов кодирования. Два полукадра, составляющие один кадр, всегда следуют один за другим в битовом потоке. При кодировании кадрами чересстрочных изображений каждый кадр набирается из двух полукадров (через строку) и кодируется как единое изображение.

Следующие друг за другом макроблоки объединяют в независимые друг от друга серии (Slice– Слайс).Серия является основным элементом синхронизациидля восстановления данных, составляющих изображение, и обычно состоит из всех блоков в горизонтальном направлении изображения с интервалом 16 строк, то есть имеет толщину в один макроблок. Порядок макроблоков в серии тот же, что и в обычном сканировании растра в телевидении: слева направо и сверху вниз. Представление информации сериями удобно для коррекции ошибок. Когда появляется ошибка в потоке данных, декодер может обратиться к началу следующей серии. Соответственно число таких серий влияет на эффективность передачи. Каждая серия (слайс) должна содержать по крайней мере один макроблок. Первый и последний макроблоки в серии не должны быть пропущенными. Серии не должны перекрываться и не должно быть интервалов между сериями. Положение серий (слайсов) может меняться от изображения к изображению. Первая серия начинается с первого макроблока, а последняя серия заканчивается последним макроблоком изображения. Кадр делится на несколько смежных серий.

7. Производится разбиение потока кадров изображения по типам, для них находятся векторы движения, которые необходимы для повышения предсказуемости величин элементов изображения. Векторы движения обеспечивают компенсацию перемещений в прошедших и последующих кадрах.

8. Для блоков с использованием компенсации движения находятся разностные ошибки предсказания движения.

В соответствии со стандартом MPEG-2 в декодере выполняются декодирование кодов переменной длины, деквантование, обратное ДКП, компенсация движения и восстанавливается исходная последовательность кадров (рис. 3.3).

Д

Рис. 3.3.Структурная схема видеодекодера MPEG-2

екодер содержит буферное запоминающее устройство (БЗУ), демультиплексор (ДМп), декодеры кодов с переменной длиной кодовых слов (ДКПДС), а также деквантователь (ДКв), блок обратного дискретно-коси­нусного преобразования (ОДКП), предсказатель (Пред) и ЗУ, аналогичные соответствующим блокам кодера. Тактовая частота 27 МГц восстанавливается с использованием данных из декодируемого потока.

БЗУ на входе декодера выполняет функцию согласования постоянной скорости передачи двоичных символов во входном потоке данных с процессами в декодере, при которых данные из БЗУ считываются неравномерно во времени. С выходов демультиплексора кодированные данные изображения и значения параметра квантования поступают на ДКПДС и далее на деквантователь, а векторы движения поступают на ДКПДС и далее на предсказатель.

Так же как и в кодере, в декодере имеются два режима работы. При приеме I-кадров и передаваемых с внутрикадровым кодированием макроблоковP-кадров иВ-кадров на выходе блока обратного ДКП формируются блоки изображения. Переключатель на структурной схеме при этом находится в положении 1, и сигнал с блока обратного ДКП направляется на выход. При приеме макроблоковР-кадров иВ-кадров, кодируемых в межкадровом режиме, переключатель находится в положении 2. В этом случае формирование выходного сигнала происходит путем поэлементного сложения поступающих с блока обратного ДКП значений разностей с предсказанным макроблоком, формируемым из элементов ранее декодированных изображений с использованием декодированных векторов движения.

Реализация декодера аппаратными, программными или аппаратно-программными средствами существенно проще, чем реализация кодера, так как в декодере не надо выполнять поиск соответствующих областей в опорных изображениях, а именно этот поиск требует наибольшего количества вычислений.