11.7.2 Компрессия видеосигналов

Резервы для уменьшения цифрового потока без ущерба качеству воспроизводимого изображения заключены в специфике ТВ сигнала, обладающего, как показывают исследования, значительной инфор­мационной избыточностью. Эту избыточность обычно разделяют на статистическую, физиологическую и структурную.

Статистическая избыточность определяется свойствами изо­бражения, которое не является в общем случае хаотическим рас­пределением яркости, а описывается законами, устанавливающими определенные связи (корреляцию) как между яркостями отдельных элементов, так и между их цветностями. Особенно велика корре­ляция между соседними (в пространстве и во времени) элементами изображения. Использование корреляционных связей позволяет не передавать многократно одни и те же данные и сокращать за счет этого объем сообщения. При этом устранение статистической избы­точности в ТВ сигнале может происходить без потери информации, и исходные данные будут полностью восстановлены.

Визуальная или физиологическая избыточность ТВ сигнала об­условливается ограниченностью возможностей зрительного аппара­та. Использовать физиологическую избыточность – значит, не пе­редавать в сигнале ту информацию, которая не будет воспринята на­шим зрением. Как следствие, устранение физиологической избыточ­ности связано с частичной потерей информации, но той информации, которая не воспринимается зрением, и ее потеря не повлияет на ви­зуальное качество изображения.

Структурная избыточность в соответствии с названием определяется структурой видеосигнала: наличием в аналоговом телеви­зионном сигнале гасящих импульсов. В цифровом потоке соответ­ствующие им временные интервалы можно исключить или исполь­зовать для передачи другой информации, например звукового со­провождения. Только этот вид компрессии позволяет снизить скорость передачи видеоданных на 23…25%.

Уменьшение цифрового потока ТВ сигнала за счет сокращения статистической и физиологической избыточности в изображении осу­ществляется в телевидении применением более эффективных мето­дов кодирования по сравнению с ИКМ. При большом их многообра­зии наиболее широко распространены следующие виды эффективно­го кодирования: кодирование с предсказанием, кодирование с линей­ным ортогональным преобразованием, взвешенное квантование, эн­тропийное кодирование или кодирование с переменной длиной. Пе­речисленные виды кодирования могут использоваться как самостоя­тельно, так и в сочетании друг с другом, давая в последнем случае значительно больший эффект. Более подробно эти вопросы будут рассмотрены в следующих разделах этой главы.

В настоящее время существуют стандарты компрессии, которые определяют основные правила эффективного кодирования и декодирования цифровых потоков как изображений, так и связанного с ни­ми звукового сопровождения. Эти стандарты получили общее на­именование MPEG, представляющее собой аббревиатуру от названия разрабатывавшего их международного комитета – Moving Pictures Experts Group (Группа экспертов по движущимся изображениям). Разработанные и разрабатываемые стандарты компрессии MPEG не подвергают жесткой регламентации процедуры эффективного коди­рования, с тем чтобы оставить возможности для дальнейшего усовер­шенствования кодеров и декодеров. Стандартизованы только кодо­вое представление цифрового потока, сформированного устройством компрессии, и процесс декодирования. В Европе в качестве основно­го стандарта для цифрового телевизионного вещания приняты спе­цификации сжатия MPEG-2, известные как стандарты «Main Profile at Main Level» (основной профиль при основном уровне), хотя раз­работаны и другие подмножества стандарта, отвечающие различным сферам применения и качеству изображений.

Эффективность компрессии, достигнутая к настоящему времени, очень велика. Так, для упомянутого основного уровня стандарта MPEG-2 (разрешение 720x576 пикселей) требуется битовая скорость порядка 15 Мбит/с (против приведенного выше значения 270 Мбит/с некомпрессированного ИКМ сигнала).

Внутрикадровое уменьшение избыточной видеоинформа­ции

Внутрикадровое сокращение избыточной информации основано на дискретном косинусном преобразовании (ДКП), который базиру­ется на преобразовании, предложенном французским математиком Ж.Фурье. Согласно нему, любую периодическую последователь­ность импульсов можно представить в виде алгебраической суммы простейших синусоидальных колебаний с кратным частотами и убывающими амплитудами. Точное приближение к исходной форме импульса дает практически всегда бесконечный ряд частот, крат­ных основной.

Совокупность целого ряда убывающих колебаний разных частот образует спектр исходного (в данном случае прямоугольного) им­пульса.

Передать все составляющие его колебания не просто, так как для этого требуется очень широкая частотная полоса канала связи. И чем короче импульс, т.е. чем мельче деталь изображения, тем более широкой необходима частотная полоса. При ее недостаточ­ной ширине фазы колебаний с высшими частотами (гармоники) бу­дут изменяться, и колебания будут ослабляться по амплитуде, что приведет к потере качества изображения.

Непериодические импульсы могут быть также представлены ал­гебраической суммой бесконечно убывающих синусоидальных ко­лебаний с возрастающими частотами ряда 1, 3, 5, до f = 1/т (где т -длительность импульса ) и убывающими амплитудами. При прове­дении анализа сигнала (в данном случае яркостного) исходят из того, что телевизионное изображение состоит из простейших элементов, так называемых пикселей.

Пиксель – это миниатюрный элемент изображения (picture element) из большого массива графической информации. Пиксель не­сет сведения о яркости (или о цвете) элементарного участка изо­бражения.

Каждый пиксель может принимать от 0 до 255 (от 0 до 1023 при 10-битовом слове) значений уровней, яркость которых (пикселей) можно условно представить разными амплитудами, но одинаковой длительности (рисунок 11.20). Дискретизация через равные временные промежутки телевизионной строки, а для зрителя пиксель является пространственным элементом, формирующим изображение.

Рисунок 11.20 - Дискретное представление яркостной полосы пикселями и их числовыми значениями

Пиксель как сигнал можно анализировать, если перевести его из амплитудно-временного представления в амплитудно-частотное, т.е. получить его частотный спектр. В спектре наглядно видны колебания, расположенные в низ­кочастотной области, несущие основную энергию и формирующие амплитуду импульса-пикселя, а также колебания менее значимые, находящиеся в высокочастотной области спектра, формирующие крутизну фронта и спада, определяющие ширину частотной полосы, занимаемую пикселем (рисунок 11.21).

В большинстве случаев колебания в крайне правой высокочастот­ной области спектра значительной роли для пикселя, как составляю­щего элемента видеосигнала, не имеют. То есть передаются только те коэффициенты, которые превышают пороговую величину, а остальные считаются нулевыми. Введение порога, строго говоря, приводит к потерям информации и, соответственно, к снижению качества изображения, однако при оптимальном выборе величины порога такое ухудшение окажется практически незаметным.

На рисунке 11.21 выделены колебания с менее значимыми частотами и амплитудами, которые можно удалить, что приведет к некоторому снижению четкости и контрастности видеоизображения, с одной стороны, но с другой, даст возможность:

• значительно сузить частотную полосу, занимаемую видеосиг­налом;

• уменьшить необходимый объем памяти для запоминания значений оставшихся амплитуд и частот.

На этом построено уменьшение видеоинформации при внутрикадровом сжатии цифровых данных на основе ДКП.

Основная цель внутрикадрового сжатия цифровой информации на основе ДКП заключается в сужении частотной полосы, занимае­мой видеосигналом, путем заранее определяемых амплитудно-частотных потерь некоторых высокочастотных колебаний его со­ставляющих, но без заметных для глаза снижений четкости и кон­трастности изображения.

Рисунок 11.21 - Частотный спектр пикселя – элемента яркости

Уменьшение статистической избыточности за счет межкадрового сжатия видеоинформации

Дискретное косинусное преобразование, устраняя избыточные высокочастотные колебания (составляющие), тем самым уменьша­ет в два-семь раз количество внутрикадровой информации и позво­ляет сохранить хорошее качество изображения. Но при этом коли­чество цифровых данных, оставшихся после внутрикадрового сжа­тия на базе ДКП, довольно еще значительно, что требует при пере­даче высокой скорости, а значит, занятия широкой полосы частот (порядка нескольких сотен мегагерц), что не совсем приемлемо. Однако более высокую степень сжатия видеоданных этим спосо­бом не применяют, так как могут быть заметны снижения четкости и контрастности контуров изображения при приеме. Поэтому до­полнительно к внутрикадровому безвозвратному устранению избы­точных составляющих видеосигнала на базе ДКП применяется межкадровое сжатие видеоинформации, восстанавливаемое на приемной стороне.

На рисунке 11.22 условно показана структура кадра с точки зрения цифровой обработки видеоинформации: блок, макроблок, ломтик и изображение.

Блок (основной объект, к которому применяется ДКП) является базовой структурной единицей, над которой осуществляются все основные операции кодирования. Матрица блока состоит из 8x8 = 64 пикселей, т.е. имеет 64 отсчета. В теле­визионном кадре по вертикали размещается 576/8 = 72 столбцов матрицы, а по горизонтали 704/8 = 88 строк матрицы. В итоге пол­ное телевизионное изображение формируется из (72x88) = 6336 блоков, т.е. матриц яркостных данных, на которых возможно про­вести ДКП. Блок цветоразностных данных в формате изображения 4:2:2 отсутствует.

Макроблок (основной объект для предсказания с компенсацией движения) состоит из матрицы 16x16 пикселей, т.е. из четырех блоков яркостных данных. Кроме того, он имеет по два блока (по две матрицы 8x8 пикселей) цветоразностных данных, которые соответ­ствуют этим же блокам яркостных данных (для формата 4:2:2).

Ломтик (является основным объектом для синхронизации и при вос­становлении данных, формирующих изображение) имеет 44 макроблока, т.е. содержит 44х(16х16) пикселя данных яркости и имеет «толщину» в один макроблок. Представление телевизионной информации ломтиками удобно и необходимо для приемной стороны.

Рисунок 11.22 - Показаны условно: а – блок (матрица 8x8 пикселей); б – макроблок (матрица 16x16 пикселей) и область поиска; в – ломтик (44 макроблока); г – изображение

Так, когда появляется ошибка в общем потоке цифровых данных, декодер обращается к началу следующего макроблока, входящего в ломтик, что улучшает эффек­тивность восстановления и качество изображения. Очередность обработки макроблоков в ломтике такая же, как и при обычном ходе строчной развертки, т.е. слева направо и сверху вниз.

В области поиска осуществляется поиск «своего» макроблока в текущем кадре, смежном с опорным. Область поиска включают в себя 64x64 пикселей, т.е. ограничена размерами в 4x4 макроблока.

Изображение – это конечная цель преобразования цифровой информации при приеме. Оно формируется одним яркостным и двумя цветоразностными сигналами. Состоит из 6336 блоков, или из 1584 макроблоков, или из 36 ломтиков яркостных данных. Коли­чество цветоразностных данных в изображении зависит от форма­та, который определяет качество цветного изображения.

Идея, лежащая в основе межкадрового сжатия видеосигнала, предельно проста. Суть ее в следующем: в общей последователь­ности кадров соседние, в основном, мало отличаются друг от друга. Например, события развиваются на фоне неба, футбольного поля, леса и т.п., которые мало изменяются от кадра к кадру и различия между соседними кадрами очень незначительны.

В большинстве случаев, зная распределение яркостных и цветоразностных данных одного кадра, можно с высокой вероятностью предсказать их распределение в ближайшем соседнем кадре

Если изображения соседних кадров очень похожи, то передавать по каналу связи всю информацию, содержащуюся в каждом отдель­ном кадре, нет необходимости. Объем цифрового потока можно уменьшить и передавать данные только одного кадра, предвари­тельно подвергнув его изображение ДКП, получив так называемый опорный кадр. После этого, сравнивая соседний кадр с опорным, пе­редается только разностная информация, указывающая на то, чем соседний текущий кадр отличается от опорного. Опорный кадр эпи­зодически заменяется через определенное количество промежуточ­ных кадров новым в соответствии со сменой деталей сюжета.

Межкадровое сжатие информации базируется на применении импульсно-кодовой модуляции (ИКМ) в разных ее вариантах.

При дифференциальной ИКМ (ДИКМ) по каналу связи передается разность между текущим дискретным значением аналогового сигнала и предшествующим (опорным). Для этого требуется меньшее количество бит, чем для передачи его полного дискретного значения.

Часто применяется, так называемая дельта-модуляция. Она представляет собой вариант ДИКМ, при которой для кодировав каждого дискретного значения аналогового сигнала используется только один разряд (бит), показывающий изменение выходного си нала на единичную величину при увеличении или уменьшена входного сигнала.

При ДИКМ на основе нескольких предшествующих дискретных значений аналогового сигнала прогнозируется следующий дискретный сигнал. По каналу связи передаются только разностные значения между ними.

Последовательность кадров при межкадровом сжатии видеоданных. Для межкадрового сжатия видеоданных выбирается групп кадров (группа изображений GOP - Group of Pictures), которая ее стоит из нескольких последовательных кадров, объединении вместе и обеспечивающих возможность условного доступа к кал дому ее кадру.

I-кадры. Группа кадров всегда начинается с опорного I-кадр (Intra Fra­mes), т.е. с изображения, которое подвергается только внутрикадровому сжатию – ДКП. Изображение I-кадра кодируется автономно, независимо от других кадров, и внутрикадровое сжатие видео данных здесь относительно небольшое. Это нужно для того, чтобы на приемной стороне изображение 1-кадра меньше подвергалос изменениям, ошибкам и обеспечивало бы тем самым высокую точность восстановления В- и Р-кадров, что очень важно. При наличи ошибок и искажений в опорных кадрах они автоматически переносятся на следующие кадры. Количество I-кадров, входящих в групг GOP, может быть самым разным – все определяется возможностям кодера и может изменяться. I-кадры играют также решающую роль при синхронизации видеопоследовательностей и звуковых последовательностей. Структура группы кадров показана на рисунке 11.23.

Как видно из рисунка 11.14, после определенного количества Р- и B кадров снова следует опорный I-кадр. Группа кадров должна быт достаточно большой, если необходимо получить высокую степей сжатия информации. С другой стороны, чем чаще следуют I-кадры, тем выше качество изображения, но тем больший объем информа­ции в реальном масштабе времени нужно передать по каналу свя­зи, т.е. тем шире должна быть его частотная полоса. Считается оп­тимальным, если на один I-кадр приходится в среднем от 7 до 15 Р- и В-кадров.

Рисунок 11.23 - Структура группы кадров (изображений) при передаче по каналу связи

Р-кадры (Predicted Frames). Текущие кадры Р-типа кодируются или на основе предыдущего опорного I-кадра, или предыдущего опорного Р-кадра предсказанием вперед. Сравнение и получение разностной информации между кадрами происходит по макробло­кам. В текущих Р-кадрах информация сравнивается макроблоками с опорным I-кадром до тех пор, пока в любом макроблоке текущего кадра не появится новый фрагмент. С этого момента кодирование переключается на внутрикадровое, т.е. применяется ДКП и форми­руется новый Р-кадр, но уже как опорный. В опорных Р-кадрах со­кращается пространственная (за счет ДКП) и временная избыточ­ность (за счет межкадрового сжатия относительно опорных I-кадров) и они сами используются в качестве опорных для В-кадров. В этом случае необходима высокая точность их восстанов­ления. В Р-кадрах по сравнению с I-кадрами достижимое сжатие информации в три раза выше.

В-кадры (Bidirectional Interpolated Frames) кодируются в зависи­мости от характера передаваемых сюжетов телевизионного изо­бражения следующими способами:

• Предсказанием следующего ближайшего В-кадра на основе предыдущего опорного I- или Р-кадра (предсказанием вперед с компенсацией движения).

• Обратным предсказанием (предсказанием назад с компенса­цией движения). Опорным служит следующий, соседний I- или Р-кадр. Такое предсказание реализуется при появлении больших площадей в изображении (в кадре), которых не было в предшествующем кадре.

• Двунаправленным предсказанием на основе предыдущего и следующего I- или Р-кадров, т.е. используется комбинация двух предсказаний – предсказание вперед и обратное предсказание – предсказание назад с компенсацией движения (рисунок 11.24). Опор­ными служат два кадра – один из них ближайший предыдущий I-или Р-кадр, а другой ближайший следующий I- или Р-кадр. Следует отметить, что изображение (точнее информация, содержащаяся в кадре) предварительно восстанавливается в кодере точно так же, как и в декодере на приемной стороне. Для этого кодер имеет все узлы декодера: инверсный квантователь, инверсный ДКП и т.п. По­добная структура кодера позволяет реализовать двунаправленное предсказание: на основе предыдущего и следующего I- или Р-кадров определяется текущий кадр.

Рисунок 11.24 - Структура строения кадров с предсказанием вперед и обратным предсказанием назад с компенсацией движения

• Внутрикадровым предсказанием без компенсации движения только на основе I -кадров. При этом в текущем кадре информация сравнивается по макроблокам с опорным I-кадром и выделяется разностная информация между ними. Такое предсказание исполь­зуется при резкой смене сюжета или при больших скоростях пере­мещения объекта изображения.

Следует отметить, что в В-кадрах достигается самое высокое сжатие, цифровой информации – в 4,5 раза по сравнению с l-кадрами (рисунок 11.25).

Поскольку степень сжатия снижает точность восстановления, то В-кадры не используются в качестве опорных.

Рисунок 11.25 - Внутрикадровое сжатие в В-кадрах без компенсации движения

Вектор движения^* и компенсация движения. Телевизионное изображение всегда содержит движущийся объ­ект или элемент. Поэтому дискретные значения, принадлежащие однотипным пикселям в текущем кадре, будут смещаться относи­тельно опорного кадра. Очевидно, чем элемент быстрее движется в макроблоке, тем значительнее разность между макроблоком опор­ного кадра и таким же макроблоком текущего соседнего В- или Р-кадра, что приводит к увеличению количества обрабатываемой ин­формации и снижению точности предсказания. Точность предска­зания можно повысить (уменьшить ошибку предсказания) путем нахождения (вычисления) вектора движения и его компенсацией.

Вектор движения определяется для каждого макроблока, нахо­дящегося в области поиска.

Область поиска должна быть достаточно большой, чтобы быстро движущийся элемент в макроблоке опорного кадра не вышел в со­седнем кадре за пределы этой области. С другой стороны, размеры области поиска ограничивают из-за большого объема необходимых вычислений, которые должны выполняться в реальном масштабе времени. Ее размеры 64x64 пикселей, т.е. в четыре раза превосходят размеры макроблока. В одном кадре, таким образом, создается 576/64 = 9 зон поиска по вертикали и 704/64 = 11 зон по горизонтали. Следовательно, кадр содержит 99 областей поиска. При этом конфи­гурация области поиска выбирается не произвольной, а в соответст­вии со структурой дискретизации кадра, т. е. ортогональной.

Определение вектора движения. Пусть имеется какой-то мак­роблок в опорном кадре и определены числовые значения его пикселей. Необходимо найти подобный макроблок в текущем соседнем кадре. Для этого первоначально суммируются значения пикселей в каждом макроблоке, относящиеся к области поиска в соседнем кадре, затем вычисляется межкадровая разность каждого макро­блока относительно суммы пикселей макроблока опорного кадра. Тот макроблок, у которого межкадровая разность наименьшая, при­нимается за искомый, и его положение в области поиска описыва­ется вектором движения - скалярным значением и координатами смещения (как по вертикали, так и по горизонтали) – так как векторы движения являются двумерными. Вектор движения отражает вели­чину смещения объекта (элемента) по вертикали и по горизонтали в кодируемом макроблоке текущего кадра относительно его положе­ния в опорном кадре. Это дает возможность скомпенсировать его перемещение и уменьшить количество обрабатываемых данных и, таким образом, повысить точность предсказания. Вектор движения определяется для каждого макроблока в текущем В-кадре. Если, оп­ределяя вектор движения, кодер не может обнаружить в области по­иска текущего кадра подходящий макроблок, то он автоматически переходит от межкадрового кодирования к внутрикадровому (не к ДКП) с предсказанием без компенсации движения (рисунок 11.26).

Рисунок 11.26 - Принцип определения вектора движения элемента изображения в макроблоке.