Учебники / Цифровое телевизионное вещание под редакцией Г. В. Мамчев, 2014

в любом слое декодируемого кадра имеет меньший адрес макроблока, чем первый макроблок из ранее декодированного слоя на том же снимке.

Прогнозирование макроблоков

Каждый закодированный макроблок в Н.264 имеет прогноз по ранее закодированным данным. Пиксели макроблоков в моде intra прогнозиру­ ются по уже закодированным и реконструированным элементам изобра­ жения текущего слоя, а пиксели макроблоков в моде inter - по элементам изображения ранее закодированных слоев.

При прогнозировании в моде inter создается образец прогноза по од­

ному или нескольким ранее закодированным видеокадрам и полукадрам на

основе поблочной компенсации движения. Важным отличием от преды­

дущих стандартов видеокомпрессии является возможность варьирования

размеров блока (от 16х16 до 4х4 пикселей) и выбора малого шага для из­ мерения размера векторов движения (до четверти яркостного элемента изображения).

Древовидная структура компенсации движения

Компоненту яркости каждого макроблока (l6x 16 пикселей) можно разбить на части четырьмя способами (рис. 3.40), и поэтому компенсацию

движения возможно строить в виде одного макроблока 16х16, двух блоков 16х8, двух блоков 8х16 или четырех блоков 8х8 [33]. Если выбран размер 8х8, то каждый из четырех подмакроблоков 8х8 данного макроблока мож­ но далее разбить четырьмя способами и получить один блок 8х8, два блока

8х4, два блока 4х8 или четыре блока 4х4 (рис. 3.41). Предложенные спосо­

бы разделения на подмакроблоки дают большое число возможных комби­ наций для обращения с каждым макроблоком. Такой метод деления мак­ роблоков на подблоки компенсации движения переменных размеров назы­ вается древовидной структурой компенсации движения.

16 8 8

Рис. 3.40. Деление макроблока: 16х16, 8х16, 16х8, 8х8

8 4 4

8~ ВJ ЕВ ~

ш

8х8 4х8 8х4 4х4

Рис. 3.41. Деление макроблока: 8х8, 4х8, 8х4, 4х4

Для каждой части макроблока или подмакроблока необходимо задать отдельный вектор движения. Каждый вектор движения должен быть за­ кодирован и передан по сети связи. Кроме того, необходимо закодировать в битовом потоке выбранный метод разделения. Выбор размера частей де­ ления существенным образом влияет на степень сжатия видеоизображе­ ния. cDактически БОЛЫllОЙ размер частей деления подходит для однород­ ных областей видеокадров, а малый размер будет целесообразен для об­

ластей с множеством мелких деталей.

Каждая компонента цветности макроблока (СВ или CR ) имеет половин­

ное разрешение по вертикали и горизонтали от разрешения компоненты яр­

кости. Каждый блок цветности делится на части тем же способом, что и со­ ответствующий блок компоненты яркости с учетом половинного разрешения.

Каждая часть деления макроблока или подмакроблока в моде inter прогнозируется по области того же размера на ссылочном снимке. Вектор смещения между двумя областями (вектор движения) имеет разрешение в

четверть пикселя для компоненты яркости и одну восьмую пикселя для

компонент цветности.

Предсказание векторов движения

Кодирование векторов движения для всех блоков деления может по­ требовать большого количества бит, особенно если выбраны малые разме­ ры блоков. Векторы движения близких блоков часто являются коррелиро­

ванными, и поэтому их можно предсказывать (прогнозировать) по сосед­

ним векторам ранее закодированных блоков. Вектор-предсказание МУр

формируется на основе ранее вычисленных векторов движения и вектора

MVD - разности между текущим вектором движения и вектором предска­ зания, который кодируется и передается. Метод построения прогноза МУр зависит от размера блока деления и от доступности ближних векторов.

Пусть Е - текущий макроблок, часть макроблока или часть подмак­ роблока, А - его левый соседний блок деления, В - блок сверху от Е, а С­ блок, расположенный выше и правее Е. Если у блока Е имеется более од­ ного соседнего блока слева, то в качестве А выбирается самый верхний из них. Если сверху от Е лежит более одного блока, то через В обозначается самый левый из них. Рис. 3.42 иллюстрирует случай, когда все соседние

блоки имеют одинаковый размер (например, 16х16 элементов изображе­ ния), а на рис. 3.43 изображен пример выбора разделения на части, при ко­

тором соседние блоки имеют размеры, отличные от размеров блока Е [33]. 1. Для переданных блоков, исключая размеры 16х8 и 8х16, вектор МУр

равен медиане векторов движения блоков А, В и С.

2. Для блоков размером 16х8 вектор МУр для верхнего блока 16х8 прогно­ зируется по вектору блока В, а для нижнего блока 16х8 - по вектору А.

3. Для блоков размером 8х16 вектор МУр для левого блока 8х16 прогно­ зируется по вектору А, а для нижнего блока 8х16 - по вектору С.

4. Для пропущенных макроблоков вектор МУр блока 16х16 строится как в случае (1) (то есть как если бы этот блок кодировался в моде inter). Если один или несколько из ранее переданных блоков, показанных на

рис. 3.43, недоступны (например, он лежит вне текущего слоя), то выбор МУр модифицируется соответствующим образом. На приемном конце де­

кодера вектор-прогноз МУр строится тем же способом, и он добавляется к декодированному остаточному вектору. Если макроблок пропускается, то нет остаточного вектора и вектором движения служит вектор МУр.

Прогноз В моде intra

Прогнозируемый блок Р в моде intra формируется по ранее закодиро­

ванным и реконструированным блокам. Он вычитается из текущего блока перед кодированием. Блок Р строится для каждого блока 4х4 или целого макроблока 16х16 яркостных пикселей. Всего имеется девять дополни­ тельных мод для прогноза блоков 4х4 и четыре моды для блоков 16х16. Обычно кодер выбирает моду прогноза, стараясь минимизировать разность между кодируемым текущим блоком и блоком Р.

В отличие от мод прогнозирования блоков яркости 4х4 прогноз для целого макроблока 16х16 делается за одну операцию.

Деблочный фильтр

К каждому декодированному макроблоку применяется деблочный

фильтр для сглаживания блочных артефактов. Этот фильтр применяется по­ сле обратного преобразования кодером (до реконструкции и сохранения макроблока для использования в будущих прогнозах) и декодером (до ре­ конструкции и воспроизведения на телевизионном экране). Фильтр сглажи­ вает края блоков, улучшая визуальное восприятие кадра в целом. Отфильт­

рованное изображение используется при прогнозах компенсации движения следующих кадров. Эта процедура может повысить степень сжатия, так как

фильтрованное изображение часто бывает более точной репродукцией ис­ ходного кадра по сравнению с нефильтрованным, блочным изображением. Iпtrа-кодируемые макроблоки фильтруются, но прогноз intra выполняется с использованием нефильтрованных восстановленных макроблоков.

По умолчанию выполняются следующие операции фильтрования (при этом у кодера имеется возможность изменять интенсивность фильтрации или отключить фильтр) [33]:

Фильтрация четырех вертикальных границ компоненты яркости (в по­ рядке а, Ь, с, d на рис. 3.44.

Фильтрация четырех горизонтальных границ компоненты яркости (в порядке е, [, g, h на рис. 3.44.

Фильтрация двух вертикальных границ компонент хроматичности (i, j).

Фильтрация двух горизонтальных границ компонент хроматичности

(k, 1).

Каждая фильтрующая операция затрагивает до трех пикселей с обеих

сторон границы. На рис. 3.45 показано по четыре пикселя с каждой сторо­

ны от вертикальной или горизонтальной границы примыкающих друг к

другу блоков р и q (рО, р1, р2, р3 и qO, q1, q2, q3). «Интенсивность» фильт­ рования (степень фильтрации) зависит от текущих параметров квантовате­

ля, мод кодирования соседних блоков и направления градиентов значений

пикселя на границе.

Граничная интенсивность. Выбор результирующего фильтра зави­ сит от граничной силы и градиента значений пикселя вдоль границы. Па­ раметр граничной силы bS (boundary Strength) выбирается по следующим правилам (при кодировании прогрессивной развертки):

(Чем больше bS, тем сильнее интенсивность фильтрации. Значение bS = О означает отсутствие фильтрации.)

Результат применения этих правил будет сильнее там, где имеется боль­ шая вероятность блочных искажений, например, на границе iпtrа-кодируемых макроблоков или на границе блоков, имеющих кодированные коэффициенты.

Условия фильтрации

Группа пикселей из множества (р2, р1, рО, qO, q1, q2) подвергается фильтрации, если

(а) bS> О и

(Ь) IPO-qОI<а и Ip1-рОI<f3 и Iql-qОI<f3.

Здесь а и f3 - пороги, задаваемые стандартом. Они возрастают с рос­ том среднего значения параметров квантователя QP двух блоков р и q. Не­

выполнение условия фильтрации «отключает» фильтр, когда имеется зна­

чительный градиент вдоль границы блока исходного изображения. Когда параметр QP мал, то очень малые значения градиента через границу вы­

званы, скорее всего, особенностями изображения (а не эффектами блочно­ сти), поэтому его следует сохранить, то есть пороги а и f3 должны быть малыми в этом случае. Когда QP велик, эффекты блочного искажения ста­

новятся более вероятными, что отражается в повышении порогов а и f3, то

есть большее число граничных пикселей подвергается фильтрации.

Преобразование и квантование

Стандарт Н.264 применяет три разных преобразования в зависимости от типа остаточных данных, которые следует закодировать: преобразова­

ние Адамара матриц 4х4 коэффициентов DC яркостной составляющей макроблоков прогнозов intra в моде 16х16, преобразование Адамара для матриц 2х2 коэффициентов DC составляющих цветности (любых макро­ блоков) и преобразование на основе DCT дЛЯ всех других блоков 4х4 оста­

точных данных.

Стандарт Н.264 предполагает использование скалярного квантования, простейшим примером которого может служить метод округления дробно­ го числа до ближайшего целого. Это процесс с частичной потерей инфор-

мации (он необратим), так как невозможно установить точное значение исходного дробного числа по округленному целому числу.

3.4.3. Основной профиль Особенности кодирования в основном профиле

Основными приложениями для основного профиля служат: цифровое телевизионное вещание и системы архивирования цифрового видео.

Основной профиль является расширением базового проФиля, за ис­

ключением того, что в нем не поддерживаются такие инструменты коди­

рования, как кратные группы слоев, произвольный порядок слоев (ASO) и лишние слои и снимки (все эти функции имеются в базовом профиле). Вместо этого в основном профиле имеются следующие инструменты ко­ дирования: В-слои (двунаправленное прогнозирование для повышения степени сжатия), взвешенное прогнозирование, повышающее гибкость ко­ дера при создании блоков-прогнозов компенсации движения, поддержка чересстрочного видео (кодирование как кадров, так и полукадров) и метод энтропийного кодирования САВАС (альтернативная схема кодирования, основанная на арифметических кодах) [33].

В-слои

Каждый блок деления макроблока в моде inter В-слоя может быть

спрогнозирован по одному или двум ссылочным снимкам, которые распо­

лагаются в хронологическом порядке до или после текущего снимка. В за­

висимости от ссылочных снимков, сохраняемых кодером и декодером,

обеспечивается широкий выбор параметров прогнозирования макроблоков

типа В. На рис. 3.46 показано три варианта прогнозирования в моде inter для В-слоя: (а) один прошлый и один будущий ссылочный снимок (анало­ гично прогнозам В-кадров в предыдущих стандартах МPEG), (б) два про­ шлых снимка и (в) два будущих ссылочных снимка.

(а) один прошлый, один будущий

~~

о

В-блок

~~

~----

(6) два прошлых

(8) два будущих

Рис. 3.46. Примеры прогнозов ДЛЯ блоков В-макроблоков: (а) прошлое/будущее; (6) прошлое; (в) будущее

Ссылочные снимки

В-слои используют два списка ранее закодированных ссылочных

снимков - список О и список 1, в которых хранятся снимки с близкими и давними сроками. Оба списка могут хранить прошлые и будущие сжатые снимки, которые будут демонстрироваться до или после текущего кадра.

Список О: ближайший снимок в прошлом (в хронологическом поряд­ ке) индексируется нулем, за которым следуют другие прошлые снимки (с возрастанием счетчика снимков), а потом будущие снимки (по отношению к текущему снимку).

Список 1: ближайший будущий снимок имеет индекс О, за ним следу­ ют другие будущие снимки (с увеличением счетчика снимков), а потом

прошлые снимки.

Выбранный индекс посылается в виде слова экспоненциального кода Голомба, и поэтому самым эффективным выбором ссылочного индекса (с наименьшим кодовым словом) будет индекс О (то есть предыдущий зако­ дированный снимок из списка О или следующий снимок из списка 1).

Опции прогноза

Части макроблоков из В-слоев могут быть спрогнозированы одним из следующих способов: прямая мода, компенсация движения по снимкам из списка О, компенсация движения по снимкам из списка 1 или двунаправ­ ленный прогноз компенсации движения одновременно по спискам О и 1. Для каждого блока деления макроблока можно выбрать различные моды

прогнозирования (табл. 3.15).

Если используются блоки 8х8, то мода, выбранная для каждого блока 8х8, применяется к каждому подблоку этого блока.

Двунаправленный прогноз

В моде двунаправленного прогноза ссылочный блок, имеющий размер текущего блока или подблока, строится по спискам О и 1 ссылочных сним­ ков. Из каждого списка О и 1 извлекается по одной ссылочной области (значит, потребуется два вектора движения), и каждый блок-прогноз вы-

числяется как среднее значение соответствующих прогнозируемых облас­ тей из списков О и 1.

Векторы движения списков О и 1 двунаправленных прогнозов макро­ блоков или блоков сами прогнозируются по обратным векторам движения,

которые имеют такое же временн6е направление. Например, вектор теку­

щего макроблока, указывающий на кадр в прошлом, прогнозируется по

другим соседним векторам, которые также указывают на прошлые кадры.

Прямой прогноз

В прямой моде векторы движения макроблоков или их частей из В­

слоев не передаются декодеру. Вместо этого декодер вычисляет векторы

списков О и 1 на основе ранее закодированных векторов и использует их

для выполнения двунаправленной компенсации движения декодированно­

го остаточного блока. Пропущенный макроблок В-слоя реконструируется

декодером с помощью прямого прогноза.

Взаголовке слоя устанавливается флаг, обозначающий использование

пространственного или временн6го метода для вычисления векторов мак­ роблоков или их подблоков В прямой моде.

Впространственной прямой моде списки О и 1 прогнозированных векторов вычисляются следующим образом. Если близкий макроблок или его часть в списке 1 ссылочных снимков имеет вектор движения, который

меньше, чем ±1/2 яркостного пикселя по абсолютной величине, то один

или оба прогнозируемые векторы обнуляются. В противном случае про­ гнозные списки О и 1 векторов используются для совершения двунаправ­ ленной компенсации движения. Во временн6й прямой моде декодер вы­ полняет следующие шаги [33]:

1.Найти ссылочный снимок списка О для близкого макроблока или его части на снимке списка 1. Эта ссылка списка О становится ссылкой пер­ вого списка для текущего макроблока или его части.

2.Найти вектор МУ списка О для близкого макроблока или его части на снимке списка 1.

3.Перемасштабировать вектор МУ с помощью «расстояния» - порядково­ го счетчика снимков между текущим снимком и снимком списка 1: это будет новый вектор МУ1 списка 1.

4.Перемасштабировать вектор МУ с помощью «расстояния» - порядково­ го счетчика снимков между текущим снимком и снимком списка О: это будет новый вектор МУО списка О.

Эти моды слегка модифицируются, когда, например, прогнозные

ссылочные макроблоки или их части недоступны или они кодируются в

моде intra.

Чересстрочная развертка

Для эффективного кодирования чересстрочного видео требуются ин­ струменты, которые оптимизированы для решения задач сжатия макробло-

ки недавно закодированных символов. Контекстная модель хранит ве­

роятности каждого бита 1 или О.

3. Арифметическое кодирование: арифметический кодер кодирует каждый

бит в соответствии с выбранной вероятностной моделью.

4. Обновление вероятностей: выбранная контекстная модель подправляет­

ся на основе фактических закодированных значений (например, если значение бита было 1, то увеличивается счетчик частоты бит 1).

Процесс кодирования

Проиллюстрируем этот процесс на примере кодирования величины mvdx (координата х разности векторов движения, которая кодируется для каждого блока или подблока в моде inter).

1. Перевести mvdx в двоичную форму. Применяется следующая таб­

лица однозначно декодируемых, кодовых слов при условии Imvd х I< 9

(табл. 3.17) (большие значения mvdx переводятся в двоичную форму с по­

мощью экспоненциальных кодов Голомба, относящихся к семейству эн­ mроnийных кодов).

Таблица 3.17

Схема перевода разности векторов в двоичную форму