(по цифровому вещанию) Dvorkovich_V_Cifrovye_videoinformacionnye_sistemy

10.2. Направленное пространственное внутрикадровое предсказание

10.2.2.Режим предсказания пикселов яркости блоков 8 × 8

Процесс фильтрации опорных пикселов для предсказания блоков 8 × 8

Процесс предсказания пикселов блоков 8 × 8 (Intra_8 × 8) производится после фильтрации значений опорных пикселов Y (−1, j) при j = −1, . . . , 7 и Y (i, −1) при i = 0, . . . , 15, если эти значения возможно использовать для предсказания.

Если все Y (i, −1) при i = 0, . . . , 7 могут быть использованы для предсказания, то применяется нижеследующая фильтрация.

Если все Y (i, −1) при i = 7, . . . , 15 могут быть использованы для предсказания,

(10.23) Если пикселы Y (−1, −1) могут быть использованы для предсказания блоков 8×8, то фильтрованные значения Y (−1, −1) определяются в зависимости от возможности использования для предсказания пикселов Y (0, −1) и Y (−1, 0): если пиксел Y (0, −1) может быть использован для предсказания, а Y (−1, 0) не может быть использован для предсказания, то

если пиксел Y (0, −1) не может быть использован для предсказания, а Y (−1, 0) может быть использован для предсказания, то

если пикселы Y (0, −1)и Y (−1, 0) могут быть использованы для предсказания, то

Если все пикселы Y (−1, j) могут быть использованы для предсказания блоков 8 × 8, то фильтрованные значения Y (−1, 0) определяются в зависимости от возможности использования для предсказания пикселов Y (−1, −1): если Y (−1, −1) может быть использован для предсказания, то

Глава 10. Внутрикадровое кодирование изображений

Фильтрованные значения пикселов Y (−1, j) при i = 1, . . . , 7 определяются так:

(10.29)

Описание режимов предсказания блоков 8 × 8

Режим предсказания по вертикали отсчетов сигнала яркости — направление обозначается цифрой 0 (Intra_8 × 8_Vertical). Этот режим может использоваться, если значения пикселов Y (i, −1) при i = 0, . . . , 7 доступны (например, они не выходят за границы изображения), и реализуется в соответствии с соотношением:

Режим предсказания по горизонтали отсчетов сигнала яркости — направление обозначено цифрой 1 (Intra_8 × 8_Horizontal). Этот режим может использоваться, если доступны значения пикселов Y (−1, j) при j = 0, . . . , 7, и ре-

Режим предсказания средней составляющей DC обозначается цифрой 2 (Intra_8 ×8_DC). Используется несколько вариантов вычисления DC: если доступны значения пикселов Y (i, −1) при i = 0, . . . , 7 и Y (−1, j) при j = 0, . . . , 7, то предсказанные значения пикселов блока находят следующим образом:

если не все значения пикселов Y (−1, j) при j = 0, . . . , 7 доступны, а значения пикселов Y (i, −1) при i = 0, . . . , 7 доступны, то предсказанные значения пикселов

если не все значения пикселов Y (i, −1) при i = 0, . . . , 7 доступны, а значения пикселов Y (−1, j) при j = 0, . . . , 7 доступны, то предсказанные значения пикселов

наконец, если некоторые значения пикселов Y (i, −1) при i = 0, . . . , 7 и некоторые значения пикселов Y (−1, j) при j = 0, . . . , 7 недоступны, то предсказанные значения пикселов блока следует рассчитывать так:

где BY — число битов на отсчет сигнала яркости.

Режим предсказания диагонально-вниз-влево отсчетов сигнала яркости — направление обозначено цифрой 3 (Intra_8 × 8_Diagonal_Down_Left).

Глава 10. Внутрикадровое кодирование изображений

использоваться, если доступны значения пикселов Y (i, −1) при i = 0, . . . , 15. Если обозначить m = i + [j/2], то предсказанные значения пикселов определяются при i = 0, . . . , 7 следующим образом:

Режим предсказания горизонтально-вверх отсчетов сигнала яркости — направление обозначено цифрой 8 (Intra_8 ×8_Horizontal_Up). Этот режим может использоваться, если доступны значения пикселов Y (−1, j) при j = −1, . . . , 7.

10.2.3.Режим предсказания пикселов яркости блоков 16 × 16

При использовании режима Intra_16 × 16 предсказывается целиком яркостная компонента макроблока. Поддерживаются 4 режима предсказания. Режим 0 (вертикальное предсказание), режим 1 (горизонтальное предсказание) и режим 2 (DC-предсказание) определены аналогично соответствующим режимам предсказания Intra_4 × 4 за исключением того, что вместо 4 соседей на каждой стороне для предсказания блока 4 × 4 используются 16 соседних отсчетов на каждой стороне для предсказания блока 16 × 16. Четвертый режим предсказания — так называемое плоскостное (plane) предсказание.

Режим предсказания по вертикали отсчетов сигнала яркости — направление обозначено цифрой 0 (Intra_16 × 16_Vertical). Этот режим может использоваться, если доступны значения пикселов Y (i, −1) при j = 0, . . . , 15 (например, они не выходят за границы изображения), и реализуется в соответствии с соотношением:

Режим предсказания по горизонтали отсчетов сигнала яркости — направление обозначено цифрой 1 (Intra_16 × 16_Horizontal). Этот режим может использоваться, если доступны значения пикселов Y (−1, j) при i = 0, . . . , 15, и ре-

Режим предсказания средней составляющей DC обозначается цифрой 2 (Intra_16×16_DC). Используется несколько вариантов вычисления DC: если доступны значения пикселов Y (i, −1) при i = 0, . . . , 15 и Y (−1, j) при j = 0, . . . , 15, то предсказанные значения пикселов блока находят следующим

10.2. Направленное пространственное внутрикадровое предсказание

(10.44) если недоступны значения пикселов Y (−1, j) при j = 0, . . . , 15, а значения пикселов Y (i, −1) при i = 0, . . . , 15 доступны, то предсказанные значения пикселов

если недоступны значения пикселов Y (i, −1) при i = 0, . . . , 15, а значения пикселов Y (−1, j) при j = 0, . . . , 15 доступны, то предсказанные значения пикселов

наконец, если недоступны некоторые значения пикселов Y (i, −1) при i = 0, . . . , 15 и некоторые значения пикселов Y (−1, j) при j = 0, . . . , 15, то предсказанные значения пикселов блока следует рассчитывать так:

где BY — число битов на отсчет сигнала яркости.

Режим плоскостного предсказания обозначается цифрой 3 (Intra_16 ×

× 16_Plane). Этот режим может использоваться, если доступны значения пикселов Y (i, −1) при i = 0, . . . , 15 и Y (−1, j) при j = 0, . . . , 15. Предсказанные значения пикселов определяются следующим образом:

ˆ { · − · − }

Y (i, j) = ClipY Z(i, j) = [(a + b (i 7) + c (j 7) + 16) /32] , i, j = 0, . . . , 15,

(10.48) где a = 16 (Y (−1, 15) + Y (15, −1)), b = [(5 H + 32) /64], c = [(5 V + 32) /64],

7

H = (n + 1) · (Y (8 + n, −1) − Y (6 − n, −1)),

n=0

7

V = (n + 1) · (Y (−1, 4 + n) − Y (−1, 2 − n)),

10.2.4. Режим предсказания пикселов блоков цветности

Пикселы блоков цветности предсказываются с помощью методики, аналогичной предсказанию яркости в режиме Intra_16×16, так как цветность обычно является гладкой функцией на достаточно больших областях.

Число пикселов цветности вдоль и поперек растра в каждом блоке изображения (4 × 4, 8 × 8 или 16 × 16) зависит от используемого формата цветности, варианты которого приведены в табл. 10.1.

Глава 10. Внутрикадровое кодирование изображений

Рис. 10.8. Форматы блоков цветности 4 × 4 при различных индексах: а — IC = 1; б —

IC = 2; с — IC = 3

Таблица 10.1. Изменение количества пикселов цветности в блоках изображения

При этом в каждом блоке изображения (блоке сигнала яркости) размером N × N размещается вдоль и поперек растра соответственно NCH = N/CH и NCV = = N/CV пикселов цветности Cr и Cb.

На рис. 10.8 приведены форматы блоков цветности 4 × 4 для различных форматов изображения. Формат блока цветности при IC = 3 совпадает с форматом блока яркости 4 × 4.

Режим предсказания средней составляющей DC блока цветности

обозначается цифрой 0 (Intra_Chroma_DC). Используется несколько вариантов

левого пиксела блока цветности 4 × 4 с индексом BlC определяется следующим образом: если IC = 1 или 2, то

i0 = 4 (BlC − 2 [BlC /2]) ; j0 = 4 [BlC /2] ;

если IC = 3, то

i0 = 8 [BlC /4 − 2 [BlC /8]] + 4 [BlC /4 − 2 [BlC /8] − 2 [(BlC /4 − 2 [BlC /8]) /2]] ; j0 = 8 [BlC /8] + 4 [(BlC /4 − 2 [BlC /8]) /2] .

При (i0, j0) = (0, 0) или i0, j0 > 0, значения предсказанияпикселов при (i0 + i, j0 + j), i, j = 0, . . . , 3 определяются следующим образом: если все пикселы C(i0 + i, −1) при i = 0, . . . , 3 и C(−1, j0 + j) при j = 0, . . . , 3 могут быть использованы для

10.2. Направленное пространственное внутрикадровое предсказание

если какие-либо пикселы C(i0 + i, −1) при i = 0, . . . , 3 не могут быть использованы для предсказания, а пикселы C(−1, j0 + j) при j = 0, . . . , 3 могут быть использованы для предсказания, то

если пикселы C(i0 + i, −1) при i = 0, . . . , 3 могут быть использованы для пред-

C(−1, j0 + j) при j = 0, . . . , 3 не могут быть использованы для предсказания цветности, то

где BC — количество битов на отсчет сигнала цветности.

Режим предсказания по горизонтали отсчетов сигнала цветности — направление обозначено цифрой 1 (Intra_Chroma_Horizontal). Этот режим может использоваться, если пикселы C(−1, j) при j = 0, . . . , MV C − 1 доступны для предсказания. Значения предсказанных пикселов находятся следующим образом:

где MHC и MV C — максимальное количество пикселов блока цветности вдоль и поперек растра.

Режим предсказания по вертикали отсчетов сигнала цветности — направление обозначено цифрой 2 (Intra_Chroma_Vertical). Этот режим может использоваться, если пикселы C(i, −1) при i = 0, . . . , MHC − 1 доступны для предсказания. Значения предсказанных пикселов находятся следующим образом:

Режим плоскостного предсказания отсчетов сигнала цветности обозначается цифрой 3 (Intra_Chroma_Plane). Этот режим может использоваться, если пикселы C(i, −1) при i = 0, . . . , MHC −1 и пикселы C(−1, j) при j = 0, . . . , MV C −1

Глава 10. Внутрикадровое кодирование изображений

i = 0, . . . , MHC − 1, j = 0, . . . , MV C − 1,

a= 16 (C(−1, MV C − 1) + C(MHC − 1, −1)) ; b = [(34 − 29 · (IC = 3) · H + 32) /64] ;

c = [(34 − 29 · (IC = 1) · V + 32) /64] ;

3+iC

H = (i + 1) · (C(4 + iC + i , −1) − C(2 + iC − i , −1));

i =0

3+j

C

V = (j + 1) · (C(−1, 4 + jC + j ) − C(−1, 2 + jC − j ));

-

При кодировании изображений с помощью JPEG-подобных алгоритмов обычно появляются искажения в виде характерного разбиения всего изображения на квадратные блоки пикселов с заметными границами. Эти искажения, называемые блокинг-эффектом, возникают вследствие деления изображения на блоки с последующим их независимым кодированием, в котором используется ДКП и квантование коэффициентов. Характерной особенностью ДКП с учетом квантования коэффициентов является возникновение ненулевых ошибок на границах блоков, которые идентифицируются глазом как скачки яркости от одного блока к другому. Подобно формированию блокинг-эффекта возникает так называемый мозаичный эффект, который обусловливается не резкими переходами между различными блоками, а заметным глазу различием яркости в соседних блоках. Можно также определить мозаичный эффект как остаточный блокинг-эффект после низкочастотной фильтрации изображения. Несмотря на то, что переходы между блоками становятся плавными, глаз воспринимает изображение как разбитое на блоки. Мозаичный эффект также возникает при слишком грубом квантовании коэффициентов ДКП, при котором изображения внутри соседних блоков сильно отличаются друг от друга.

Специально разработанные алгоритмы обработки изображений используются для сглаживания блочных артефактов. Фильтры, реализующие такие алгоритмы, сглаживая края блоков, улучшают визуальное восприятие изображения.

В зависимости от структуры блокинг-эффекта и его интенсивности алгоритм обработки блоков изображения может включать ряд операций. Возможно, например, выполнение следующих операций:

–фильтрация четырех вертикальных границ блока 16 × 16 сигнала яркости, состоящего из 16 блоков 4 × 4 пиксела яркости (a, b, c, d — рис. 10.9а);

–фильтрация четырех горизонтальных границ блока 16 ×16 сигнала яркости (e, f, g, h — рис. 10.9а);

10.3. Уменьшение влияния блокинг-эффекта

–фильтрация двух вертикальных границ блока 8 × 8 сигнала цветности, состоящего из четырех блоков 4 × 4 пиксела цветности (i, j — рис. 10.9б);

– фильтрация двух горизонтальных границ блока 8 ×8 сигнала цветности (k, l — рис. 10.9б).

Каждая фильтрующая операция затрагивает до трех пикселов с обеих сторон границы. На рис. 10.9в, г приведено по четыре пиксела с каждой стороны от вертикальной и горизонтальной границы примыкающих друг к другу блоков P и Q (p3, p2, p1, p0 и q0, q1, q2, q3).

Выбор параметров используемого фильтра зависит от параметров границ блоков и градиентов значений пикселов вдоль границ. Параметры границ блоков bS выбираются по правилам [4.16, 4.18], приведенным в табл. 10.2. Чем больше величина bS, тем интенсивней должна быть фильтрация возникающего блокингэффекта. Значение bS = 0 означает отсутствие фильтрации.

Группа пикселов из множества (p2, p1, p0 и q0, q1, q2) подвергается фильтрации, если bS > 0 и |p0 − q0| < α, |p1 − p0| < β, |q1 − q0| < β, где α и β — пороги, задаваемые стандартом [4.16–4.19].

Невыполнение условий фильтрации приводит к отключению фильтра, например когда изменение уровней пикселов вдоль границы блока имеет значительный градиент. Эти пороги зависят от усредненного коэффициента квантования блоков P и Q:

и от некоторых смещений этого коэффициента QA и QB для α и β соответственно. Когда параметр Qср мал, то малый градиент изменений уровней приграничных пикселов, скорее всего, вызван особенностями изображения, а не эффектом блочности. Следовательно, нет необходимости реализовать фильтрацию перехода, т. е. пороги α и β должны быть малыми. Если же параметр Qср велик, эффект блочного искажения оказывается более вероятным, что отражается в увеличении значений порогов α и β, и большее число граничных пикселов подвергается филь-

трации.

Величины α и β возрастают с ростом усредненного коэффициента квантования и зависят от числа битов на отсчет сигнала яркости BY и сигнала цветности

BC : при обработке сигнала яркости αα · 2(BY −8), ββ · 2(BY −8); при обработке сигнала цветности αα · 2(BC−8), ββ · 2(BC−8).

В стандарте [4.17] задано изменение смещений −6 QA, QB 6, реализующих уменьшение или увеличение эффективности фильтрации, а значения величин α , β сведены в табл. 10.3 в зависимости от некоторых аргументов DA

иDB , вычисляемых по формулам:

DA = min { max(0, Qср + QA), 51}; DB = min { max(0, Qср + QB ), 51}. (10.57)

Процесс фильтрации краев при bS < 4

При этом производится фильтрации значений примыкающих друг к другу пикселов pi и qi (i = 0 . . . 2). Результирующие значения пикселов p 0 и q 0 определяются следующим образом: