- •Курс лекций по дисциплине «Телевидение»
- •Стандарты видеокомпрессии для систем цифрового телевидения.
- •Сравнение эффективности стандартов видеокомпрессии
- •Обобщенная структурная схема видеокодека
- •8.1 Стандарт видеокомпрессии ISO/IEC 13818-2 / ITU-T H.262 / MPEG-2
- •Слайсы («срезы», «дольки»)
- •ДКП Прямое ДКП
- •Базовая матрица
- •Алгоритмы оценки движения
- •Алгоритм поиска UMHexagonS (используется в кодеке JM)
- •Типичный график заполнения буфера декодера
- •Профили и уровни MPEG-2
- •8.2 Стандарт видеокомпрессии ISO/IEC 14496-10 / ITU-T Rec. H.264
- •8.2.2. Целочисленное преобразование Прямое ДКП 4х4
- •Сканировании коэффициентов целочисленного преобразования при кадровом и полевом кодировании
- •2.2.3. Внутрикадровое предсказание Режимы прогноза яркости 4х4
- •Формирование секции (слайса) при полевом кодировании
- •Возможные режимы разделения макроблока (верхний ряд) и субмакроблока (нижний ряд)
- •Результат работы блока оценки движения кодера H.264
- •8.2.4. Интерполяция отсчетов яркости при компенсации движения
- •8.2.5 Фильтр деблокинга H.264
- •8.2.5 Профили H.264
Алгоритмы оценки движения
минимум суммы абсолютных разностей (SAD) – возможный критерий совпадения блоков
SAD(VX ,VY ) F x, y,t F x VX , y VY ,t 1
X ,Y
Некоторые виды алгоритмов:
•Полный поиск
•Логарифмический (а)
•Трехшаговый (б)
•Четырехшаговый (в)
•Ортогональный (г)
•UMHexagonS (д)
Алгоритм поиска UMHexagonS (используется в кодеке JM)
1) вычисление прогноза вектора движения по предыдущим векторам
predMV median(MVA,MVB,MVC )
2) несимметричный кросс-поиск (с сокращенной зоной поиска в вертикальном направлении в два раза
3.1) полный поиск с радиусом зоны поиска, равным 2 3.2) поиск по шаблону, состоящему из сетки шестиугольников разного масштаба, каждый из 16-ти точек. Поиск идет от
внутреннего шестиугольника к внешнему. Точка с наименьшим значением функции стоимости выбирается центром для следующего шага алгоритма
|
B |
|
C |
|
|
|
|
A
E
Типичный график заполнения буфера декодера
Заполнение буфера, %
Время, кадры
Размеры кадров различных типов в последовательности, байт
Профили и уровни MPEG-2
|
|
|
|
Профиль |
|
|
||
|
|
Simp- |
Main |
SNR |
Spa- |
High |
422 |
|
Уровень |
|
le |
tial |
|||||
|
|
|
|
|
||||
Изобра- |
I, P |
I, P, B |
I, P, |
I, P, |
I, P, |
I, P, B |
||
|
||||||||
|
жения |
B |
B |
B |
||||
|
|
|
|
|||||
|
Формат |
4:2:0 |
4:2:0 |
4:2:0 |
4:2:0 |
4:2:0, |
4:2:2 |
|
|
|
|
|
|
|
4:2:2 |
|
|
|
Макс. |
|
|
|
|
|
|
|
High |
скорость |
- |
80 |
- |
- |
100 |
- |
|
потока, |
||||||||
|
|
|
|
|
|
|
||
|
Мбит/с |
|
|
|
|
|
|
|
|
Макс. |
|
|
|
|
|
|
|
High- |
скорость |
- |
60 |
- |
60 |
80 |
- |
|
1440 |
потока, |
|||||||
|
|
|
|
|
|
|||
|
Мбит/с |
|
|
|
|
|
|
|
|
Отсчетов |
720 |
720 |
720 |
- |
720 |
720 |
|
|
в строке |
|||||||
|
|
|
|
|
|
|
||
|
Строк в |
576 |
576 |
576 |
|
576 |
608 |
|
Main |
кадре |
|
||||||
|
|
|
|
|
|
|||
Макс. |
|
|
|
|
|
|
||
|
|
|
|
|
|
|
||
|
скорость |
15 |
15 |
15 |
- |
20 |
50 |
|
|
потока, |
|||||||
|
|
|
|
|
|
|
||
|
Мбит/с |
|
|
|
|
|
|
|
|
Макс. |
|
|
|
|
|
|
|
Low |
скорость |
- |
4 |
4 |
- |
- |
- |
|
потока, |
||||||||
|
|
|
|
|
|
|
||
|
Мбит/с |
|
|
|
|
|
|
|
Фрагмент схемы кодера, масштабируемого по С/Ш (SNR)
8.2 Стандарт видеокомпрессии ISO/IEC 14496-10 / ITU-T Rec. H.264
8.2.1. Возможная упрощенная схема видеокодера H.264
|
|
|
|
УКС |
|
Вх. |
Вычи |
БП |
Кв |
ЭК |
Вых. |
|
татель |
БЗУ |
|||
|
|
|
|
|
|
|
|
|
|
ДЕКв |
|
|
|
|
|
|
|
|
|
|
|
БОП |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Сумм |
|
|
|
|
|
|
|
|
|
|
|
тор |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Прогноз |
|
|
|
ДФ |
|
|
|
|
|
|
|
Intra |
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
Комму |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
татор |
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
Intra/inter |
|
|
ПКД |
|
|
|
Память |
||||
|
|
|
|
|
|||||||
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
ОД
8.2.2. Целочисленное преобразование Прямое ДКП 4х4
|
a a |
a |
a |
x |
x |
x |
T |
b c |
c b |
x1121 x1222 x1323 |
|||
Y = AXA |
|
|
|
|
|
|
|
|
a |
x |
x |
x |
|
|
a a a |
|||||
|
c b |
b c |
x31 |
x32 |
x33 |
|
|
|
|
|
41 |
42 |
43 |
x14 |
a |
b |
||
x24 |
|
a |
c |
|
x34 |
|
a |
c |
|
x |
44 |
|
a |
b |
|
|
|
|
|
|
|
|
|
|
ac
a b
a b
ac
Y – матрица частотных коэффициентов, X – массив входных данных, А – матрица преобразования, элементы которой имеют следующие значения
a 1 |
, b |
1 cos |
|
, c |
1 cos 3 |
|
d c b |
2 1 1 |
b |
|
|
|
|
1 |
|
|
2 5 |
|
|
|
||||||||||||||
|
2(1 d2 ) |
|
|
|
||||||||||||||||||||||||||||||
2 |
|
|
2 |
|
|
8 |
|
|
|
2 |
|
8 |
|
|
|
|
|
|
2 |
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
a2 |
ab |
a2 |
ab |
|||||
|
|
|
|
|
|
|
|
|
1 1 |
1 1 |
|
x00 |
x01 |
x02 |
x03 |
|
|
1 2 |
1 1 |
|
|
|
|
|
2 |
|
2 |
|
||||||
|
|
|
|
|
|
|
|
|
2 1 |
1 |
2 |
|
|
x |
x |
x |
x |
|
|
1 1 |
1 |
2 |
|
|
ab |
b2 |
ab b2 |
|||||||
Y CXCT |
E |
|
|
|
|
|
|
|
|
|
|
|
|
2 |
|
4 |
2 |
4 |
|
|||||||||||||||
|
|
|
1 1 |
1 |
1 |
10 |
11 |
12 |
13 |
1 1 |
1 |
2 |
|
|
||||||||||||||||||||
|
|
|
прям |
|
|
|
|
x20 |
x21 |
x22 |
x23 |
|
|
|
|
a2 |
ab |
a2 |
ab |
|||||||||||||||
|
|
|
|
|
|
|
|
|
1 2 |
2 |
|
|
|
|
x |
x |
x |
|
|
1 2 |
1 |
|
|
|
|
|
|
|
2 |
|
2 |
|
||
|
|
|
|
|
|
|
|
|
1 |
x |
|
|
1 |
|
|
ab |
b |
|
ab b |
|
|
|||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
30 |
31 |
32 |
33 |
|
|
|
|
|
|
|
|
2 |
2 |
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
X C Y Eобр CT |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2 |
|
4 |
2 |
4 |
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
Сканировании коэффициентов целочисленного преобразования при кадровом и полевом кодировании
Преобразование Адамара для яркостных DC-коэффициентов макроблока
|
|
|
|
1 1 |
1 1 |
|
DC |
DC DC DC |
|
|
1 |
1 1 1 |
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
00 |
01 |
02 |
03 |
|
|
|
|
|
|
|
|
|
|
T |
|
1 1 |
1 |
1 |
DC10 |
DC11 |
DC12 |
DC13 |
|
1 |
1 1 |
1 |
|
/ 2 |
|||||
Y C X E C |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
inv |
|
|
1 1 |
1 1 |
DC |
DC |
DC |
DC |
|
|
1 1 1 1 |
|
||||||||
|
|
|
|
|
|||||||||||||||||
|
|
|
|
|
20 |
21 |
22 |
23 |
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
DC |
DC |
DC |
|
|
|
|
|
|
||||
|
|
|
1 1 1 |
|
DC |
|
1 |
1 1 |
|
|
|||||||||||
|
|
|
|
|
1 |
|
30 |
31 |
32 |
33 |
|
|
1 |
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
Преобразование 2х2 для цветоразностных DC-коэффициентов макроблока
Y |
1 |
1 DC00 |
DC01 1 |
1 |
|||
|
1 |
|
DC10 |
DC11 |
1 |
1 |
|
D |
1 |
||||||
|
|
|
|
|
|
|
|
2.2.3. Внутрикадровое предсказание Режимы прогноза яркости 4х4
|
|
0 (вертикальная) |
|
1 (горизонтальная) |
|
|
|
2 (DC) |
|||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
M |
A |
B |
C |
D |
E |
F |
G |
H |
|
M |
A |
B |
C |
|
D |
E |
F |
G |
H |
|
M |
A |
B |
C |
D |
E |
F |
G |
H |
||||
I |
|
|
|
|
|
|
|
|
|
|
|
|
|
I |
|
|
|
|
|
|
|
|
|
|
I |
|
Mean |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
J |
|
|
|
|
|
|
|
|
|
|
|
|
|
J |
|
|
|
|
|
|
|
|
|
|
J |
|
(A-D, |
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
K |
|
|
|
|
|
|
|
|
|
|
|
|
|
K |
|
|
|
|
|
|
|
|
|
|
K |
|
I-L) |
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
L |
|
|
|
|
|
|
|
|
|
|
|
|
|
L |
|
|
|
|
|
|
|
|
|
|
L |
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
3 (Диагональная вниз налево) 4 (Диагональная вниз вправо)
M A B C D E F G H |
M A B C D E F G H |
I |
I |
J |
J |
K |
K |
L |
L |
5 (вертикально вправо) |
|
6 (горизонтально вниз) |
|
7 (вертикально влево) |
||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
M |
A |
B |
C |
D |
E |
F |
G |
H |
|
M |
A |
B |
C |
D |
E |
F |
G |
H |
|
M |
A |
B |
C |
D |
E |
F |
G |
H |
I |
|
|
|
|
|
|
|
|
|
I |
|
|
|
|
|
|
|
|
|
I |
|
|
|
|
|
|
|
|
J |
|
|
|
|
|
|
|
|
|
J |
|
|
|
|
|
|
|
|
|
J |
|
|
|
|
|
|
|
|
K |
|
|
|
|
|
|
|
|
|
K |
|
|
|
|
|
|
|
|
|
K |
|
|
|
|
|
|
|
|
L |
|
|
|
|
|
|
|
|
|
L |
|
|
|
|
|
|
|
|
|
L |
|
|
|
|
|
|
|
|
Режимы прогнозов макроблоков 16х16
8 (горизонтально вверх)
M A B C D E F G H I 


J
K 


L
|
0(вертикальная) |
|
H |
V |
………. |
|
1(горизонтальная) |
|
2(DC) |
3(плоская) |
|
|
H |
|
H |
H |
|
V |
… |
V |
Mean(H+V) |
V |
|
… |
|||||
|
|
|
|
||
|
… |
|
|
|
|
|
. |
|
|
|
Формирование секции (слайса) при полевом кодировании
