- •3. Практическое использование видеокомпрессии в телевидении
- •3.1. Задача сжатия информации и пути ее решения
- •3.2. Международный стандарт кодирования с информационным сжатием mpeg-2
- •3.2.1. Профили и уровни стандарта кодирования mpeg-2
- •Профили, уровни, согласованные точки стандарта mpeg-2
- •3.2.2. Компрессия видеоданных
- •3.2.3. Кодируемые кадры
- •3.2.4. Компенсация движения
- •3.2.5. Использование дкп в стандарте кодирования mpeg-2
- •Матрица квантования яркостного сигнала для блоков изображений I-кадров
- •Матрица квантования цветоразностных сигналов для блоков изображений I-кадров
- •3.2.6. Сжатие звукоданных Эффект маскирования и психоакустическая модель слуха
- •П Рис. 3.10.Проявление временнóго маскированияолосное кодирование и блок фильтров
- •Квантование и распределение бит
- •Уровни обработки звукоданных
- •3.2.7. Алгоритмы сжатия звукоданных кодерами различных уровней Особенности работы кодера первого уровня
- •Принципы функционирования кодера второго уровня
- •Алгоритм сжатия звукоданных кодерами третьего уровня
- •3.2.8. Реализация цифрового многоканального звука, поддерживаемая стандартом mpeg-2
- •Иерархия многоканальных звуковых систем согласно Рекомендации bs.775
- •Система улучшенного кодирования звука аас
- •3.2.9. Формирование транспортного потока данных в устройствах кодирования mpeg-2 Структура транспортного потока
- •Значения идентификаторов piDдля потока информацииSi
- •3.2.10. Качество телевизионных изображений при кодировании по стандарту mpeg-2
- •3.3. Стандарт представления медиа-объектов mpeg-4
- •3.3.1. Описание сцены в стандарте mpeg-4
- •3.3.2. Принципы доставки потоков данных
- •3.3.3. Кодирование визуальных объектов
- •3.3.4. Кодирование звуковых объектов
- •3.3.5. Профили и уровни стандарта mpeg-4
- •Профили и типы объектов mpeg-4 видео
- •Параметры потока для некоторых профилей mpeg-4 видео
- •Параметры предлагаемого студийного профиля стандарта mpeg-4
- •Требования к декодеру звука масштабируемого профиля
- •Профили и типы объектов mpeGаудио
- •Профили графических средств и описаний сцены в mpeg-4
- •3.3.6. Идентификация и защита интеллектуальной собственности
- •3.4. Стандарт кодированного представления визуальной информации н.264/avCилиMpeg-4Part10
- •3.4.1. Структура стандарта видеокомпрессии н.264 Основные механизмы кодирования, используемые в стандарте н.264
- •Формирование закодированных снимков
- •Моды слоев стандарта н.264
- •Синтаксис элементов макроблока
- •Используемые типы карт распределения макроблоков по группам слоев
- •Профили, используемые стандартом н.264
- •Формат закодированных данных
- •3.4.2. Базовый профиль Особенности кодирования, обусловленные базовым профилем
- •Использование ссылочных снимков
- •Мгновенная очистка буфера декодера
- •Лишний кодированный снимок
- •Произвольный порядок слоев
- •Прогнозирование макроблоков
- •Древовидная структура компенсации движения
- •Предсказание векторов движения
- •Прогноз в моде intra
- •Деблочный фильтр
- •Условия фильтрации
- •Преобразование и квантование
- •3.4.3. Основной профиль Особенности кодирования в основном профиле
- •Ссылочные снимки
- •Опции прогноза
- •Опции прогнозов для макроблоков в-слоев
- •Двунаправленный прогноз
- •Прямой прогноз
- •Чересстрочная развертка
- •Контекстно-адаптивное арифметическое кодирование (савас)
- •Экспоненциальные коды Голомба
- •Процесс кодирования
- •Контекстные модели для первого бита
- •Контекстные модели
- •Контекстные модели
- •Модуль арифметического кодирования
- •3.4.4. Расширенный профиль
- •Слои sPиSi
- •Слои деления данных
- •3.4.5. Транспортный механизм стандарта н.264 Структура кодированной видеопоследовательности
- •Элементы rbsp
- •Параметрические множества
- •Передача и хранение единиц nal
- •3.4.6. Кодек стандарта н.264
- •3.5. Стандарт описания мультимедийной информации mpeg-7
- •3.5.1. Общие сведения о стандарте mpeg-7
- •3.5.2. Основные части стандарта mpeg-7
- •3.5.3. Описание главных функций стандарта mpeg-7 Системы стандарта mpeg-7
- •Язык описания определений mpeg-7
- •Аудио mpeg-7
- •Визуальный mpeg-7
- •Основные объекты и схемы описания мультимедиа mpeg-7
- •Эталонные программы mpeg-7: модель экспериментов (eXperimentationModel)
- •3.5.4. Области применения стандарта mpeg-7
- •Контрольные вопросы
Ссылочные снимки
В-слои используют два списка ранее закодированных ссылочных снимков – список 0 и список 1, в которых хранятся снимки с близкими и давними сроками. Оба списка могут хранить прошлые и будущие сжатые снимки, которые будут демонстрироваться до или после текущего кадра.
Список 0: ближайший снимок в прошлом (в хронологическом порядке) индексируется нулем, за которым следуют другие прошлые снимки (с возрастанием счетчика снимков), а потом будущие снимки (по отношению к текущему снимку).
Список 1: ближайший будущий снимок имеет индекс 0, за ним следуют другие будущие снимки (с увеличением счетчика снимков), а потом прошлые снимки.
Выбранный индекс посылается в виде слова экспоненциального кода Голомба, и поэтому самым эффективным выбором ссылочного индекса (с наименьшим кодовым словом) будет индекс 0 (то есть предыдущий закодированный снимок из списка 0 или следующий снимок из списка 1).
Опции прогноза
Части макроблоков из В-слоев могут быть спрогнозированы одним из следующих способов: прямая мода, компенсация движения по снимкам из списка 0, компенсация движения по снимкам из списка 1 или двунаправленный прогноз компенсации движения одновременно по спискам 0 и 1. Для каждого блока деления макроблока можно выбрать различные моды прогнозирования (табл. 3.15).
Таблица 3.15
Опции прогнозов для макроблоков в-слоев
|
Блоки |
Опции |
|
1616 |
Прямая, список 0, список 1 или двунаправленная |
|
168 или 816 |
Список 0, список 1 или двунаправленная (выбираются отдельно для каждого блока) |
|
88 |
Прямая, список 0, список 1 или двунаправленная (выбираются отдельно для каждого блока) |
Если используются блоки 88, то мода, выбранная для каждого блока 88, применяется к каждому подблоку этого блока.
Двунаправленный прогноз
В моде двунаправленного прогноза ссылочный блок, имеющий размер текущего блока или подблока, строится по спискам 0 и 1 ссылочных снимков. Из каждого списка 0 и 1 извлекается по одной ссылочной области (значит, потребуется два вектора движения), и каждый блок-прогноз вычисляется как среднее значение соответствующих прогнозируемых областей из списков 0 и 1.
Векторы движения списков 0 и 1 двунаправленных прогнозов макроблоков или блоков сами прогнозируются по обратным векторам движения, которые имеют такое же временнóе направление. Например, вектор текущего макроблока, указывающий на кадр в прошлом, прогнозируется по другим соседним векторам, которые также указывают на прошлые кадры.
Прямой прогноз
В прямой моде векторы движения макроблоков или их частей из В-слоев не передаются декодеру. Вместо этого декодер вычисляет векторы списков 0 и 1 на основе ранее закодированных векторов и использует их для выполнения двунаправленной компенсации движения декодированного остаточного блока. Пропущенный макроблокВ-слоя реконструируется декодером с помощью прямого прогноза.
В заголовке слоя устанавливается флаг, обозначающий использование пространственного или временнóго метода для вычисления векторов макроблоков или их подблоков в прямой моде.
В пространственной прямой моде списки 0 и 1 прогнозированных векторов вычисляются следующим образом. Если близкий макроблок или его часть в списке 1 ссылочных снимков имеет вектор движения, который меньше, чем 1/2 яркостного пикселя по абсолютной величине, то один или оба прогнозируемые векторы обнуляются. В противном случае прогнозные списки 0 и 1 векторов используются для совершения двунаправленной компенсации движения. Во временнóй прямой моде декодер выполняет следующие шаги [33]:
Найти ссылочный снимок списка 0 для близкого макроблока или его части на снимке списка 1. Эта ссылка списка 0 становится ссылкой первого списка для текущего макроблока или его части.
Найти вектор MVсписка 0 для близкого макроблока или его части на снимке списка 1.
Перемасштабировать вектор MVс помощью «расстояния» – порядкового счетчика снимков между текущим снимком и снимком списка 1: это будет новый векторMV1 списка 1.
Перемасштабировать вектор MVс помощью «расстояния» – порядкового счетчика снимков между текущим снимком и снимком списка 0: это будет новый векторMV0 списка 0.
Эти моды слегка модифицируются, когда, например, прогнозные ссылочные макроблоки или их части недоступны или они кодируются в моде intra.
