- •«Томский политехнический университет»
- •Е.С. Чердынцев мультимедийные сети
- •Глава 1. Введение в мультимедиа
- •1.1. Классификация мультимедиа
- •1.2. Текст
- •1.3. Звук
- •1.4. Графика и анимация
- •1.5. Видео
- •1.6. Требования к передаче мультимедиа по сетям
- •1.6.1. Характеристики реального времени (ограничения на задержки и нестабильность)
- •1.6.2. Требование высокой пропускной способности
- •1.6.3. Требования к ошибкам
- •1.6.4. Поддержка мультикаста
- •1.6.5. Управление сессиями
- •1.6.6. Безопасность
- •1.6.7. Поддержка мобильности
- •Глава 2. Поддержка распределенного мультимедиа трафика в Интернете
- •2.1. Поддержка трафика реального времени в Интернете
- •2.1.1. Задержки при обработке пакетов
- •2.1.2. Задержки при передаче пакетов
- •2.1.3. Задержка передачи
- •2.1.4. Задержки маршрутизации и обработки очередей
- •2.2. Требование высокой пропускной способности
- •2.3. Ошибки характеристик сети
- •2.4. Предлагаемые модели сервисов Интернет
- •2.4.1. Уточнение требований к сервисам и описанию трафика
- •2.4.2. Управление доступом
- •2.4.3. Управление трафиком
- •2.4.4. Классификация пакетов
- •2.4.5. Планирование пакетов
- •2.4.6. Потеря пакетов
- •2.4.7. Маршрутизация на основе QoS
- •2.5. Интегрированные сервисы
- •2.5.1. Классы гарантированного обслуживания
- •2.5.2. Сервис управления загрузкой
- •2.5.3. Сервис негарантированной доставки
- •2.5.4. Недостатки модели Intserv для Интернета
- •2.6. Дифферецированный сервис
- •2.6.1. Per Hop Behavior
- •2.7. Мультипротокольная коммутация по меткам
- •Глава 3. Расширение стека протоколов tcp/ip для поддержки функциональных требований распределенных мультимедийных приложений
- •3.1. Поддержка мультикаста
- •3.2. Управление сессиями
- •3.3. Безопасность
- •3.4. Мобильность
- •3.6. Session Initiation Protocol
- •Глава 4. Введение в rtp
- •4.1. Базовые принципы rtp
- •4.2. Стандартные элементы rtp
- •4.3. Связанные с rtp стандарты
- •Глава 5. Описание протокола rtp
- •5.1. Сессии rtp
- •5.2. Структура пакета rtp
- •5.3. Проверка качества пакета
- •5.4. Трансляторы и миксеры
- •Глава 6. Описание протокола rtсp
- •6.1. Компоненты rtcp
- •6.2. Передача пакетов rtcp
- •6.3. Формат пакетов rtcp
- •6.4. Безопасность и конфиденциальность
- •6.5. Проверка корректности данных
- •6.6. База данных участников сессии
- •6.7. Управление характеристиками времени
- •6.7.1. Отчетные интервалы
- •6.7.2. Базовые правила передачи
- •6.7.3. Процедура пересмотра вперед
- •6.7.4. Процедура пересмотра назад
- •6.7.5. Пересмотр пакетов bye
- •6.7.6. Общие проблемы реализации
- •Глава 7. Захват мультимедиа, проигрывание и управление характеристиками времени
- •7.1. Поведение отправителя
- •7.2. Захват мультимедиа и сжатие
- •7.2.1. Захват и сжатие звука
- •7.2.2. Захват и сжатие изображения
- •7.2.3. Использование предварительно записанной информации
- •7.3. Генерация пакетов rtp
- •7.3.1. Метки времени и модель времени rtp
- •7.3.2. Фрагментация
- •7.3.3. Заголовки, зависящие от формата данных
- •7.4. Поведение получателя
- •7.5. Получение пакетов
- •7.5.1. Получение пакетов данных
- •7.5.2. Получение управляющих пакетов
- •7.6. Буфер проигрывания
- •7.7. Декодирование, смешивание и проигрывание
- •7.7.1. Декодирование
- •7.7.2. Смешивание звука
- •Глава 8. Синхронизация звука и изображения
- •8.1. Поведение отправителя
- •8.2. Поведение получателя
- •8.3. Точность синхронизации
- •Глава 9. Компенсация ошибок
- •9.1. Компенсация потерь звука
- •9.1.1. Измерение качества звука
- •9.1.2. Замещение периодами тишины
- •9.1.3. Замещение шума
- •Глава 10. Исправление ошибок
- •10.1. Прямое исправление ошибок
- •10.1.1. Контроль четности
- •Глава 11. Контроль перегрузок
- •11.1. Необходимость контроля перегрузок
- •References
- •Multimedia networks
- •Published in author’s version
1.4. Графика и анимация
В эту группу входят как статичные цифровые изображения, так и динамические изображения, такие как flash-презентации. Несжатое цифровое изображение состоит из массива пикселей, где каждый пиксель со своими параметрами хранится в определенном количестве битов памяти. По сравнению с текстом, цифровые изображения требуют намного больше памяти. Например, изображение размером 4 на 6 дюймов при разрешении экрана 480 на 640 пикселей и 24-битном цвете требует около одного мегабайта памяти. Передача такого изображения по сети со скоростью 56.6 Kbps занимает около двух минут. Если изображение сжато в 10 раз, требуется уже около 100 Кбайт памяти и передача занимает около 14 секунд. Некоторые популярные схемы сжатия [5] приведены в таблице 1.3. Большинство современных схем сжатия имеют прогрессивный характер, что очень важно при передаче изображений по коммуникационным сетям [3]. Когда такое изображение получается, пользователь вначале видит вариант низкого качества, который затем постепенно улучшается. Обычно достаточно принять 5-10% изображения, чтобы получить общее представление о нем. Прогрессивное сжатие достигается: (а) прогрессивным кодированием часто встречающихся фрагментов изображения, (б) использованием векторной квантизации, начинающей с оттенков серого цвета с последовательным добавлением цветов, (в) использованием пирамидального кодирования, разбивающего изображение на слои в порядке увеличения разрешения при росте номера слоя.
Таблица 1.3
Схемы сжатия изображения
Схема сжатия |
Комментарии |
Graphics Interchange Format (GIF) |
Поддерживает до 256 цветов. Использует LZW (Lempel-Ziv-Welch) сжатие без потерь информации с поддержкой анимации. |
Portable Network Graphics (PNG) |
Поддерживает любое количество цветов. Использует схему сжатия zlib, с адаптивным фильтром сжимаемых блоков. Схема с потерей информации и без поддержки анимации. |
Joint Photographic Experts Group (JPEG) |
Наилучшим образом подходит для сжатия цветных и черно-белых фотографий с большим количеством цветовых оттенков (или оттенков серого). Этот стандарт сжатия базируется на использовании кодирования по Хауфману и кодов длин серий в процессе дискретного косинусного преобразования коэффициентов блоков изображения. Сжатие происходит с потерей информации. Стандартный JPEG не разрешает чересстрочную развертку, но ее поддерживает прогрессивный формат (Progressive JPEG). Progressive JPEG начинает с укрупненных блоков изображения с последующей их детализацией. |
JPEG2000 |
Подходит для широкого спектра изображений, поэтому используется в портативных цифровых камерах. Использует внедренную технику, основанную на вейвлетах (wavelet), хранящих информацию в потоке данных, а не в блоках. Эта схема также приводит к масштабируемой потере информации. |
JPEG-LS |
Подходит для однотонных изображений. Схема основана на алгоритме LOCO-I (Low COmplexity LOssless COmpression for Images), разработанного HP. Это схема без потери или практически без потери информации. |
Joint Bi-level Image Experts Group (JBIG) |
Подходит для черно-белых изображений. Использует схему множественного арифметического кодирования без потери информации. |
Изображения толерантны к некоторому уровню ошибок передачи, позволяя восстановить потерянную информацию. Кроме того, они не накладывают ограничений на передачу в реальном времени.