4 курс (заочка) / Лекции / 3, 4, 5 лекции МИС (SIP, RTP)
.pdfМИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ
Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования
«НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ ТОМСКИЙ ПОЛИТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ»
_______________________________________________________________________________________
Е.С. Чердынцев
МУЛЬТИМЕДИЙНЫЕ СЕТИ
Допущено Учебно-методическим объединением по профессионально-педагогическому образованию
в качестве учебного пособия для магистров направления 230100 «Информатика и вычислительная техника»
Издательство Томского политехнического университета
2011
УДК 681.327.1 (0.75.8) ББК 32.973.202 Я73
Ч 459
Чердынцев Е.С.
Ч459 Мультимедийные сети: Учебное пособие. – Томск: Изд-во Томского политехнического университета, 2011. – 97 с.
В пособии рассмотрены вопросы, связанные с передачей мультимедийной информации по глобальным сетям, включая основы мультимедиа, требования по передаче потоков мультимедиа, стандарты и протоколы, удовлетворяющие требованиям передачи таких потоков. Подробно рассмотрен протокол RTP для передачи и контроля мультимедийных данных, проигрывания, управления временем, синхронизации звука и изображения, контроля ошибок и перегрузок сети. Предназначено для магистров направления 230100 «Информатика и вычислительная техника».
УДК 681.327.1 (0.75.8) ББК 32.973.202 Я73
Рецензенты
Доктор технических наук, профессор НИ ИрГТУ
Л.В. Массель
Доктор технических наук, профессор ТПУ
О.Г. Берестнева
Кандидат технических наук, начальник отдела ИТ ОАО "ТомскНИПИнефть"
А.А. Напрюшкин
©Томский политехнический университет, 2011
©Чердынцев Е.С., 2011
©Оформление. Издательство ТПУ, 2011
2
ОГЛАВЛЕНИЕ
Глава 1. Введение в мультимедиа ................................................................. |
6 |
1.1. Классификация мультимедиа.............................................................. |
6 |
1.2. Текст ...................................................................................................... |
7 |
1.3. Звук ........................................................................................................ |
8 |
1.4. Графика и анимация............................................................................. |
9 |
1.5. Видео.................................................................................................... |
11 |
1.6. Требования к передаче мультимедиа по сетям ............................... |
11 |
1.6.1. Характеристики реального времени (ограничения на задержки |
|
и нестабильность) .................................................................................. |
12 |
1.6.2. Требование высокой пропускной способности ........................ |
12 |
1.6.3. Требования к ошибкам ................................................................ |
13 |
1.6.4. Поддержка мультикаста .............................................................. |
14 |
1.6.5. Управление сессиями .................................................................. |
14 |
1.6.6. Безопасность................................................................................. |
15 |
1.6.7. Поддержка мобильности ............................................................. |
15 |
Глава 2. Поддержка распределенного мультимедиа трафика в Интернете
......................................................................................................................... |
16 |
2.1. Поддержка трафика реального времени в Интернете .................... |
16 |
2.1.1. Задержки при обработке пакетов ............................................... |
16 |
2.1.2. Задержки при передаче пакетов ................................................. |
16 |
2.1.3. Задержка передачи ....................................................................... |
17 |
2.1.4. Задержки маршрутизации и обработки очередей .................... |
17 |
2.2. Требование высокой пропускной способности ............................... |
18 |
2.3. Отклонения характеристик сети ....................................................... |
19 |
2.4. Предлагаемые модели сервисов Интернет ...................................... |
19 |
2.4.1. Уточнение требований к сервисам и описанию трафика ........ |
19 |
2.4.2. Управление доступом .................................................................. |
21 |
2.4.3. Управление трафиком ................................................................. |
22 |
2.4.4. Классификация пакетов ............................................................... |
22 |
2.4.5. Планирование пакетов ................................................................. |
23 |
2.4.6. Потеря пакетов ............................................................................. |
23 |
2.4.7. Маршрутизация на основе QoS .................................................. |
23 |
2.5. Интегрированные сервисы ................................................................ |
24 |
2.5.1. Классы гарантированного обслуживания ................................. |
26 |
2.5.2. Сервис управления загрузкой ..................................................... |
27 |
2.5.3. Сервис негарантированной доставки ......................................... |
27 |
2.5.4. Недостатки модели Intserv для Интернета ................................ |
27 |
3 |
|
2.6. Дифферецированный сервис ............................................................. |
28 |
2.6.1. Per Hop Behavior (PHB) ............................................................... |
29 |
2.7. Мультипротокольная коммутация по меткам ................................. |
30 |
Глава 3. Расширение стека протоколов TCP/IP для поддержки |
|
функциональных требований распределенных мультимедийных |
|
приложений ................................................................................................... |
32 |
3.1. Поддержка мультикаста .................................................................... |
32 |
3.2. Управление сессиями......................................................................... |
33 |
3.3. Безопасность ....................................................................................... |
36 |
3.4. Мобильность ....................................................................................... |
37 |
3.5. H.323 .................................................................................................... |
37 |
3.6. Session Initiation Protocol (SIP) .......................................................... |
41 |
Глава 4. Введение в RTP .............................................................................. |
45 |
4.1. Базовые принципы RTP ..................................................................... |
45 |
4.2. Стандартные элементы RTP.............................................................. |
45 |
4.3. Связанные с RTP стандарты.............................................................. |
46 |
4.4. Сессии RTP ......................................................................................... |
48 |
4.5. Структура пакета RTP........................................................................ |
48 |
4.6. Проверка качества пакета.................................................................. |
49 |
4.7. Трансляторы и миксеры..................................................................... |
49 |
Глава 5. Описание протокола RTCP ........................................................... |
51 |
5.1. Компоненты RTCP ............................................................................. |
51 |
5.2. Передача пакетов RTCP..................................................................... |
51 |
5.3. Формат пакетов RTCP ....................................................................... |
51 |
5.4. Безопасность и конфиденциальность............................................... |
53 |
5.5. Проверка корректности данных........................................................ |
54 |
5.6. База данных участников сессии........................................................ |
56 |
5.7. Управление характеристиками времени .......................................... |
58 |
5.7.1. Отчетные интервалы.................................................................... |
59 |
5.7.2. Базовые правила передачи .......................................................... |
59 |
5.7.3. Процедура пересмотра вперед.................................................... |
59 |
5.7.4. Процедура пересмотра назад ...................................................... |
60 |
5.7.5. Пересмотр пакетов BYE.............................................................. |
60 |
5.7.6. Общие проблемы реализации ..................................................... |
61 |
Глава 6. Захват мультимедиа, проигрывание и управление |
|
характеристиками времени .......................................................................... |
62 |
6.1. Поведение отправителя ..................................................................... |
62 |
6.2. Захват мультимедиа и сжатие ........................................................... |
62 |
6.2.1. Захват и сжатие звука .................................................................. |
63 |
6.2.2. Захват и сжатие изображения ..................................................... |
64 |
6.2.3. Использование предварительно записанной информации ...... |
65 |
4
6.3. Генерация пакетов RTP ..................................................................... |
65 |
6.3.1. Метки времени и модель времени RTP ..................................... |
66 |
6.3.2. Фрагментация ............................................................................... |
67 |
6.3.3. Заголовки, зависящие от формата данных ................................ |
67 |
6.4. Поведение получателя ....................................................................... |
68 |
6.5. Получение пакетов ............................................................................. |
68 |
6.5.1. Получение пакетов данных......................................................... |
69 |
6.5.2. Получение управляющих пакетов.............................................. |
71 |
6.6. Буфер проигрывания .......................................................................... |
73 |
6.7. Декодирование, смешивание и проигрывание ................................ |
73 |
6.7.1. Декодирование ............................................................................. |
73 |
6.7.2. Смешивание звука ....................................................................... |
74 |
Глава 7. Синхронизация звука и изображения .......................................... |
75 |
7.1. Поведение отправителя ..................................................................... |
75 |
7.2. Поведение получателя ....................................................................... |
77 |
7.3. Точность синхронизации ................................................................... |
79 |
Глава 8. Компенсация ошибок..................................................................... |
80 |
8.1. Компенсация потерь звука ................................................................ |
80 |
8.1.1. Измерение качества звука ........................................................... |
80 |
8.1.2. Замещение периодами тишины .................................................. |
81 |
8.1.3. Замещение шума .......................................................................... |
81 |
8.1.4. Повторение ................................................................................... |
82 |
8.2. Компенсация потерь изображения ................................................... |
83 |
8.2.1. Компенсация передвижения ....................................................... |
84 |
8.3. Чередование (Interleaving) ................................................................. |
84 |
Глава 9. Исправление ошибок и контроль перегрузок ............................. |
86 |
9.1. Прямое исправление ошибок ............................................................ |
86 |
9.1.1. Контроль четности....................................................................... |
86 |
9.1.2. Неравномерная защита от ошибок............................................. |
88 |
9.1.3. Коды Рида-Соломона................................................................... |
89 |
9.1.4. Избыточное кодирование звука.................................................. |
89 |
9.2. Кодирование канала ........................................................................... |
89 |
9.3. Повторная передача ........................................................................... |
90 |
9.4. Контроль перегрузок.......................................................................... |
90 |
9.4.1. Необходимость контроля перегрузок ........................................ |
90 |
СПИСОК ЛИТЕРАТУРЫ ............................................................................ |
93 |
5
Глава 1. Введение в мультимедиа
Термин ‘мультимедиа’ применяется к различным классам представления информации. Составляющие мультимедиа могут быть разбиты на три основные группы: текстовая, визуальная и звуковая информация. Текстовая информация – это не только текст в чистом виде, но также и форматированный текст с различными управляющими символами, математическими выражениями, фонетическими транскрипциями произношения, нотными знаками и гипертекстом. Визуальная информация может включать рисованные линии, карты, изображения или фотографии, анимацию, объекты виртуальной реальности, видео- и телеконференции. Звуковая информация может быть представлена голосовой информацией телефонного или широковещательного качества, музыкальными фрагментами или записями биометрических звуковых сигналов. Текстовая составляющая мультимедиа обычно уже представлена в цифровой форме, тогда как визуальная и звуковая информация часто требует преобразования из аналоговой формы с использованием соответствующих технологий.
1.1.Классификация мультимедиа
Сточки зрения передачи мультимедиа она может быть классифи-
цирована на передаваемую в реальном времени (Real-Time – RT) или не в реальном времени (Non Real-Time – NRT). Мультимедиа первого типа (RT) требует ограничений на задержку пакетов, в то время как мультимедиа второго типа (например, текст и изображение) таких ограничений не требует, но может иметь жесткие ограничения на наличие ошибок при передаче. Существует два основных подхода к контролю ошибок при передаче мультимедийной информации [1]. Первый основан на автоматическом повторе передачи потерянных или поврежден-
ных пакетов (Automatic Retransmission reQuest – ARQ). Этот подход используется в протоколе транспортного уровня TCP (Transport Control Protocol) в стеке протоколов TCP/IP. Приложения, требующие безошибочной передачи NRT информации, обычно используют именно этот протокол. При втором подходе (Forward Error Correction – FEC)
–передается избыточная информация, позволяющая обнаруживать и исправлять ошибки без повторной передачи пакетов. Такой подход используется в другом протоколе транспортного уровня UDP (User Datagram Protocol) в том же стеке протоколов TCP/IP. Приложения, обменивающиеся мультимедийной информацией, допускающей ошибки (как
6
RT, так и NRT) обычно используют UDP для исключения потерь времени на повторную передачу пакетов. В [2] приводится ряд результатов экспериментов по использованию FEC в UDP на глобальной широкополосной сети STARTAP.
RT мультимедиа разделяется на дискретную (Discrete media – DM)
инепрерывную (Continuous media – CM), в зависимости от того, передаются ли данные дискретными порциями или непрерывным потоком.
Всвою очередь СМ может разделяться на допускающую ошибки
ине допускающую их. Примером RT первого типа могут служить звуковые и видео потоки, используемые при проведении звуковых и видео конференций, а примером второго – приложения, запускаемые на удаленном компьютере. Потоковое вещание, используемое для вещания через Интернет, допускает некоторый уровень ошибок при передаче информации. Далее мы рассмотрим некоторые общие типы мультимедиа и их характеристики в терминах пропускной способности, допустимых ошибок и специфики режима реального времени.
1.2. Текст
Текст наиболее популярен среди остальных типов мультимедиа. Он представлен в сети Интернет различными формами, включая файлы или сообщения, использующие различные протоколы передачи, такие как FTP (File Transfer Protocol: для передачи двоичных и ASCII файлов),
HTTP (Hyper Text Transfer Protocol: для передачи HTML страниц) или SMTP (Simple Mail Transfer Protocol: для обмена почтовыми со-
общениями). В двоичном виде текст представляется в 7-битной USASCII, 8-битной ISO-8859, 16-битной Unicode или 32-битной ISO 10646
кодировочных таблицах, в зависимости от используемого языка и страны. Требования к пропускной способности для текстовой информации в основном зависят от ее размера, который может быть существенно уменьшен при использовании различных схем сжатия информации [3] как показано в таблице 1.1.
Требования к допустимому уровню ошибок при передаче текста зависят в основном от используемых приложений. Приложения, передающие текстовые файлы, требуют полного отсутствия ошибок передачи, используя протокол TCP. Другие приложения могут допускать некоторый процент ошибочной информации и используют для передачи протокол UDP.
Приложения, работающие преимущественно с текстом, не имеют ограничений, связанных с передачей в реальном времени. В тоже время
7
приложения, передающие непрерывный поток сообщений, накладывают существенные ограничения на величину задержки в их передаче.
|
Таблица 1.1 |
|
|
Схемы сжатия текста |
|
|
|
|
Схема сжатия |
Комментарии |
|
Кодирование |
Символы с высокой вероятностью появления заменяются на |
|
Шеннона-Фано |
более короткие кодовые слова. |
|
|
|
|
Кодирование Ха- |
Аналогично кодированию Шеннона-Фано. |
|
уфмана |
|
|
LZW |
Замена строки символов единственным кодом. Анализа тек- |
|
|
ста не проводится. Вместо этого каждая новая строка симво- |
|
|
лов добавляется в таблицу строк. |
|
|
|
|
Unix сжатие |
Использует LZW с растущим словарем. Вначале словарь со- |
|
|
держит 512 элементов и по мере необходимости удваивает- |
|
|
ся. |
|
|
1.3. Звук |
|
Звуковая информация представляет собой звуки, преобразованные в цифровой вид с использованием выборок (sampling) и квантизации (quantization). Оцифрованный звук передается по сети как поток дискретных пакетов. Требования к пропускной способности сети зависят от характеристик звука. Например, голос по телефону сжимается с потерей информации с 12 бит до 8 бит. Это уменьшает скорость передачи с 96 kbps до 64 kbps. Некоторые схемы сжатия [4], как показано в таблице 1.2, часто используются для звуковых файлов.
Звуковая информация не накладывает жестких ограничений на наличие ошибок в процессе ее передачи. Потеря 1-2 % пакетов практически не отражается на ее качестве. Сегодня большинство мультимедийных приложений, использующих звук, имеют встроенный механизм интерполяции потерянных пакетов.
Требования реального времени для звука жестко связаны с ожидаемым уровнем интерактивности участвующих сторон. Некоторые приложения, такие как Интернет-телефония, подразумевающие двустороннее взаимодействие, имеют высокий уровень интерактивности и требуют коротких времен отклика. В этом случае накладываются жесткие ограничения на задержку пакетов для обеспечения приемлемого качества звука. Приложения, использующие такой тип мультимедиа, называют зависимыми от режима реального времени (Real-Time Intolerant – RTI). В большинстве RTI приложений допускается задержка не более 200 мс. В других приложениях, таких как Интернет-вещание (webcast),
8
использующих одностороннюю передачу звука, уровень интерактивности близок к нулю. Интерактивность в этом случае ограничивается командами пользователя к смене каналов.
Таблица 1.2
Схемы сжатия звука
Звуковой кодек |
Использование |
Скорость |
|
(Kbps) |
|||
|
|
||
Кодово-импульсная мо- |
Узкополосная речь (300 – 3300 Hz) |
64 |
|
дуляция (G.711) |
|||
|
|
||
GSM |
Узкополосная речь (300 – 3300 Hz) |
13 |
|
CS-ACELP (G.729) |
Узкополосная речь (300 – 3300 Hz) |
8 |
|
G.723.3 |
Узкополосная речь (300 – 3300 Hz) |
6.4 и 5.3 |
|
Адаптивная дифферен- |
|
|
|
циальная импульсно- |
Узкополосная речь (300 – 3300 Hz) |
32 |
|
кодовая модуляция |
|||
|
|
||
(G.726) |
|
|
|
SBC (G.722) |
Широкополосная речь (50 – 7000 Hz) |
48/56/64 |
|
MPEG layer III (MP3) |
Широкополосный звук качества CD (10 – |
128 – 112 |
|
22Khz) |
Kbps |
||
|
1.4.Графика и анимация
Вэту группу входят как статичные цифровые изображения, так и динамические изображения, такие как flash-презентации. Несжатое цифровое изображение состоит из массива пикселей, где каждый пиксель со своими параметрами хранится в определенном количестве битов памяти. По сравнению с текстом, цифровые изображения требуют намного больше памяти. Например, изображение размером 4 на 6 дюймов при разрешении экрана 480 на 640 пикселей и 24-битном цвете требует около одного мегабайта памяти. Передача такого изображения по сети со скоростью 56.6 Kbps занимает около двух минут. Если изображение сжато в 10 раз, требуется уже около 100 Кбайт памяти и передача занимает около 14 секунд. Некоторые популярные схемы сжатия [5] приведены в таблице 1.3. Большинство современных схем сжатия имеют прогрессивный характер, что очень важно при передаче изображений по коммуникационным сетям [3]. Когда такое изображение получается, пользователь вначале видит вариант низкого качества, который затем постепенно улучшается. Обычно достаточно принять 5-10% изображения, чтобы получить общее представление о нем. Прогрессивное сжатие достигается:
прогрессивным кодированием часто встречающихся фраг-
ментов изображения;
9
использованием векторной квантизации, начинающей с оттенков серого цвета с последовательным добавлением цветов;
использованием пирамидального кодирования, разбиваю-
щего изображение на слои в порядке увеличения разрешения при росте номера слоя.
|
Таблица 1.3 |
||
|
Схемы сжатия изображения |
||
|
|
|
|
Схема сжа- |
Комментарии |
|
|
тия |
|
||
|
|
|
|
Graphics In- |
Поддерживает до 256 цветов. Использует LZW (Lempel-Ziv- |
|
|
terchange |
Welch) сжатие без потерь информации с поддержкой анимации. |
|
|
Format (GIF) |
|
|
|
Portable Net- |
Поддерживает любое количество цветов. Использует схему сжа- |
|
|
work |
тия zlib, с адаптивным фильтром сжимаемых блоков. Схема с по- |
|
|
Graphics |
терей информации и без поддержки анимации. |
|
|
(PNG) |
|
|
|
|
Наилучшим образом подходит для сжатия цветных и черно- |
|
|
|
белых фотографий с большим количеством цветовых оттенков |
|
|
|
(или оттенков серого). Этот стандарт сжатия базируется на ис- |
|
|
Joint Photo- |
пользовании кодирования по Хауфману и кодов длин серий в |
|
|
graphic Ex- |
процессе дискретного косинусного преобразования коэффициен- |
|
|
perts Group |
тов блоков изображения. Сжатие происходит с потерей информа- |
|
|
(JPEG) |
ции. Стандартный JPEG не разрешает чересстрочную развертку, |
|
|
|
но ее поддерживает прогрессивный формат (Progressive JPEG). |
|
|
|
Progressive JPEG начинает с укрупненных блоков изображения с |
|
|
|
последующей их детализацией. |
|
|
|
Подходит для широкого спектра изображений, поэтому исполь- |
|
|
|
зуется в портативных цифровых камерах. Использует внедрен- |
|
|
JPEG2000 |
ную технику, основанную на вейвлетах (wavelet), хранящих ин- |
|
|
|
формацию в потоке данных, а не в блоках. Эта схема также при- |
|
|
|
водит к масштабируемой потере информации. |
|
|
|
Подходит для однотонных изображений. Схема основана на ал- |
|
|
JPEG-LS |
горитме LOCO-I (Low COmplexity LOssless COmpression for Im- |
|
|
ages), разработанного HP. Это схема без потери или практически |
|
|
|
|
|
||
|
без потери информации. |
|
|
Joint Bi-level |
Подходит для черно-белых изображений. Использует схему мно- |
|
|
Image Experts |
жественного арифметического кодирования без потери информа- |
|
|
Group (JBIG) |
ции. |
|
|
Изображения толерантны к некоторому уровню ошибок передачи, позволяя восстановить потерянную информацию. Кроме того, они не накладывают ограничений на передачу в реальном времени.
10