Лекции_Мультимедийные ИС
.docxобщее количество участников и процент отправителей среди них.
Эти данные необходимы для создания базы данных участников. Если количество отправителей больше нуля, но меньше четверти от общего количества участников сессии, отчетный интервал зависит от пересылки информации. Если пересылка идет, то отчетный интервал вычисляется умножением числа отправителей на средний размер пакета и делением на 25 % пропускной способности канала. При отсутствии передачи отчетный интервал вычисляется умножением количества получателей на средний размер RTCP пакета и умножением результата на 75 % пропускной способности канала:
Пакеты извлекаются из входной очереди. Фреймы в очереди проигрывания, чтобы сгладить неравномерность данных по сети. Завершение процесса, фрейм подвергается декомпрессии, а полученная мультимедийная информация подготавливается для пользователя. Один и тот же буфер может быть использован и для компенсации изменении сети и для работы соответствующего кодека. Допускается разделение этих функций, завершающая стадия процесса проигрывания – декодирования сжатых данных, смешивание отдельных потоков. Преобразует не сжатый фрейм в сжатые данные.
Рисунок
Передача управления на основной декодер, в котором хранится соответствующее состояние
Загрузка сжатых фреймов
Декомпрессия (разжатие данных) и получение сырого, несжатого медиа.
Запись состояние в контекстное хранилище. Если часть фреймов потеряна, то декодер может выдать некорректный результат. Тогда в процессе проигрывания возникает пауза. И в конце смешивание нескольких потоков.
Смешивание – процесс объединение нескольких потоков в 1, что характерно для звуковых приложений, которые получают звук из нескольких источников, а проигрывают его на одном комплекте воспроизведения (например, телеконференция).
Рисунок 2
Есть потоки, для каждого потока буфер создается. Из каждого буфера поток в миксер. Потом данные в буфер, в котором там смешанные данные (все на клиенте) и обмен при выборе определённых аудио для прослушивания. С Буфера помещаются обрабатываются
Синхронизация звуков и изображений
Сессия мультимедиа состоит из нескольких потоков, каждый из которых передается в отдельной сессии RTP, так как задержка, связанная с форматов кодирования разная, то в разных потоках, будет разное время проигрывания.
Рисунок 3 (Рассинхрон звука и видео)
Часто разделение и изображения на отдельные потоки происходит из-за предпочтения участников сессии. Некоторые видеоконференции желают получать только звук, особенно для конференций с большим кол-вом участников. Поэтому синхронизация применяется для выравнивания потоков как звука, так и изображения, в процессе синхронизации производится запуск общих часов и периодическая уведомления по средству RTSP пакетов о рассогласования общего и потового времени. Общие часы идут с постоянной скоростью, получатель получает информацию, которая помогает выровнять скорость в потоках.