
- •Обработка звука на эвм. Характеристики цифрового сигнала. Сжатие данных с потерями и без потерь.
- •Понятие мультимедиа технологий. Три основных принципа мультимедиа.
- •Классификация и области применения мультимедиа приложений. Мультимедиа приложения, мультимедиа продукт.
- •Процесс создания html- документа. Дескрипторы: типы, синтаксис, атрибуты.
- •Системы мультимедиа в бизнесе. Компьютерные презентации, Web-дизайн, оформление документов в виде электронных книг, и т.Д.
- •Обработка звука на эвм. Характеристики цифрового сигнала. Сжатие данных с потерями и без потерь.
- •[Править]Дискретизация по времени
- •[Править]Линейное (однородное) квантование амплитуды
- •Билет 4
- •Виды информации, обрабатываемые мультимедиа системами числовая, графическая, символьная, логическая, семантическая,. Проблематика обработки мультимедийной информации.
- •Цели создания сайта и его информационное наполнение. Этапы создания сайта.
- •Билет 5.
- •Мультимедийные устройства ввода информации: состав, особенности, эволюция. Принцип работы одного из них. Основные характеристики.
- •Программный пакет Macromedia Flash.
- •Мультимедийные устройства вывода информации: состав, особенности, эволюция. Принцип работы одного из них. Основные характеристики.
- •Билет 7
- •Современная эвм в качестве мультимедийного программно-технического комплекса как средство для организации компактного хранения различных видов информации.
- •Работа с объектами Flash. Выбор и выделение объектов.
- •Билет 8
- •Обработка текста на эвм. Способы вывода текста. Матричная и векторная знакогенерация. Генераторы шрифтов. Покадровый и скроллинг способы вывода текстовой информации из эвм.
- •Структура html-документа, создание фреймов.
- •Кодировка текста. Html редактор. Создание текстовых документов для размещения в Интернет.
- •Возможности мобильной телефонной сети. Способы и недостатки подключения к Интернет через мобильную телефонную сеть. Стандарт gprs,wap, edge.
- •Обработка звука на эвм. Аналоговый и цифровой сигналы. Характеристики оцифровки аналогового сигнала. Программное обеспечение работы со звуком.
- •Работа с объектами Flash. Трансформация объектов.
- •Виртуальная реальность. Виртуальная реальность. Элементы виртуального пространства. Классы виртуальных пространств. Инструментарий для «искусственной жизни». Применение
- •Символы во Flash. Типы символов.
- •Midi-звук: свойства, форма представления звука, преобразования, редактирование. Преимущества и недостатки цифрового и midi-звука.
- •Анимация во Flash. Покадровая анимация. . Автоматическая анимация движения объекта.Динамические объекты в мультимедиа-продуктах, продолжительность, частота кадров, размер.
- •Мультимедийные устройства ввода-вывода информации: состав, особенности, эволюция. Принцип работы одного из них. Основные характеристики
- •Цифровая обработка сигналов. Голограмма Фурье. Синтезирование голограмм. Восстановление изображения с голограмм. Возможности цифровой голографии.
- •Гипертекст. Понятие гипертекста, возможности гипертекста, преобразование текста в гипертекст. Применение гипертекста в Интернет, гипермедиа в мультимедиа продуктах.
- •Мультимедийные технологии: отличительные особенности, специфика, эволюция. Проблематика обработки мультимедийной информации.
- •Основные понятия звука: интенсивность, уровень звукового давления уровень громкости, типы звуковых волн, реверберация. Форматы звуковых файлов.
- •Последовательность создания гипертекстовых систем и программное обеспечение для создания гипертекстовых структур.
Последовательность создания гипертекстовых систем и программное обеспечение для создания гипертекстовых структур.
Сжатие видеоизображений: обычное, симметричное, асимметричное, без потери качества, с потерей качества, покадровое, потоковое, методы сжатия, JPEG, MPEG, AVI, Quik Time.
Идея гипертекста была описана в 1945 году Vannevar Bush в его предложениях по созданию электромеханической информационной системы Memex. В 1965г. Ted Nelson ввел в обращение сам термин “гипертекст”, развил и даже реализовал некоторые идеи нелинейного текста. В 1975г. идея гипертекста нашла воплощение в информационной системе внутреннего распорядка атомного авианосца “Карл Винстон”, которая получила название ZOG (в коммерческом варианте система известна, как KMS).
Идея гипертекстовой информационной системы состоит в том, что пользователь имеет возможность просматривать документы (страницы текста) в том порядке, в котором ему больше нравится, а не последовательно, как это принято при чтении книг. Поэтому Т. Нельсон и определил гипертекст, как нелинейный текст.
Достигается нелинейность за счет использования специального механизма связи различных страниц текста при помощи гипертекстовых ссылок: у обычного текста есть ссылки типа “следующий - предыдущий”, а у гипертекста можно построить еще сколь угодно много других ссылок.
Простой механизм построения ссылок является сложным в реализации, так как ссылки могут быть статическими, динамическими, ассоциированными с документом в целом, контекстными (т.е. ассоциированными с отдельными частями документа).
Гипертекст можно рассматривать и как сетевую форму организации информации, при которой текст делится на фрагменты с явно указанными для них возможными связями. Допускается переход от одного фрагмента к нескольким другим, что придает материалу сетевую форму.
Гипертекст можно рассматривать и как базу знаний (любую предметную область можно представить как совокупность некоторых объектов (предметов, явлений, процессов), которые находятся между собой в различных смысловых отношениях). Упрощенно можно считать, что знания состоят из двух типов элементов: фактов и смысловых (семантических) связей между ними. При установлении связей можно опираться на разные основания, но в любом случае при формировании гипертекста речь идет о смысловой близости связываемых фрагментов текста.
Вся информация о данной предметной области может быть разбита на фрагменты, описывающие каждый выделенный объект. Сочетание этих фрагментов со связями, установленными между этими объектами, образуют базу знаний: новое гипертекстовое представление информации.
Гипертекст не имеет ни начала, ни конца, ни определенной последовательности, в которой его надо читать. Он полон развилок.
Гипертекстовые системы - открытые. Все, что надо сделать для включения новой информации - это ввести ее и связать с другими единицами информации. Эта операция называется “дописывание знаний” (в отличие от операции “ввода данных” в СУБД). Аналогично вместо операции “удаление данных” в гипертектовых системах вводится операция “вычеркивания знаний”, так как при удалении какой-либо информации из базы знаний необходимо убрать и все связи ее с другими единицами информации.
Для гипертекстовых систем характерно, что на место поиска информации через ее соответствие поисковому образу гипертекстовая технология ставит навигацию - перемещение от одних элементов накопленной информации к другим с учетом их “семантической смежности”, с запоминанием “следов” перемещения в гипертекстовой сети, образующих виртуальные, заранее не выделенные структуры. Сохраненные следы перемещения используются в системах логического вывода для реализации “бэктрекинга” (поиска с возвратами при неуспехе) и для объяснения хода рассуждений.
Смысловые связи в базе знаний могут быть различных типов. Основными среди них являются классификационные (родо-видовые), структурные (типа “часть - целое”), причинно-следственные, и др.
Благодаря своим возможностям гипертекстовая технология является самой прогрессивной в сфере неформализованной интеллектуальной деятельности.
Для создания гипертекстовых систем в условиях глобальных вычислительных систем Бернерс-Ли заложил три краеугольных камня, предложив:
1) язык гипертекстовой разметки документов HTML (HyperText Markup Language);
2) универсальный способ адресации ресурсов в сети - URL (Universal Resource Locator);
3) протокол обмена гипертекстовой информацией HTTP (HyperText Transfer Protocol).
Позже группа сотрудников NCSA (Национального Центра Суперкомьютерных Приложений) добавила к этим трем компонентам четвертый:
4) универсальный интерфейс шлюзов CGI (Common Gateway Interface).
В HTML в отличие от предшествующих систем гипертекстовые ссылки встроены в тело документа и хранятся как его часть. Сам документ хранится в виде ASCII - файла, который можно подготовить любым текстовым редактором. HTML позволяет выделять параграфы, устанавливать шрифты, использовать различные виды ссылок, стилей, встроенную графику, производить поиск по ключам. Этот язык постоянно совершенствуется: в новых версиях увеличивается число элементов разметки, развиваются средства описания нетекстовых информационных ресурсов, способы взаимодействия с прикладным программным обеспечением.
Протокол обмена гипертекстовой информацией HTTP учитывает, что в гипертекстовых документах ссылки делаются по доменным адресам, в том числе - к внешним адресам относительно данной Web - страницы. При перемещении Web - стреницы может возникнуть необходимость корректировки адресов ресурсов сети. Это и реализуется протоколом HTTP.
Универсальный интерфейс шлюзов CGI был разработан для расширения возможностей WWW за счет подключения внешнего программного обеспечения. Предложенный в CGI способ подключения не требует дополнительных библиотек: сервер взаимодействует с программами через стандартные потоки ввода-вывода. Реализован CGI на основе методов доступа HTTP.
2. Технологии сжатия видеоизображения — это сокращение и удаление избыточных видеоданных с целью оптимизации хранения файлов цифрового видео и их передачи по сети. Эффективные технологии сжатия позволяют значительно уменьшить размер файла при полном или частичном отсутствии потерь качества. Однако качество видеоизображения может снизиться при последующем уменьшении размера файла путем повышения уровня сжатия для конкретной технологии.
Существуют различные технологии сжатия, отвечающие как специализированным, так и отраслевым стандартам. В настоящий момент большая часть производителей сетевого видео используют стандартные технологии сжатия. Стандарты являются гарантом совместимости. Они особенно важны при сжатии, так как видеоизображение может использоваться в различных целях, и, например, в некоторых системах охранного наблюдения изображение должно оставаться годным для просмотра даже спустя несколько лет со дня записи. Использование стандартов позволяет конечным пользователям выбирать из различных производителей, а не останавливаться на одном поставщике при создании системы охранного видеонаблюдения.
Компания Axis использует три различных стандарта сжатия видеоизображения: Motion JPEG, MPEG-4 Part 2 (или просто MPEG-4) и H.264. H.264 — самый современный и наиболее эффективный стандарт сжатия видеоизображения.
Видеокодек
В ходе сжатия исходный видеосигнал обрабатывается с помощью алгоритма для создания сжатого файла, готового к передаче и хранению. Для воспроизведения сжатого файла применяется инверсный алгоритм, который фактически дает то же самое видеоизображение, что и оригинальный источник видеосигнала. Время, необходимое для сжатия, передачи, восстановления и отображения файла, называется временем ожидания. Чем сложнее алгоритм сжатия, тем выше время ожидания.
Совместная работа пары алгоритмов называется видеокодеком (кодер/декодер). Видеокодеки, применяющие разные стандарты, как правило, несовместимы друг с другом, поэтому видеоданные, сжатые с использованием одного стандарта, нельзя распаковать с применением другого. Например, декодер MPEG-4 не будет работать с кодером H.264. Это просто потому, что один алгоритм не может корректно декодировать результат, полученный с помощью работы другого алгоритма, однако есть возможность оснастить множеством разных алгоритмов программное или аппаратное обеспечение, чтобы оно могло поддерживать совместное использование разных форматов.
Сжатие изображения и сжатие видеоизображения
В разных стандартах сжатия применяются различные методы сокращения размера данных, и, таким образом, результаты отличаются по скорости передачи данных, качеству и времени ожидания. Выделяют два алгоритма сжатия: cжатие изображения и сжатие видеоизображения. При сжатии изображения используется технология внутрикадрового кодирования. Сокращение данных достигается путем удаления из кадра ненужной информации, наличие или отсутствие которой просто незаметно человеку. Примером такого стандарта сжатия является Motion JPEG. Обычно изображения в последовательности Motion JPEG кодируются и сжимаются как отдельные изображения формата JPEG.
В формате Motion JPEG три изображения в показанной выше последовательности кодируются и отправляются как отдельные уникальные изображения (I-кадры) без всяких зависимостей друг от друга.
При сжатии видеоизображения (например, MPEG-4 и H.264) используется межкадровое предсказание, позволяющее сократить объем видеоданных в последовательности кадров. Для этого применяются такие технологии, как кодирование по отличиям, где текущий кадр сравнивается с опорным кадром и затем происходит кодирование только изменившихся пикселей. Таким образом, сокращается количество пиксельных значений для кодирования и отправки. При дальнейшем просмотре такого закодированного ряда видеоизображения выглядят так же, как в оригинале.
При кодировании по отличиям полностью кодируется только первое изображение (I-кадр). В двух последующих изображениях (P-кадрах) содержатся ссылки на статичные элементы первого изображения (например, дом). Тогда как движущиеся объекты (в данном случае бегущий человек) кодируются с помощью векторов движения. Таким образом, уменьшается объем данных, подлежащих дальнейшей пересылке и хранению.
Для дальнейшего уменьшения объема данных могут быть использованы и прочие технологии, например, поблочная компенсация движения. Принцип поблочной компенсации движения предполагает, что содержимое нового кадра видеоряда может быть обнаружено в предыдущих кадрах, но, возможно, в другом месте. Этот принцип позволяет делить кадр на несколько макроблоков (блоков пикселей). Таким образом, наличие совпадающих блоков в опорном кадре позволяет постепенно создать или «предсказать» новый кадр. При обнаружении совпадения кодер выполняет кодирование места расположения соответствующего блока в опорном кадре. Кодирование так называемого вектора движения требует меньшего количества битов, чем кодирование фактического содержимого блока.
Иллюстрация поблочной компенсации движения.
При использовании межкадрового предсказания каждый кадр в последовательности рассматривается как конкретный тип кадра, например, I-кадр, P-кадр или B-кадр.
I-кадр (или вводный кадр (Intra frame)) — это изолированный кадр, который может декодироваться независимым образом без привязки к любым другим изображениям. Первое изображение в видеопоследовательности всегда является I-кадром. I-кадры необходимы в качестве начальных точек для новых просмотров или точек повторной синхронизации в случае нарушения переданного потока битов. I-кадры можно использовать для реализации функций перемотки вперед, назад и иных функций произвольного доступа. Кодер автоматически вставляет I-кадры через равные промежутки времени или по требованию в случае, когда ожидается присоединение новых клиентов к просмотру потока. Недостатком I-кадров является чрезмерное количество составляющих их бит, но, с другой стороны, они и не создают большого количества искажений, причиной которых являются недостающие данные.
P-кадр, который расшифровывается как промежуточный кадр предсказуемого характера (predictive inter frame), содержит ссылки для своего кодирования на части предшествующих I-кадров или P-кадров. Как правило, P-кадры требуют для себя меньшее количество бит, чем I-кадры, но имеют один недостаток — это чувствительность к ошибкам передачи из-за своей сложной зависимости от предшествующих P-кадров или I-кадров.
B-кадр (или промежуточный кадр двунаправленного предсказания (bi-predictive inter frame)) — это кадр, содержащий в себе ссылки и на предыдущий, и на последующий опорные кадры. Использование B-кадров увеличивает время ожидания.
Типовая последовательность I-, B- и P-кадров. P-кадр может ссылаться только на предшествующие I- или P-кадры, тогда как B-кадр может ссылаться и на предшествующие, и на последующие I- или P-кадры.
Типовая последовательность I-, B- и P-кадров. P-кадр может ссылаться только на предшествующие I- или P-кадры, тогда как B-кадр может ссылаться и на предшествующие, и на последующие I- или P-кадры.
Кроме кодирования по отличиям и компенсации движения, существуют и другие современные методы уменьшения объема данных и увеличения качества видеоизображения. Например, формат H.264 поддерживает такие современные технологии, как схемы предсказания для кодирования I-кадров, усовершенствованная компенсация движения (вплоть до субпиксельной точности) и встроенный фильтр для удаления «блочности», который позволяет сглаживать края блоков (артефакты).
Потоковое мультимедиа (от. англ. stream media) — это мультимедиа, которое непрерывно получается пользователем от провайдера потокового вещания. Это понятие применимо как к информации, распространяемой через телекоммуникации, так и к информации, которая изначально распространялась посредством потокового вещания (например, радио, телевидение) или непотоковой (например, книги, видеокассеты, аудио CD).
азмер, необходимый для хранения потоковой мультимедиа информации (в большинстве файловых систем выражается в мегабайтах, гигабайтах, терабайтах и т. д.) вычисляется в зависимости от скорости передаваемой информации и продолжительности информации по следующей формуле (для одного пользователя и файла):
размер хранилища (в мегабайтах) = продолжительность (в секундах) * битрейт (в кбит/с) / (8 * 1024)
(если считать, что 1 мегабайт = 8 * 1024 кбитов)
Пример из жизни:
Один час видео, закодированного со скоростью 300 кбит/с (типичное видео по состоянию на 2005 год, имеющее размер 320×240 пикселов), будет занимать:
(3600 с * 300 кбит/с) / (8*1024) = порядка 130 Мб места на диске
Если файл, хранимый на сервере с режимом передачи по запросу, будет просматриваться 1000 людей одновременно по протоколу Unicast (1 клиент — 1 соединение), то сервер должен иметь следующую пропускную способность:
300 кбит/с * 1000 = 300.000 кбит/с = 300 Мбит/с сетевого интерфейса
Это эквивалент порядка 125 Гб информации в час. Разумеется, при использовании протокола Multicast нагрузка на сервер намного ниже, так как для передачи информации всем клиентам используется единственный поток. Следовательно, такой поток будет занимать всего 300 кбит/с сетевого интерфейса сервера. Более подробная информация об этих протоколах даётся ниже.
Сжатие видео (англ. Video compression) — уменьшение количества данных, используемых для представления видеопотока. Сжатие видео позволяет эффективно уменьшать поток, необходимый для передачи видео по каналам радиовещания, уменьшать пространство, необходимое для хранения данных на носителе. Недостатки: при использования сжатия с потерями появляются характерные, иногда отчётливо видные артефакты — например, блочность (разбиение изображения на блоки 8x8 пикселей), замыливание (потеря мелких деталей изображения) и т. д. Существуют и способы сжатия видео без потерь, но на сегодняшний день они уменьшают данные недостаточно.
Помимо сжатия с потерями видео также можно сжимать и без потерь. Это означает, что при декомпрессии результат будет в точности (бит к биту) соответствовать оригиналу. Однако при сжатии без потерь невозможно достигнуть высоких коэффициентов сжатия на реальном (не искусственном) видео. По этой причине практически всё широко используемое видео является сжатым с потерями (в том числе на потребительских цифровых видеодисках, видеохостингах, в спутниковом вещании). На веб-сайтах для маленьких роликов без звука иногда используются простые форматы GIF и APNG.
[править]Сжатие видео и технология компенсации движения
Одна из наиболее мощных технологий, позволяющая повысить степень сжатия, — это компенсация движения. При любой современной системе сжатия видео последующие кадры в потоке используют похожесть областей в предыдущих кадрах для увеличения степени сжатия. Однако, из-за движения каких-либо объектов в кадре (или самой камеры) использование подобия соседних кадров было неполным. Технология компенсации движения позволяет находить похожие участки, даже если они сдвинуты относительно предыдущего кадра