31__Звуковые файлы: музыка, речь и звуковые эффекты.

Мультимедиа началась со звука, поэтому вполне логично, что это направление наиболее развито. Звуковые устройства зна­чительно видоизменились в ходе эволюционного развития. Метод синтеза звуковых сигналов, ис­пользующийся в большинстве разработок, давно перестал удовлетворять притязательных пользователей, т.к. метод частоты модуляции (FM -Frequency Modulation) обеспечивает не очень ес­тественный звук. Выход был только один - перевести в цифровую форму звучание настоящих инструментов и переписать их в память звуковой платы. Это произвело настоящую революцию в компьютер­ном аудиомире. Впервые профессиональные музыканты задумались о персональном компьютере с хорошей аудиоплатой как о дешевой альтернативе обычной домашней студии. Такая система по качест­ву ничем не уступает обычному студийному оборудованию, а по удобству значительно ее превосходит. Можно подключить синтеза­тор к аудиовходу компьютера и наиграть мелодию, а потом, при помощи специальной программы, ее обработать. Можно менять вы­соту тона, длительность звучания, тип инструмента. Можно регу­лировать даже такие параметры, как скорость нажатия и отпус­кания клавиши.

Другое очень интересное применение звука в персональных компьютерах - всевозможная работа с речью. Компьютер уже можно научить распознавать голосовые команды, что очень ускоряет и облегчает работу при необходимости частого ввода повторяющихся команд с клавиатуры. Есть программы, позволяющие распознавать произнесенный текст и вводить его сразу в текстовый процессор. Но самое неожиданное применение звука в ПК - это использование голоса пользователя для защиты от несанкционированного досту­па. Стоит провести соответствующую настройку (произнести в микрофон несколько слов и отрегулировать чувствительность) - и постороннему человеку будет уже практически невозможно "влезть" в защищенный таким образом ПК.

Но все-таки наиболее интенсивно звук используется в играх и обучающих программах. Практически все выпускаемые игрушки имеют звуковые стереоэффекты. Некоторые мелодии из компьютер­ных игр стали настолько популярными, что даже продаются от­дельно на кассетах. Мультимедиа-приложения, использующиеся для образовательных целей, переживают настоящий бум. С их помощью изучают языки, обучают детей математике и чтению, и т.п. С по­мощью мультимедиа-энциклопедий можно путешествовать по всему миру, осматривать достопримечательности, и получать при этом подробные пояснения.

Как делаются звуковые эффекты, применяемые в музыке?

Вот наиболее распространенные звуковые эффекты:

• вибрато — амплитудная или частотная модуляция сигнала с небольшой частотой (до 10 Гц). Амплитудное вибрато также носит название тремоло; на слух оно воспринимается, как замирание или дрожание звука, а частотное — как «завывание» или «плавание» звука (типичная неисправность механизма магнитофона — детонация).

• динамическая фильтрация (wah-wah — «вау-вау») — реализуется изменением частоты среза или полосы пропускания фильтра с небольшой частотой. На слух воспринимается, как вращение или заслонение/открывание источника звука — увеличение высокочастотных составляющих ассоциируется с источником, обращенным на слушателя, а их уменьшение — с отклонением от этого направления.

• реверберация (reverberation — повторение, отражение). Получается путем добавления к исходному сигналу затухающей серии его задержанных во времени копий. Это имитирует затухание звука в помещении, когда за счет многократных отражений от стен, потолка и прочих поверхностей звук приобретает полноту и гулкость, а после прекращения звучания источника затухает не сразу, а постепенно. При этом время между последовательными отзвуками (примерно 15..50 мс) ассоциируется с величиной помещения, а их интенсивность — с его гулкостью. По сути, ревербератор представляет собой частный случай фленжера без модуляции и с увеличенной задержкой между отзвуками основного сигнала, однако особенности слухового восприятия качественно различают эти два вида обработки.

• эхо (echo). Реверберация с еще более увеличенным временем задержки — выше примерно 50 мс. При этом слух перестает субъективно воспринимать отражения, как призвуки основного сигнала, и начинает воспринимать их как повторения. Эхо обычно реализуется так же, как и естественное — с затуханием повторяющихся копий.

• компрессия — сжатие динамического диапазона сигнала, когда слабые звуки усиливаются сильнее, а сильные — слабее. На слух воспринимается как уменьшение разницы между тихим и громким звучанием исходного сигнала. Используется для последующей обработки методами, чувствительными к изменению амплитуды сигнала. В звукозаписи используется для снижения относительного уровня шума и предотвращения перегрузок. В качестве гитарной приставки позволяет значительно (на десятки секунд) продлить звучание струны без затухания громкости.

Каковы достоинства и недостатки цифрового звука?

Цифровое представление звука ценно прежде всего возможностью бесконечного хранения и тиражирования без потери качества, однако преобразование из аналоговой формы в цифровую и обратно все же неизбежно приводит к частичной его потере. Наиболее неприятные на слух искажения, вносимые на этапе оцифровки - гранулярный шум, возникающий при квантовании сигнала по уровню из-за округления амплитуды до ближайшего дискретного значения. В отличие от простого широкополосного шума, вносимого ошибками квантования, гранулярный шум представляет собой гармонические искажения сигнала, наиболее заметные в верхней части спектра.

При восстановлении звука из цифровой формы в аналоговую возникает проблема сглаживания ступенчатой формы сигнала и подавления гармоник, вносимых частотой дискретизации. Из-за неидеальности АЧХ фильтров может происходить либо недостаточное подавление этих помех, либо избыточное ослабление полезных высокочастотных составляющих. Плохо подавленные гармоники частоты дискретизации искажают форму аналогового сигнала (особенно в области высоких частот), что создает впечатление "шероховатого", "грязного" звука.

Какие методы используются для эффективного сжатия цифрового звука?

В настоящее время наиболее известны Audio MPEG, PASC и ATRAC. Все они используют так называемое "кодирование для восприятия" (perceptual coding) при котором из звукового сигнала удаляется информация, малозаметная для слуха. В результате, несмотря на изменение формы и спектра сигнала, его слуховое восприятие практически не меняется, а степень сжатия оправдывает незначительное уменьшение качества. Такое кодирование относится к методам сжатия с потерями (lossy compression), когда из сжатого сигнала уже невозможно точно восстановить исходную волновую форму.

Приемы удаления части информации базируются на особенности человеческого слуха, называемой маскированием: при наличии в спектре звука выраженных пиков (преобладающих гармоник) более слабые частотные составляющие в непосредственной близости от них слухом практически не воспринимаются (маскируются). При кодировании весь звуковой поток разбивается на мелкие кадры, каждый из которых преобразуется в спектральное представление и делится на ряд частотных полос. Внутри полос происходит определение и удаление маскируемых звуков, после чего каждый кадр подвергается адаптивному кодированию прямо в спектральной форме. Все эти операции позволяют значительно (в несколько раз) уменьшить объем данных при сохранении качества, приемлемого для большинства слушателей.

Каждый из описанных методов кодирования характеризуется скоростью битового потока (bitrate), с которой сжатая информация должна поступать в декодер при восстановлении звукового сигнала. Декодер преобразует серию сжатых мгновенных спектров сигнала в обычную цифровую волновую форму.

MPEG расшифровывается как "Moving Picture Coding Experts Group", дословно - "Группа экспертов по кодированию подвижных изображений.

Группа была образована для создания стандартов кодирования подвижных изображений и аудио информации. Начиная с первого собрания в мае 1988 года группа начала расти и выросла до сообщества специалистов высокого уровня. На сегодняшний день MPEG разработаны следующие стандарты и алгоритмы:

• MPEG-1 (ноябрь 1992) - стандарт кодирования, хранения и декодирования подвижных изображений и аудио информации;

• MPEG-2 (ноябрь 1994) - стандарт кодирования для цифрового телевидения;

• MPEG-4 - стандарт для мультимедиа приложений: версия 1 (октябрь 1998) и версия 2 (декабрь 1999);

• MPEG-7 - универсализованный стандарт работы с мультимедиа информацией, предназначенный для обработки, фильтрации и управления мультимедиа информацией.

1) Рассмотрим комплект MPEG-1. Этот комплект, в соответствии со стандартами ISO, включает в себя три алгоритма различного уровня сложности: Layer (уровень) I, Layer II и Layer III. Общая структура процесса кодирования одинакова для всех уровней. Для каждого уровня определен свой формат записи бит-потока и свой алгоритм декодирования. Алгоритмы MPEG основаны в целом на изученных свойствах восприятия звуковых сигналов слуховым аппаратом человека (то есть кодирование производится с использованием так называемой "психоакустической модели").

Комплект MPEG-1 предусмотрен для кодирования сигналов, оцифрованных с частотой дискретизации 32, 44.1 и 48 КГц. Как было указано выше, комплект MPEG-1 имеет три уровня (Layer I, II и III). Эти уровни имеют различия в обеспечиваемом коэффициенте сжатия и качестве звучания получаемых потоков. Layer I позволяет сигналы 44.1 КГц / 16 бит хранить без ощутимых потерь качества при скорости потока 384 Кбит/с, что составляет 4-х кратный выигрыш в занимаемом объеме; Layer II обеспечивает такое же качество при 194 Кбит/с, а Layer III – при 128 (или 112). Выигрыш Layer III очевиден, но скорость компрессии при его использовании самая низкая (надо отметить, что при современных скоростях процессоров это ограничение уже не заметно). Фактически, Layer III позволяет сжимать информацию в 10-12 раз без ощутимых потерь в качестве.

2) Стандарт MPEG-2 был специально разработан для кодирования ТВ сигналов вещательного телевидения. В апреле 1997 этот комплект получил «продолжение» в виде алгоритма MPEG-2 AAC (MPEG-2 Advanced Audio Coding – продвинутое аудио кодирование).

3) Стандарт MPEG-4 - это особая статья. MPEG-4 не является просто алгоритмом сжатия, хранения и передачи видео или аудио информации. MPEG-4 - это новый способ представления информации, это - объектно-ориентированное представление мультимедиа данных. Стандарт оперирует объектами, организует из них иерархии, классы и прочее, выстраивает сцены и управляет их передачей. Объектами могут служить как обычные аудио или видео потоки, так и синтезированные аудио и графические данные (речь, текст, эффекты, звуки...). Такие сцены описываются на специальном языке.

4) Стандарт MPEG-7 вообще в корне отличается от всех иных стандартов MPEG. Стандарт разрабатывается не для установления каких-то рамок для передачи данных или типизации и описания данных какого-то конкретно рода. Стандарт предусмотрен как описательный, предназначенный для регламентации характеристик данных любого типа, вплоть до аналоговых. Использование MPEG-7 предполагается в тесной связи с MPEG-4.

Для удобства обращения со сжатыми потоками, все алгоритмы MPEG разработаны таким образом, что позволяют осуществлять декомпрессию (восстановление) и воспроизведение потока одновременно с его получением (download) – потоковая декомпрессия «на лету» (stream playback). Эта возможность очень широко используются в интернете, где скорость передачи информации ограничена, а с использованием подобных алгоритмов появляется возможность обрабатывать информацию прямо во время ее получения не дожидаясь окончания передачи.

Частота следования фреймов называется битрейтом (BIT RATE)

• модель Dual Channel

  • каждый канал получает половину потока и кодируется как моносигнал. Отсюда и ее название. Эта модель идеально подходит в случае, когда каналы содержат абсолютно разные сигналы;

• В модели Stereo

  • каждый из каналов кодируется отдельно, но кодеру "позволено" самому принять решение о передаче одному из каналов большего места, чем другому. Этим достигается кодирование "тишины" (либо уровень сигнала лежит ниже порога слышимости) в одном канале, когда в другом присутствует мощный сигнал

• Модель MS Stereo

  • использует разложение стереосигнала на средний между каналами и разностный, который кодируется с меньшим битрейтом. Данный метод не рекомендуется использовать, если каналы не совпадают по фазе (наиболее часто встречается в записях, оцифрованных с аудиоленты);

• Модель MS/IS Stereo

  • позволяет несколько увеличить качество кодирования сигнала при использовании низких битрейтов. Суть метода заключается в использовании на некоторых частотных диапазонах отношения мощностей сигнала в разных каналах. Однако данный метод приводит к потере фазовой информации

Super Audio CD

• полностью совместим с обычным CD — обычные CD-проигрыватели смогут воспроизводить двухслойные SACD-диски, просто читая один из слоев

• Метод кодирования DSD предусматривает однобитное представление сигнала с частотой дискретизации 2,8224 МГц

• Воспроизводимый диапазон частот от 0 до 100 000 Гц.

• Динамический диапазон — до 144 дБ.

• Количество каналов — 6.

MIDI

• список ссылок на звуки в WT синтезаторе звуковой карты

• список команд,

  • тональность,

  • продолжительность,

  • скорость звука и т.д.

• недостатки

  • низкая скорость передачи информации,

  • узкий диапазон изменения параметров

  • ограниченная сфера применения.

• достоинство

  • небольшой объем файлов

  • возможность воспроизводить изучаемый опус в любом темпе и в любой тональности

MIDI-технология

• остаётся ведущей в компьютерной и аппаратно-студийной области.

• она совершенствуется, учитывает новые требования и новые технические возможности. Об этом говорит последовательное появление стандартов GM, GS и XG.

• идея оказалась настолько удачной, что MIDI-технология вовлекает в сферу своего влияния все новые и новые области: управление магнитофонами, устройствами звуковой обработки, микшерскими пультами

Musical Instrument Digital Interface — компьютерный протокол (иногда говорят — язык), предназначенный для связи одного музыкального устройства с другим

Формат WAVE представляет собой один из многочисленных, но далеко не единственный формат для записи цифрового звука. В отличие от MIDI-данных данные цифрового звука действительно представляют звук, записанный в виде тысяч единиц, называемых квантами (samples). Цифровые данные представляют амплитуду (или громкость) звука в дискретные моменты времени. Звучание цифровых данных не зависит от устройства воспроизведения и поэтому их звучание всегда одинаково. Но за это приходится расплачиваться большими объемами звуковых файлов.