Учебники 80389

Рис.8.30 MIDI - клавиатура

тора можно будет обращаться к звукам другого, цифровые магнитофоны будут запускаться при нажатии кнопки в компьютерной программе и т.д. Итак, MIDI интерфейс – это единый стандарт передачи управляющей информации между цифровыми музыкальными инструментами и другим студийным оборудованием.

"Артериями" любой MIDI-системы являются 16 информационных MIDI каналов, по которым передаются MIDI-сообщения - сигналы, несущие информацию о состоянии органов управления звуковым устройством (например, синтезатором). MIDI-сообщениями могут быть ноты, команды о смене звука, информация о положении колеса изменения высоты тона и т.д.

Компьютерный секвенсор это специальная программа для работы с музыкальными устройствами по MIDI-интерфейсу, при помощи которой можно не только записывать и редактировать MIDI-сообщения, но и полностью управлятьлюбыми внешними синтезаторами и звуковыми модулями.

Когда музыкант исполняет на MIDI-клавиатуре какое-то произведение, формируются MIDI-сообщения, которые поступают в звуковую карту, а из неё в аудио систему. Мы слышим в колонках звук. Но эти сообщения поступают и в секвенсор, который записывает их в оперативную память, а потом в файл на жестком диске. С помощью секвенсора можно записать и всегда исправить исполненное произведение.

После записи первой дорожки, музыкант включает в секвенсоре запись второй дорожки. Снимает секвенсор с паузы и слышит первую партию, под которую играет новую. Она записывается в секвенсор на вторую дорожку. Теперь, если он запустит воспроизведение, то услышит обе партии вместе. Точно таким же образом записываются партии всех остальных инструментов.

8.3.4. Основные характеристики звуковых карт

Частота дискретизации (оцифровки) сигнала должна быть, как минимум, в два раза больше максимальной частоты входного сигнала (согласно теореме Котельникова). Если человеческая речь занимает полосу частот до 3–4 кГц, то для ее оцифровки потребуется частота 8 кГц. Современные звуковые платы поддерживают частоты дискретизации 8.0–192 кГц, что соответствует сигналам с частотами до 96 кГц.

201

Разрядность и динамический диапазон. Современные звуковые карты позволяют записывать звук с разрешением 8, 16 и 24 разряда, что соответствует 256, 65536 и 16.7 млн. различных уровней сигнала. Этот параметр, прежде всего, определяет динамический диапазон воспроизводимого звука, то есть во сколько раз интенсивность самого громкого звука может быть больше, чем интенсивность самого тихого. Эта величина обычно выражается в логарифмическом масштабе и измеряется в децибелах. Для 8-разрядного звука динамический диапазон составляет всего 48 дБ, для 16-разрядного он равен 96 дБ, а для 24-разрядного – 144 дБ.

Отношение сигнал/шум (S/N или SNR – Signal to Noise Ratio) пока-

зывает, во сколько раз громкость сигнала больше громкости шума, возникающего в звуковой плате по различным причинам, прежде всего, в результате ошибки дискретизации. Шум дискретизации присутствует всегда и составляет не менее половины младшего разряда, поэтому, например, отношение сигнал/шум для 16-разрядной платы не может быть лучше, чем

93 дБ (т. е. 96–6:2).

Коэффициент нелинейных искажений (Total Harmonic Distortion, THD). Нелинейные искажения – результат неточности в восстановлении сигнала из цифрового вида в аналоговый. Упрощенно процесс измерения этого коэффициента проводится следующим образом. На вход звуковой карты подается чистый синусоидальный сигнал. На выходе устройства снимается сигнал, спектр которого представляет собой сумму синусоидальных сигналов (сумма исходной синусоиды и ее гармоник). Далее, по специальной формуле рассчитывается количественное соотношение исходного сигнала и его гармоник, полученных на выходе устройства. Это количественное соотношение и есть коэффициент нелинейных искажений (THD). Коэффициент нелинейных искажений измеряется в процентах: 1%

– "грязное" звучание; 0.1% – нормальное звучание; 0.01% – чистое звуча-

ние класса Hi-Fi; 0.002% – звучание класса Hi-Fi – Hi End.

Поддерживаемые спецэффекты. К спецэффектам, поддерживае-

мым звуковыми картами, относятся реверберация, хорус и различные 3Dрасширения. Все спецэффекты являются результатом обработки звука, под которым понимается преобразование звуковых данных с целью изменения характеристик звучания. Основными способами преобразований звуковых данных являются амплитудные, частотные, фазовые и временные преобразования.

Амплитудные преобразования. Выполняются над амплитудой сигнала и приводят к ее усилению/ослаблению или изменению по какомулибо закону на определенных участках сигнала.

Частотные преобразования. Выполняются над частотными составляющими звука: сигнал представляется в виде спектра частот через определенные промежутки времени, производится обработка необходимых частотных составляющих, например, фильтрация, и обратное "сворачивание" сигнала из спектра в волну.

202

Фазовые преобразования – сдвиг фазы сигнала тем или иным способом; например, преобразования стерео сигнала позволяет реализовать эффект вращения или "объёмности" звука.

Временные преобразования. Реализуются путем наложения, растягивания/сжатия сигналов, что позволяет управлять пространственными характеристиками звука.

Эффект эхо (Echo). Реализуется с помощью временных преобразований. Фактически, для получения эха необходимо на оригинальный входной сигнал наложить его задержанную во времени копию. Для того чтобы человек воспринимал вторую копию сигнала как повторение, а не как отзвук основного сигнала, необходимо время задержки установить равным примерно 50 мс. На основной сигнал можно наложить не одну его копию, а несколько, что позволит на выходе получить эффект многократного повторения звука (многоголосного эха). Чтобы эхо казалось затухающим, необходимо на исходный сигнал накладывать не просто задержанные копии сигнала, а ослабленные по амплитуде.

Эффект повторение (Reverberation). Эффект заключается в придании звучанию объемности, характерной для большого зала, где каждый звук порождает соответствующий, медленно угасающий отзвук. От эффекта "эхо" реверберация отличается тем, что на входной сигнал накладывается задержанный во времени выходной сигнал, а не задержанная копия входного. Иными словами, блок реверберации упрощенно представляет собой петлю, где выход блока подключен к его входу, таким образом, уже обработанный сигнал подается навход, смешиваясь с оригинальным сигналом.

Эффект хор (Chorus). В результате его применения звучание сигнала превращается как бы в звучание хора или в одновременное звучание нескольких инструментов. Схема получения такого эффекта аналогична схеме создания эффекта эха с той лишь разницей, что задержанные копии входного сигнала подвергаются слабой частотной модуляции перед смешиванием с входным сигналом. Увеличение количества голосов в хоре достигается путем добавления копий сигнала с различными временами задержки.

Для улучшения качества воспроизведения звука звуковые устройства реализуют различные схемы кодирования многоканального звука, наиболее распространенными из которых являются следующие: DSS, DPL, ТНХ, AC3, Dolby Digital EX, DTS и др.

Dolby Surround (DSS) – кодирование в двухканальном сигнале трех звуковых каналов: левого, правого и пространственного (surround). Без декодера воспроизводится в стереоформате.

Dolby Surround Pro-Logic (DPL) – усовершенствованная технология DSS, в которой предусмотрен центральный канал.

ТНХ – стандарт, созданный на основе DPL. Пространственный канал разделен на два псевдостереофонических – левый и правый. Кроме того, добавлен низкочастотный канал для подключения сабвуфера.

Dolby Digital (AC3) – полноценная шестиканальная (5.1) схема, преду-

203

сматривающая не подмешивание дополнительной информации о каналах в стереопоток, а отдельное их представление. Предусматривает пять широкополосных (30-20 000 Гц) каналов: три фронтальных (левый, центральный и правый), два задних (левый и правый), а также низкочастотный (20-120 Гц) канал сабвуфера. ЭтасхемакодированиязвукареализуетсянадискахDVD-Video.

Dolby Digital EX – система формата 6.1. В отличие от предыдущей схемы, обеспечивает не два, а три задних канала – левый, правый и центральный. В последнее время появились также схемы 7.1 и 8.1.

Digital Theater System (DTS) – шестиканальная цифровая схема записи звукового сопровождения кинофильмов, получившая широкое распространение в США. Благодаря меньшей степени сжатия обеспечивает более высокое качество звучания, чем АСЗ.

Virtual Dolby Surround, Virtual Surround Sound (VSS), Virtual 3D Surround, 3D-Phonic, Spatializer – набор алгоритмов обработки звука, позволяющих имитировать пространственное звучание при воспроизведении через стереосистему.

8.3.5. Видео адаптер или видео карта

Видео карта или видео адаптер компьютера предназначен для формирования изображений, наблюдаемых на экране монитора. Ее основу составляют специализированные схемы для генерирования электрических сигналов, управляющих монитором. Видеоадаптеры состояли из следующих основных частей: графического контроллера, последовательного преобразователя, контроллера атрибутов, контроллера CRT, ПЗУ, видеопамяти и синхронизатора.

Графический контроллер устройство, которое отвечает за обмен данными между CPU и видеопамятью, регенерацию ее содержимого, и обработку запросов центрального процессора. Для исключения конфликтов при обращении к памяти со стороны видеоконтроллера и центрального процессора первый имеет отдельный буфер, который в свободное от обращений ЦП время заполняется данными из видеопамяти. Если конфликта избежать не удается видеоконтроллеру приходится задерживать обращение ЦП к видеопамяти, что снижает производительность системы. Для исключения подобных конфликтов в ряд карт применялась так называемая двухпортовая память, допускающая одновременные обращения со стороны двух устройств.

Последовательный преобразователь выбирает данные из памяти и преобразует их в поток битов.

Контроллер атрибутов преобразует информацию о цвете в вид для отображения монитором.

КонтроллерCRT генерируетсинхросигналы, управляющиемонитором. Видеопамять используется как буфер видеоконтроллера для проме-

жуточного хранения и модификации изображения.

Синхронизатор обеспечивает синхронную работу всех узлов адаптера, задает временные параметры и управляет доступом CPU к видеопамяти.

204

Рис.8.31 Схема видеосистемы компьютера

Прежде чем стать изображением на мониторе, двоичные цифровые данные обрабатываются центральным процессором и проходят к монитору в четыре этапа (рис.8.31):

Из шины (system bus) на видеосхему (video adapter) , где она обрабатывается (цифровая информация)

Из видеосхемы (video chipset) в видеопамять (video memory), в которой будет храниться отображение экрана (цифровая информация)

Из видеопамяти в цифроаналоговый преобразователь (RAM DAC); при этом образ экрана преобразуется в форму, доступную монитору (цифровая информация)

Из цифро-аналогового преобразователя в монитор (аналоговая информация)

Как можно видеть, каждый этап, исключая передачу из RAM DAC в монитор, является узким местом, влияющим на производительность графической системы в целом. Общее быстродействие определяется скоростью самого медленного звена. На всем пути следования цифровых данных над ними производятся различные операции преобразования, сжатия и хранения. Оптимизируя эти операции, позволяет добиться повышения производительности всей видеоподсистемы. Лишь последний отрезок пути, от RAMDAC до монитора, когдаданныеимеютаналоговыйвид, нельзяоптимизировать.

Этапы следования данных от центрального процессора системы до монитора.

1. Скорость обмен данными между CPU и графическим процессором напрямую зависит от частоты, на которой работает шина, через которую передаются данные. Рабочая частота шины зависит от чипсета материнской платы. Чем выше рабочая частота шины, тем быстрее данные от центрального процессора системы дойдут до графического процессоравидеоадаптера.

205

2. Ключевой момент, влияющий на производительность видеоподсистемы, вне зависимости от специфических функций различных графических процессоров, это передача цифровых данных, обработанных графическим процессором, в видеопамять, а оттуда в RAMDAC. Самое узкое место любой видеокарты - это видеопамять, которая непрерывно обслуживает два главных устройства видеоадаптера, графический процессор и RAMDAC, которые вечно перегружены работой. В любой момент, когда на экране монитора происходят изменения (иногда они происходят в непрерывном режиме, например движение указателя мыши, мигание курсора в редакторе и т.д.), графический процессор обращается к видеопамяти. В то же время, RAMDAC должен непрерывно считывать данные из видеопамяти, чтобы изображение не пропадало с экрана монитора. Поэтому, чтобы увеличить производительность видеопамяти, производители применяют различные технические решения. Например, используют различные типы памяти, с улучшенными свойствами и продвинутыми возможностями, или увеличивают ширину шины данных, по которой графический процессор или RAMDAC обмениваются информацией с видеопамять, используя 32, 64, 128, 256 разрядную видеошину.

История развития. До пятидесятых годов компьютеры выводили информацию только на печатающие устройства. Достаточно часто компьютеры тех лет оснащались осциллографами, которые, однако, использовались не для вывода информации, а всего лишь для проверки электронных цепей вычислительной машины. Впервые в 1950 году в Кембриджском университете (Англия) электронно-лучевая трубка осциллографа была использована для вывода графической информации на компьютере EDSAC (Electronic Delay Storage Automatic Computer). Примерно полтора года спустя английский ученый Кристофер Стретчи написал для компьютера "Марк 1" программу, игравшую в шашки и выводившую информацию на экран.

Самым первым видеоадаптером первых PC был видеоадаптер стандар-

та MDA (Monochrome Display Adapter - монохpомный адаптеp дисплея). Ра-

ботает только в текстовом режиме с разрешением 80x25 знаков (720x350 точек, каждый символ - матрица 9x14 точек), поддерживает пять атрибутов текста: обычный, яркий, инверсный, подчеркнутый и мигающий. Интерфейс с монитором - цифровой: сигналы синхронизации, основной видеосигнал, дополнительный сигнал яркости. В наши дни совершенно неприменим.

Адаптер HGC (Hercules Graphics Card - графическая карта Hercules) -

расширение MDA с графическим режимом 720x348, разработанное фирмой Hercules. Это первый видеоадаптер для PC, поддерживающий графический режим. Однако, появившиеся впоследствии графические режимы были несовместимы с HGC, игры написанные в графических режимах последующих видеоадаптеров, не работали а адаптере HGC. Интерфейс с монитором - цифровой, как и у MDA. В наши дни совершенно не применим.

CGA (Color Graphics Adapter - цветной графический адаптер) - адаптер с графическими возможностями. Работает либо в текстовом режиме с

206

разрешениями 40x25 и 80x25 (матрица символа - 8x8), либо в графическом с разрешениями 320x200 или 640x200. В текстовых режимах доступно 256 атрибутов символа - 16 цветов символа и 16 цветов фона (либо 8 цветов фона и атрибут мигания), в графических режимах доступно четыре палитры по четыре цвета каждая в режиме 320x200, режим 640x200 - монохромный. Т.е. возможности передачи цвета в графике - только в режиме 320x200, и при этом, несмотря на то, что адаптер поддерживал 16 цветов, одновременно на экране могли быть цвета только из одной палитры, следовательно одновременно адаптер отображал только 4 цвета. Интерфейс с монитором - цифровой: сигналы синхронизации, основной видеосигнал (три канала - красный, зеленый, синий), дополнительный сигнал яркости. В наши дни совершенно не применим.

EGA (Enhanced Graphics Adapter - улучшенный графический адап-

тер) - дальнейшее развитие CGA, примененное в первых 286. Добавлено разрешение 640x350, что в текстовых режимах дает формат 80x25 при матрице символа 8x14 и 80x43 - при матрице 8x8. Количество одновременно отображаемых цветов - по 16, палитра расширена до 64 цветов (по два разряда яркости на каждый цвет). Совместим с MDA и CGA. Интерфейс с монитором - цифровой. В наши дни совершенно не применим .

MCGA (Multicolor Graphics Array - многоцветный графический мас-

сив) - Этот тип видеоадаптеров не был особо распространен. Причиной тому явилась политика IBM, которая изобрела и ввела этот стандарт в рамках стандарта PS/2. Лицензии на производство данного типа карт компания не давала, поэтому MCGA не стал общим стандартом. Список поддерживаемых разрешений пополнился значением 640x400 (текст). Количество воспроизводимых оттенков в текстовом режиме составило 262144. Графический режим характеризовался разрешением 320x200 пикселей при 256 цветах. На все это вполне хватало 64 Кб видеопамяти..

Двухстандартный EGA/VGA видеоадаптер под шину ISA-16 (9- пиновый выход - EGA, 15-пиновый выход - VGA). Стандарт и видеорежим устанавливается dip-переключателями.

Поистине революционным стандартом можно считать стандарт VGA (Video Graphics Array), представленный все той же IBM в 1987 году. Революцией являлось появление цифро-аналогового преобразователя в VGAадаптерах. Это было связано с переходом от цифрового управления монитором к аналоговому. Все дело в том, что VGA-видеокарта могла отображать значительно больше оттенков, чем видеоадаптеры всех предыдущих стандартов: теперь для кодирования каждого цвета требовалось не 2 бита, а целых 6, то есть 18 проводов на цвета, плюс один провод на сигнал синхронизации, что, согласись, нецелесообразно. Поэтому в монитор стали передавать аналоговый сигнал, от уровня которого зависел уровень яркости соответствующей RGB-пушки. В связи с этим возникла необходимость установить на видеоадаптер цифро-аналоговый преобразователь. Вместе с VGA появилось несколько более знакомое всем сокращение RAMDAC (Random Access Memory

207

Digital to Analog Converter). VGA-адаптеры комплектовались 256 Кб видео-

памяти и поддерживали следующие режимы: 640х480 - 16 цветов, 640х400 - 16 цветов, 320х200 - 16 цветов и 320х200 - 256 цветов. Палитра VGA составляла 262144 оттенков (218, по 64 уровня яркости на каждый RGB-цвет). Начиная с этого адаптера, применяются разрешения с соотношением сторон 4:3. VGA был одним из самых клонируемых стандартов и последней коммерчески успешной разработкой IBM в области видеокарт.

IBM XGA - специализированный адаптер IBM. Не совместим с VGA

ине стал стандартом. Применялся только в системах, изготовленных IBM. Расширено цветовое пространство (режим 640x480x64k), добавлен текстовый режим 132x25 (1056x400). Интерфейс с монитором аналогичен

VGA/MCGA.

SVGA (Super VGA - "свеpх"-VGA) - расширение VGA с добавлением более высоких разрешений и дополнительного сервиса. SVGA S3-Virge PCI - простой Direct3D ускоритель с возможностью расширения памяти. С появлением видеоадаптеров XGA конкуренты IBM решили не копировать эти расширения VGA, а начать выпуск более дешевых видеоадаптеров с разрешением, которое выше разрешения IBM. Эти видеоадаптеры образовали категорию Super VGA (SVGA). Поскольку SVGA-карты не были так же хорошо стандартизированы, как VGA, они отличаются, мягко говоря, большим разнообразием. Чтобы использовать все возможности большинства плат, был необходим драйвер для конкретной видеоплаты.

Воктябре 1989 года ассоциация VESA (Video Electronic Standards Association), учитывая все сложности, предложила стандарт для единого программного интерфейса с этими платами. В эту ассоциацию вошли представители большинства компаний, выпускающих аппаратуру для ПК, в том числе

иаппаратуру отображения. Новый стандарт был назван VESA BIOS Extension. Если видеоадаптер удовлетворяет этому стандарту, программно можно легко определить его специфические соответствия и использовать их в дальнейшем. Существующий стандарт VESA на платы Super VGA предусматривает использование практически всех распространенных вариантов форматов изображения и кодирования цветовых оттенков, вплоть до разрешения 1280х1024 при 16777216 оттенках (high color). Отличительной чертой SVGA являлся встроенный графический акселератор, который присутствовал практически на всех SVGA-видеоадаптерах. Его появление связано с развитием графических ОС и, в частности, MS Windows.

Тенденция усложнения изображений привела к появлению 2Dускорителя – видеокарты, имеющий свой собственный, пусть и простейший процессор, бравший на себя часть функций, разгружая центральный процессор. Но когда появилась необходимость строить 3D изображения – ситуация осложнилась. 3D графика - графика, показывающая объем и перспективу.

Если первоначальной задачей видео карт являлось преобразование цифрового сигнала в видео сигнал с последующим выводом изображения на монитор (этим занимается RAMDAC), то с появлением 3D графики в

208

состав видео карты стал входить 3D акселератор. На него возлагаются задачи по огромным математическим вычислениям, связанным с обработкой 3D графики и проецированием её на плоскость (экран монитора).

Видеоакселератор не занимается расчётом того, какую сцену он должен сейчас строить. Определением 3D сцены – объектов, точки наблюдения и т.п. занимается центральный процессор. Как только все необходи-

Рис.8.32 Классический графический конвейер

мые данные собраны – они передаются видеокарте, которая начинает построение сцены.

Такое понятие, как «конвейер», стало доминирующим в описании архитектуры конкретного видеопроцессора, и отличия между ними в основном состояли в количестве отдельных вычислительных блоков.

На самом деле то, что подразумевается под конвейером в видеопроцессоре, является лишь аппаратным обеспечением для реализации обработки графики, которая проводится конвейерным способом. Просчёт графики ведётся следующим способом рис.8.32.

Итак, изначально видеопроцессор получает от хоста (центрального процессора) информацию об объекте, который необходимо обработать. В дело вступает вершинный процессор ядра. Он на основании полученных данных строит конкретный объект с фиксированными координатами, называемый вершиной (vertice). На данном этапе проводятся отдельные дополнительные операции над этими вершинами – например, преобразование и освещение, изменение объекта шейдерами и т.п. Кстати, аппаратный

Transform & Lighting (T&L) впервые был внедрён NVIDIA в ядро GeForce 256 в 1999 году, затем дополнительные возможности обработки вершин добавлялись с поддержкой новых версий DirectX (программируемые вершинные шейдеры в DirectX 8, пиксельные – в DirectX 9 и т.д.).

Следующая ступень конвейера – сборка (setup). На этом этапе вершины собираются в примитивы – треугольники (полигоны), линии или точки. Подчеркнём, что ни о каком видимом объекте пока речь не идёт, это абстрактная информация о том, что вершины объединены в какой-то геометрический объект.

209

Эта информация переходит дальше по конвейеру – в пиксельный процессор, который определяет конечные пиксели, которые будут выведены в кадровый буфер, и проводит над ними различные операции: затенение или освещение, текстурирование, присвоение цвета, данных о прозрачности и т.п. В целом эту операцию называют растеризацией, потому что объект разбивается на отдельные фрагменты – пиксели. Понятие «растровый» означает «состоящий из точек», именно такая графика имеет отношение к трёхмерной, существует ещё векторная, объекты в которой представляются математическими формулами. Также в относительно современных графических процессорах на данной стадии на сцену выходят пиксельные шейдеры, способные отобразить специфическое изображение (шейдеры освещения, затенения, блеска и т.п.) Над пикселями проводится Z-тестирование (выясняется глубина каждой точки, так как мы говорим о трёхмерном изображении), и линии сглаживаются (antialiasing). Вся эта информация передаётся на следующую стадию (Z-данные – в Z-буфер).

Затем фрагменты с присвоенными им координатами цветности (RGBA, где A – alpha, обозначающая дополнительную характеристику пикселя (прозрачность) обрабатываются блоком ROP (Raster Operations). Из Z-буфера вычитываются данные о расположении конкретных пикселей, чтобы отбросить те, которые будут скрыты другими объектами и не видны пользователю. Фрагменты снова собираются в полигоны, состоящие из отдельных пикселей, и весь массив уже обработанной картинки передаётся в кадровый буфер для последующей выборки и вывода на экран.

Вот такой процесс называется конвейером. В характеристиках графических процессоров указывают условные конвейеры, что означает, сколько одновременно обработок может проводить ядро. Например, возьмём GeForce 7600GT: 12 пиксельных конвейеров по одному TMU на каждый, 5 вершинных процессоров. Понимать это следует так: за один такт ядро способно обработать 5 наборов данных о вершинах и построить 5 вершин, одновременно после растеризации обрабатываются 12 пикселей, на каждый из которых может быть наложена текстура. Иногда делается упор на мультитекстурирование, когда на один пиксель накладывается несколько текстур, в таком случае в ядре предусматривается кратное количество пиксельных процессоров и TMU (например 4/8). Если TMU меньше, чем пиксельных процессоров, то текстурирование проходит за несколько тактов.

8.3.6. Построение трехмерных изображений

Тесселяция поверхностей. Сцена в играх строится из объектов, например звездолета, замка, шоссе. Все объекты тут рукотворные, в отличие от того, что снимает кинокамера. Важно также, что все объекты, даже представляющие собой объемные тела, представляются только поверхностями, их ограничивающими (и которые могут иметь различную степень

210