Введение
После полутора-двух десятилетий пониженного спроса на новые технологии в отечественной промышленности, не в последнюю очередь в связи с насущной необходимостью преодоления кризиса, растёт интерес к инновационным разработкам. Особую роль играют высокоинтеллектуальные промышленные системы управления производственными процессами, основанные на обработке многомерных информационных массивов, таких как изменяющиеся во времени двумерные изображения и видеоданные. Наиболее перспективно строить такие приборы на основе систем технического зрения (СТЗ). С их помощью появляется возможность создания новых типов информационных систем, решающих широкий класс проблем благодаря использованию информации визуального характера.
Системы технического зрения предназначены для решения задач по дополнению или замене человека в областях деятельности, связанных со сбором и анализом зрительной информации. Уровень использования СТЗ в прикладных областях является одним из наиболее ярких и наглядных интегральных показателей уровня развития высоких технологий в самых различных отраслях промышленности.
В настоящее время значительные успехи в области построения и использования СТЗ приходятся на наиболее развитые производства с общей высокой культурой и технологией. Наряду с прикладными задачами СТЗ используют и в научных исследованиях, в которых на них возлагается роль дополнения, расширяющего возможности и повышающие эффективность человеческого зрительного анализа, при ведущей роли человека-оператора или исследователя.
Определенные трудности возникают при разработке СТЗ, в которых выполнение всех вычислительных операций по обработке и анализу видеоизображений должно быть реализовано в режиме реального времени. Наибольшую часть времени занимают вычисления на центральном процессоре связанные с обработкой изображений. Поэтому, актуально наряду с оптимизацией прикладного программного обеспечения использовать аппаратные средства ускорения процессов обработки. Одним из наиболее перспективных средств повышения производительности при обработке видеоинформации являются специализированные вычислительные устройства – графические ускорители фирмы NVIDIA, в частности низкоуровневая платформа для вычислений общего назначения NVIDIA CUDA (Compute Unified Device Architecture). Именно этим обстоятельством и объясняется выбор технологии CUDA для реализации алгоритмов цифровой обработки изображений и получения практических навыков программирования.
Часть 1. Программирование графического адаптера nvidia с использованием технологии cuda
Применение графических процессоров (graphics processing units - GPU) начиналось с программирования динамической трёхмерной графики. Для программной реализации графики используется архитектура графического конвейера. Графический конвейер представляет собой аппаратно-программное устройство, которое переводит объекты, описанные в трехмерном пространстве XYZ, во множество пикселей на экран монитора с учетом положения наблюдателя. Приведём краткое описание работы графического конвейера, блок-схема которого дана на рис. 1.1.
На первом шаге конвейера для отображения динамических изменений в наблюдаемой сцене все вершины объектов, которые прошли пиксельный тест и попали в графический конвейер из приложения, подвергаются аффинным преобразованиям: вращению, масштабированию и перемещению. Этот шаг называется геометрическим этапом и реализуется в блоке трансформации и освещения. Геометрический этап очень сильно зависит от вычислительной мощности реализующего его устройства. Он может быть реализован ресурсами только центрального процессора (CPU), однако центральные процессоры разработаны для широкого круга задач и ограниченно используют возможности параллельных вычислений. Увеличение их производительности в основном связано с наращиванием тактовой частоты и объема высокоскоростной кэш-памяти. Программирование для ресурсоемких научных вычислений подразумевает тщательное структурирование данных и порядка инструкций для эффективного использования всех уровней кэш-памяти CPU. Вот почему на этом этапе конвейера CPU становится узким местом системы. В то же время геометрический этап может быть выполнен с использованием вершинных шейдеров и реализован на GPU, что значительно разгружает центральный процессор.
Рис. 1.1 -Блок-схема работы графического конвейера
Отсечение невидимых граней удаляет все треугольники сцены, которые расположены нелицевыми сторонами к камере (наблюдателю) и являются невидимыми. Программист может установить дополнительные плоскости отсечения, которые будут отсекать те вершины и треугольники, которые находятся в отрицательном полупространстве плоскостей. Отсечение по видимому объему задает пирамиду или куб видимости, и примитивы, находящиеся вне этого объема, также будут отсекаться.
На следующем шаге графического конвейера производится однородное преобразование, при котором (x,y,z)-координаты вершин делятся на четвертую компоненту, называемую однородным множителем. После этого преобразования координаты треугольников будут нормализованы, а пирамида видимости трансформируется в единичный ортогональный куб.
Следующий этап начинается с растеризации треугольников и создания из них массива пикселей. Каждый растеризуемый пиксель обладает теми же атрибутами (цвет, текстурные координаты и т.д.), что и вершина после обработки вершинным шейдером. Значения атрибутов пикселя вычисляются на основе линейной интерполяции вершин примитива.
Для наложения изображения на поверхность производится операция текстурирования. Мультитекстурирование – процесс добавления множества текстур к объекту. Мультитекстуры могут накладываться друг на друга для отображения шероховатостей поверхности. Шаг мультитекстурирования может производиться либо с помощью механизма работы с текстурами (использование центрального процессора), либо же с помощью пиксельных шейдеров (использование графического процессора). Пиксельные шейдеры можно рассматривать как некий программируемый механизм обработки пикселей, причем способ и результат такой обработки зависят от программиста. Именно с помощью пиксельных шейдеров получают визуальные эффекты, сравнимые с киноэффектами (моделирование воды, травяной поверхности, меха, микрорельефное и попиксельное освещение и др.).
После блока мультитекстурирования наступает фаза различных тестов, после успешного прохождения которых пиксель попадает в буфер кадра (место в видеопамяти) и отображается на экране.
Главным отличием архитектуры графического процессора (GPU), позволившим добиться выдающихся результатов в решении подобных задач, является реальное распараллеливание данных, т.е. способность к одновременной обработке большого числа независимых элементов. До 2007 г. программирование GPU было возможным только при помощи графических библиотек OpenGL и Microsoft DirectX, а выполняемые на GPU программы, называемые шейдерами (от слова shading – закрашивание, затенение), писались на соответствующих шейдерных языках: GLSL, HLSL, Cg. Изначально программируемые вершинные и пиксельные шейдеры были добавлены в графический конвейер для того, чтобы разработчики игр могли реализовывать более реалистичные визуальные эффекты. Чтобы понять, какие преимущества приносит перенос расчётов на GPU, приведём усреднённые цифры, полученные исследователями по всему миру. В среднем при переносе вычислений на GPU во многих задачах достигается ускорение, в 5-30 раз превышающее время, затраченное на быстрых универсальных процессорах.