26 Лекция 16

СИСТЕМЫ ВИДЕОНАБЛЮДЕНИЯ И ОБРАБОТКИ ИЗОБРАЖЕНИЙ ДЛЯ АВТОМАТИЗАЦИИ ИЗМЕРЕНИЙ И ТЕХНИЧЕСКОГО КОНТРОЛЯ

Цифровая фотограмметрия и бесконтактные измерения. Фотограмметрический метод бесконтактных трехмерных измерений

Развитие современной вычислительной техники и средств получения цифровых изображений обеспечило надежный фундамент для создания бесконтактных систем трехмерных измерений, основанных на фотограмметрическом подходе, позволяющем определять пространственные координаты объекта по его разноракурсным изображениям (фотографиям). В настоящее время фотограмметрические методы широко используются для построения карт и моделей местности по аэро- и космическим снимкам. Снимки архитектурных сооружений используются для измерения необходимых пространственных размеров зданий. Фотограмметрические методы применяются в судостроении (внутренние и внешние обмеры элементов корабля), медицине, микроизмерениях и многих других областях.

Развитие фотограмметрии от появления фотографии как средства получения изображений до недавнего времени шло, главным образом, по линии решения задач, возникающих при проведении наземных съемок и аэрофотосъемок для целей картографирования. Использование фотограмметрии для измерений близко расположенных объектов (инженерной фотограмметрии) ограничивалось необходимостью использования дорогостоящей и низкопроизводительной аналоговой измерительной техники (стереокомпараторов, стереометров, стереопланиграфов). Однако распространение высокопроизводительной вычислительной техники, с одной стороны, и совершенствование средств получения цифровых изображений, с другой стороны, обусловили необходимые предпосылки для появления высокоэффективных цифровых аппаратно-программных комплексов для практической инженерной фотограмметрии. В последние десятилетия стало возможным применять методы машинного зрения для решения задач бесконтактных измерений и создания трехмерных компьютерных моделей объектов сложной формы, и. тем самым, обеспечивать высокую точность и высокую степень автоматизации измерений в промышленности и на производстве.

Основными задачами, которые требуется решить при определении трехмерных координат точек объекта фотограмметрическими методами, являются следующие.

Выбор конфигурации съемки. Качество измерений существенно зависит от выбранных масштаба съемки, расположения съемочных камер, собственной формы объекта, а также от ограничений, налагаемых условиями съемки. Поэтому для обеспечения требуемых показателей качества модели в каждом конкретном случае необходимо для заданного класса объектов решать задачу выбора количества, параметров и расположения камер.

Задача калибровки. Под задачей калибровки понимаются определение адекватной математической модели съемки (геометрии получения изображения) и оценка параметров данной модели.

Задача стереоотождествления. Проблема стереоотождествления заключается в идентификации на разноракурсных (стерео) снимках соответствующих двумерных изображений одной и той же заданной трехмерной точки поверхности объекта и высокоточном измерении ее координат на этих изображениях.

Задача расчета трехмерных координат точек объекта сложной формы. Стереосистема машинного зрения может определить трехмерные координаты тех точек объекта, которые одновременно видны обеими камерами. Поэтому даже для не очень сложных поверхностей по стереопаре изображений может быть восстановлена лишь частичная модель (фрагмент) объекта.

Математическая модель камеры. В традиционных фото- и видеокамерах, используемых в технических системах, снимок формируется по закону центрального проектирования, когда точка снимка получается как точка пересечения прямой, проходящей через центр проекции (точку съемки) и точку объекта, с плоскостью снимка.

Для описания геометрической модели камеры вводятся две системы координат.

Пиксельная система координат цифрового снимка имеет начало координат в левом верхнем углу оцифрованного изображения. Начало координат выбирается таким образом, что левый верхний пиксел изображения имеет координаты (0; 0). Единицей измерения координат в этой системе является пиксел.

В этой системе координат измеряются координаты точек оцифрованного изображения

Пространственная система координат цифрового снимка имеет начало координат в центре проектирования. Отрицательное направление оси z совпадает с главной осью съемочной камеры. Оси x и y лежат в плоскости снимка и образуют вместе с осью z правую систему координат. Ось x параллельна оси х пиксельной системы координат, а ось y параллельна оси пиксельной системы координат и направлена в противоположную сторону.

При рассмотрении модели камеры считается, что плоскость снимка лежит впереди центра проектирования, поэтому любая точка снимка в этой системе имеет координаты (x, y, -f). Величина f равняется расстоянию от центра проектирования до плоскости снимка и всегда считается положительной.

В этой системе координат записываются координаты точки снимка в условиях коллинеарности и при вычислении пространственных координат точек объекта.

Преобразование пиксельных координат точки снимка осуществляется следующим образом:

- пиксельные координаты преобразуются к искаженным координатам;

- вычисляются нелинейные искажения для данной точки;

- вычисляются истинные координаты х, у точки снимка путем прибавления к рассчитанным искаженным координатам соответствующих нелинейных искажений.

При решении задачи вычисления координат точки снимка, соответствующей данной точке поверхности, необходимо по истинным координатам (х, у) вычислить пиксельные координаты точки снимка.

Положение снимка относительно выбранной фотограмметрической системы координат, в которой измеряются пространственные координаты точек объекта, определяется вектором координат точки съемки Х₀ и матрицей вращения, которая является функцией трех углов последовательных поворотов системы координат.

В аэросъемке принято использовать следующую последовательность поворотов:

- первый поворот вокруг оси — OY фотограмметрической системы координат;

- второй — вокруг новой оси ОХ;

- третий — вокруг оси OZ системы координат, связанной с камерой.

Калибровка видеокамер. Рассмотрим удобный с практической точки зрения метод калибровки, который заключается в следующем:

- изготавливается специальное калибровочное поле (плоский стенд) со специально помеченными точками, координаты которых заранее известны с высокой степенью точности;

- производится съемка большого числа разноракурсных снимков калибровочного поля;

- на каждом снимке измеряются координаты всех видимых точек калибровочного поля;

- для каждой точки каждого снимка записываются условия коллинеарности центра проектирования, точки снимка с учетом искажений и точки калибровочного поля;

- по методу наименьших квадратов находятся значения оцениваемых параметров (в которые включаются и параметры камеры), соответствующих минимуму суммы квадратов невязок условий коллинеарности.

При проведении калибровки в вектор оцениваемых параметров включаются плановые координаты определяемых точек калибровочного поля, элементы внешнего ориентирования всех снимков, а также элементы внутреннего ориентирования и параметры нелинейных искажений всех камер комплекса.

Наиболее трудоемкой ручной операцией при использовании данного подхода к калибровке является измерение большого количества координат опорных точек калибровочного поля на множестве разноракурсных изображений. Пусть калибровочное поле содержит 49 точек, видимых с двух камер на 15 снимках, полученных каждой камерой, тогда для проведения калибровки необходимо с высокой точностью определить координаты 1470 точек. Поэтому в задачах ближней фотограмметрии для применения подобного метода калибровки необходимо решить вопрос автоматической идентификации точек снимков, что достигается применением в качестве опорных точек специальных кодированных меток, подлежащих автоматическому распознаванию (декодированию). При этом к алгоритму распознавания и структуре меток предъявляются два следующих основных требования:

- возможность определения координат центров меток с субпиксельной точностью:

- высокая надежность декодирования номера метки.

Внешнее ориентирование камер. Необходимым этапом при построении фотограмметрического измерительного комплекса является определение элементов внешнего ориентирования камер. В результате выполнения процедуры внешнего ориентирования не только определяется взаимное расположение камер, но и фиксируется фотограмметрическая система координат комплекса.

Для проведения внешнего ориентирования используется то же калибровочное поле, что и в операции калибровки.

Процедура внешнего ориентирования состоит из следующих этапов:

- установка калибровочного поля в исходное положение, определяющее фотограмметрическую систему координат (в дальнейшем элементы внешнего ориентирования снимков будут определяться относительно именно этой системы);

- получение снимков калибровочного поля в этом положении всеми камерами комплекса;

- установка калибровочного поля в несколько дополнительных положений (при проведении ориентирования измерительного комплекса калибровочное поле устанавливается в два дополнительных положения вблизи ближней и дальней границы рабочей области комплекса соответственно);

- получение снимков калибровочного поля в дополнительных положениях всеми камерами комплекса;

- распознавание кодированных меток на всех полученных снимках;

- вычисление элементов внешнего ориентирования по методу наименьших квадратов при условии минимума невязок условий коллинеарности.

При проведении внешнего ориентирования в вектор оцениваемых параметров входят элементы внешнего ориентирования всех камер комплекса и параметры, определяющие положение калибровочного поля в дополнительных положениях.

Решение задачи стереосоответствия. Структурированный подсвет. После того как в результате проведенных операций калибровки и ориентирования геометрическая модель стереосъемки стала известна нам со всеми своими параметрами, мы в принципе готовы к решению задачи реконструкции трехмерных координат точек снимаемой поверхности. При этом, для того чтобы вычислить трехмерные координаты любой точки поверхности, необходимо лишь определить положение ее проекции на снимках всех камер, используемых в измерительном комплексе. Иными словами, нам необходимо установить соответствие каждой интересующей нас точки на изображении, полученном от одной камеры системы, ее же изображениям на снимках, полученных от других камер системы. Конечно, в лабораторных условиях оператор измерительного комплекса в состоянии указать такие соответствующие точки разных снимков вручную, но в современных измерительных системах, используемых для реконструкции трехмерной формы объекта, необходимо измерять за короткие промежутки времени тысячи и даже сотни тысяч точек. Поэтому возникает задача автоматического определения соответствующих точек на изображениях от нескольких камер, называемая также задачей установления стереосоответствия.

Как было описано выше, в случае калибровочного поля в решении этой задачи нам помогает обнаружение специальных меток, имеющих уникальные номера. После распознавания меток точки с номером 1 считаются соответствующими на всех снимках, также точки с номерами 2, 3 и так далее. Однако на реальных изображениях, например, земной поверхности, получаемых при аэрофотосъемке, никаких специальных меток нет. Задача установления стереосоответствия в таком случае может решаться только путем математического (например, корреляционного) сопоставления окрестностей соответствующих точек, которые должны выглядеть достаточно «похожими» с учетом разницы в ракурсе съемки. Поэтому в приложениях так называемой «дальней» фотограмметрии задача определения стереосоответствия точек является ключевой задачей стереореконструкции и сопряжена с целым рядом проблем, ошибок и специфических трудностей, связанных с неоднозначностью результатов анализа изображения, особенно в малоинформативных областях, лишенных характерной контрастной текстуры, способствующей надежному отождествлению соответствующих и различению несоответствующих точек поверхности.

В приложениях инженерной фотограмметрии, в условиях работы на небольших дальностях с объектами небольшого размера (до единиц метров), мы имеем возможность искусственно создавать такую специальную текстуру на исследуемой поверхности за счет специального структурированного подсвета. Такой подсвет может осуществляться одной или несколькими линиями» регулярной решеткой, множеством точек или каким-либо еще способом. Важно лишь, чтобы соответствующее программное обеспечение позволяло использовать дифференциацию точек изображения, создаваемую структурированным подсветом, для решения задачи стереоотождествления. В случае если количество подсвеченных на одной стереопаре точек недостаточно для построения полной модели поверхности, используют ряд последовательных стереопар одного и того же объекта, причем от снимка к снимку элементы структурированного подсвета перемещаются по поверхности — за счет движения источника подсвета относительно неподвижного объекта либо за счет движения самого объекта (например, на конвейере или специальном поворотном устройстве). В таком случае говорят о фотограмметрическом «сканировании» поверхности объекта.

Рассмотрим простейший вариант «линейного» структурированного подсвета, при котором исходными данными для построения модели поверхности являются пиксельные координаты подсвеченных одной кодированной вертикальной линией точек снимков всех камер.

В случае двух камер для получения пространственных координат соответствующих точек необходимо решить задачу идентификации точки профиля правой камеры, соответствующей данной точке левой камеры. По координатам соответствующих точек можно найти пространственные координаты точки в фотограмметрической системе координат.

Задача нахождения соответствующей точки на правом профиле может быть решена путем приведения координат точек снимка к нормальному случаю съемки в базисной системе координат. При этом ординаты соответствующих точек будут равны. Поэтому каждой точке левого снимка будет соответствовать точка правого снимка с равной ей ординатой. Абсцисса соответствующей точки находится линейной интерполяцией между ближайшими узлами ломаной.

Фотограмметрический комплекс для бесконтактных измерений. Рассмотрим в качестве примера практического приложения в области бесконтактных трехмерных измерений фотограмметрический комплекс, реализованный в ГосНИИАС на базе промышленного компьютера PXI производства фирмы National Instruments (США). Поскольку это пример построения практической системы машинного зрения, мы будем уделять внимание особенностям аппаратного обеспечения, также определяющим финальные параметры системы в целом,

Аппаратное обеспечение комплекса. Рассматриваемый фотограмметрический комплекс для бесконтактных измерений включает следующие аппаратные компоненты:

- промышленный компьютер PXI-1002;

- плату захвата видеосигнала (фреймграббер);

- коммутатор входного видеосигнала;

- ПК-управляемый источник структурированного подсвета на базе устройства позиционирования и лазерного источника структурированного света;

- две ПЗС-видеокамеры.

Промышленный компьютер отличается от обычного офисного ПК на базе аналогичного процессора возможностью беспрерывной круглосуточной работы в условиях реального промышленного производства, характеризующихся повышенной влажностью, вибрацией, ударами, запыленностью и другими вредными факторами и воздействиями. Плата видеозахвата PXI N4-1409 обеспечивает ввод в компьютер монохромных изображений с двух ПЗС-камер типа PULNiX TM-260N1R.

Структурированный подсвет измеряемого объекта обеспечивается лазерным источником структурированного света Lasiris™ SNF Laser. Данный источник структурированного света (ИСС) обладает равномерным распределением интенсивности в проецируемых шаблонах, варьируемыми длиной волны излучения и выходной мощностью, защитой от перегрева, перегрузок электропитания и поставляется в исполнении, защищенном от ударов и вибрации. В рассматриваемом измерительном комплексе используется источник SNF-501-660-35, генерирующий на выходе одну вертикальную линию.

Перечисленные элементы аппаратного обеспечения комплекса представлены на рисунке 1.

Для автоматизации процесса измерений лазерный источник структурированного света установлен на устройстве позиционирования, управляемом от персонального компьютера (см. рисунок 2). Устройство позиционирования управляется через внешний контроллер, имеющий параллельный интерфейс с персональным компьютером.

Программное обеспечение комплекса. Программное обеспечение системы бесконтактных фотограмметрических измерений включает модуль калибровки системы и модуль множественных трехмерных измерений. Модуль калибровки служит для определения параметров ориентирования камер, что обеспечивает заданную точность измерений координат. Модуль сканирования служит для проведения в автоматическом режиме сеанса измерений точек поверхности объекта, одновременно видимых с обеих камер.

Калибровка заключается в определении внешних и внутренних параметров ориентирования камеры. Для проведения калибровки используется специальная калибровочная пластина с расположенными на ней изображениями кодированных меток. На изображении пластины, полученном каждой из камер, распознавание меток происходит автоматически, с вычислением координат центра метки и ее номера. Данная процедура производится для обеих камер при различных положениях калибровочной пластины. Всего таких положений 15. На основе полученных данных, а также известных (заранее измеренных вручную с высокой точностью) координат меток на самой пластине, вычисляются параметры ориентирования камер. Результаты калибровки сохраняются в файлах заданного формата, которые впоследствии используются модулем сканирования в процессе расчетов.

Внешний вид модуля, предназначенного для проведения процедуры калибровки, и изображение калибровочного поля показаны на рисунке 3.

В описываемой системе реконструкция поверхности объекта реализуется на основе подсветки лазером в виде вертикальной линии. Особенностью данного источника подсвета является высокая яркость, позволяющая проводить процесс сканирования при достаточном уровне внешней освещенности (по меньшей мере, при дневной комнатной освещенности). Устройство, генерирующее лазерный подсвет, размещается на поворотном шаговом двигателе. В процессе сканирования лазерный луч пробегает по всей поверхности объекта. В каждом положении луча происходит съемка объекта с двух камер. На основе двух полученных изображений освещенного профиля объекта восстанавливается сам пространственный профиль. Чем меньше шаг сканирования, тем больше требуется для него времени, но тем более детальной получается модель.

Внешний вид модуля реализующего процесс сканирования показан на рисунке 4. Результаты изменения параметров сразу отображаются в окне (см. рисунок 4 справа).

За каждый шаг сканирования с камер снимаются два изображения. На каждом изображении производится выделение линии. Линия представляется в виде массива двумерных точек. Полученные координаты точек сохраняются в памяти для последующей обработки. Далее для каждой пары линий по их двумерным координатам с использованием известных заранее параметров ориентирования камер вычисляется соответствующий им трехмерный профиль объекта. Множество таких профилей образуют поверхность объекта, состоящую из множества точек. Данное облако точек подвергается процедуре триангуляции. Полученный в результате работы системы отсканированный трехмерный объект (поверхность) представляется в виде трехмерной нерегулярной сетки, состоящей из соединенных между собой соседних треугольников.

Пример результата работы комплекса показан на рисунке 5.