1.3.2 Методы основанные на выделении элементов изображения

Сущность этих методов состоит в следующем: сначала выделяются элементы изображений, а затем они отождествляются. В качестве элементов изображения могут быть точки, линии, полигоны. Для выделения этих элементов применяются различные операторы, с которыми осуществляется свертка изображений. Например, для точек существуют операторы Forstner, Moravic, Dreschler y Mar-Hildreth. Задача этих операторов найти на изображении области с наибольшим изменением контраста, в которых затем получатся наилучшие результаты корреляции. Выделенные точки с помощью оператора Forstner инвариантны к поворотам и как следствие в этих точках корреляция получается более надежно. Оператор Moravic позволяет выделить точки с контрастом, превышающем некоторый порог. Оператор Dreschler вычисляет значение кривой Гаусса, которое позволяет определить точки принадлежащие перегибам линий. Эта характеристика линий не изменяется в зависимости от геометрических искажений, изменений масштаба и поворота изображения. Оператор Marr-Hildreth (или оператор LoG лапласиан гауссиана) фильтрует изображение и одновременно выделяет зоны изменений значений плотностей изображения.

Существуют различные операторы (операторы Roberts, Prewitt, Sobel), которые позволяют выделить линии и полигоны. Эти операторы основаны на выделении границ изменений значений плотностей изображения.

После выделения элементов изображений применяются площадные алгоритмы отождествления соответственных точек.

Преимущества: 1). Устойчивость к шумам изображений, так как анализируются не сами значения пикселей, а их изменения по сравнению с соседними, что ослабляет влияние шумов изображений. 2). Малая чувствительность к геометрическим и фотометрическим искажениям изображений.

Недостатки: предусматривают дополнительные вычислительные процедуры по выделению элементов изображений.

1.3.3 Методы, использующие связи между элементами изображения

В этих методах сначала выделяются элементы изображений (точки, линии, полигоны, и т.д.) затем определяют характеристики (атрибуты) этих элементов, такие как длинна, ориентация, площадь, контраст, среднее значение плотности изображения и т.д.

После присвоения этих атрибутов соответствующим элементам выполняют анализ связей между этими элементами, используя теорию графов.

Эти методы применяются только для получения первого приближения отождествления одноименных точек или для общего (достаточно грубого) отождествления двух изображений. Затем целесообразно использовать площадные методы отождествления соответственных точек для более точного их определения.

Кроме рассмотренных выше методов существует еще группа методов, основанных на применении теории динамического программирования (решение уравнений с ограничениями). Однако эти алгоритмы практически не используются из-за их сложности.

Рассмотрим более детально наиболее часто применяемые на практике методы для нахождения соответственных точек на паре перекрывающихся цифровых изображений.

Методы корреляции

Если координаты точки на левом снимке известны, координаты соответственной точки на правом снимке определяют следующим образом. Выделяют фрагмент изображения на левом снимке (его часто называют эталонной матрицей) с центром в определяемой точке и как бы накладывают ее на правый снимок (матрица поиска) и перемещают по направлениям x и y с шагом один пиксель. Для каждого положения эталонной матрицы вычисляется коэффициент корреляции R. Положение матрицы, при котором значение коэффициента корреляции является максимальным, соответствует идентичной (искомой на правом снимке) точке. Таким образом, находят координаты соответственной точки на правом снимке. Коэффициент корреляции R изменяется в пределах от 0 до 1.

Коэффициент корреляции вычисляется по следующей формуле:

(1.3.1)

Где f₁, f₂ – функции плотностей пикселей эталонной матрицы и матрицы поиска соответственно, т.е. левого и правого изображений; i – номер пикселя в матрице; n – количество пикселей в матрице; x₁,y₁ и x₂,y₂ - координаты центрального пикселя матрицы на левом и правом снимке соответственно. В частном случае, в качестве функций f₁, f₂ могут быть исходные значения плотностей пикселей, или из значения после фильтрации, или значения градиентов, и т.д. Если пара снимков отличается друг от друга по тону изображения, то в этом случае целесообразно вычислить среднее значение плотностей пикселей для каждого изображения и затем вычесть это среднее из каждого пикселя, как для левого, так и для правого снимков.

Теперь попробуем объяснить формулу (1.3.1) с геометрической точки зрения. Для этого представим все элементы эталонной матрицы и матрицы поиска как координаты векторов в n мерном пространстве (n – число элементов в эталонной матрице) и обозначим эти векторы через f₁, f₂. Из аналитической геометрии известно, что два вектора совпадают (равны) когда равны значения координат этих векторов и как следствие

угол между этими векторами равен нулю. Значение угла между двумя векторами вычисляется по известной формуле:

(1.3.2)

когда два вектора коллинеарны (совпадают), так как . Если сравнить формулы (1.3.1) и (1.3.2) видим, что они одинаковые. Другими словами, коэффициент корреляции R представляет собой косинус угла между векторами в n пространстве, координаты которых значения плотностей пикселей. Таким образом, R=1 в том случае, когда все значения плотностей пикселей (координаты векторов) двух изображений равны между собой ().

Для положения эталонной матрицы, когда R принимает максимальное значение, получаем соответственную точку на правом снимке с координатами x₂,y₂. Таким образом, можно получать координаты соответственных точек на правом снимке с точностью шага перемещения эталонной матрицы по матрице поиска (в данном случае – один пиксель). Для получения координат с подпиксельной точностью можно уменьшить шаг перемещения эталонной матрицы, например, установить его равным 0.1 пикселя. В этом случае необходимо увеличить изображения в 10 раз, т.е. один пиксель исходного изображения занимает 10х10 пикселей в увеличенном изображении. На рис.1.3.1 показан пример получения увеличенного изображения в два раза. Если осуществлять корреляцию по таким изображениям, то точность определения координат будет равна 0.5 пикселя.

Существует другой метод получения подпиксельной точности. Сначала выполняют корреляцию с точностью один пиксель, затем выбирают дискретные значения коэффициентов корреляции R вокруг пикселя с R_max и описывают их непрерывной функцией. Найдя локальный экстремум этой функции можно найти координаты x,y с подпиксельной точностью. В качестве примера этой функции рассмотрим полином второй степени, который описывает поверхность образованную коэффициентами корреляции, причем раздельно по каждой координатной оси (рис.1.3.2).

Рис. 1.3.1

рис. 1.3.2

( 1.3.3)

Для нахождения локального экстремума этой функции воспользуемся известным положением, что производные функции по x,y в точке экстремума R_max равны нулю, тогда соответствующие координаты можно найти по следующим формулам:

(1.3.4)

Для описания поверхности, образованной коэффициентами корреляции можно применить и другой полином, например, следующий:

(1.3.5)

Отождествление одноименных точек по методу наименьших квадратов

Этот метод основан на применении следующего уравнения:

(1.3.6)

Здесь x,y – координаты точки на левом снимке; p – продольный параллакс; q – поперечный параллакс; n – представляет разность шумов левого и правого изображений:

(1.3.7)

Предполагая, что p и q не изменяются в пределах эталонной матрицы (фрагмента изображения вокруг измеряемой точки) можно их найти из решения уравнений (1.3.6), которые составляются для каждого пикселя фрагментов изображений. Уравнения (1.3.6) являются нелинейными относительно неизвестных. Поэтому переходят к линейным уравнениям поправок, которые можно записать в следующем виде:

, (1.3.8)

где A₂ – матрица частных производных от правого снимка по параллаксам; - поправки к неизвестным; L – свободные члены (значения функции (1.3.6) вычисленные по приближенным значениям неизвестных); V – невязки уравнений. То есть:

; ;.

, где n - количество пикселей в эталонной матрице; g_x , g_y – составляющие градиента второго изображения в пикселе i.

Решение находится как

(1.3.9)

Этот метод позволяет найти параллаксы с точностью 0.01 пикселя. Однако этот метод имеет и существенный недостаток – необходимость знания начальных приближений параллаксов с достаточной точностью и выполнения большого числа приближений, что существенно замедляет процесс вычислений. В качестве начальных приближений, как правило, используют значения параллаксов, полученных по методу корреляции. Для уменьшения затрат машинного времени можно заменить A₂ на A₁ , что позволит вычислить градиенты только один раз, а от приближения к приближению будет меняться только свободные члены L. Как показали практические исследования, такая замена не приводит к понижению точности решения задачи.

Это метод может быть расширен за счет включения в исходное уравнение членов, которые учитывают геометрические и фотометрических шумы двух фрагментов изображений. Как правило, для учета разности геометрических искажений двух изображений используют аффинные преобразования:

(1.3.10)

а для разности фотометрических искажений используют линейные преобразования:

(1.3.11)

Кроме того, некоторые авторы расширяют модель данного метода за счет включения в исходное уравнение уравнений коллинеарности, что позволяет выполнить отождествление сразу для множества одноименных точек, учитывая не только фотометрическое соответствие точек, но и геометрию построения фотограмметрической модели.