Выделение особенностей

Если мы выделим в сцене некоторое количество "особых" точек, определим их положение на каждом изображении и установим соответствие между точками различных изображений одной и той же сцены, то полученные данные смогут дать огромное количество информации о структуре сцены, а также о параметрах камеры, с которой были получены изображения. Однако в общем случае для всех пикселей изображения это сделать невозможно. Поэтому вводится понятие точечной особенности изображения.

Особая точка сцены или точечная особенность (point feature) - это такая точка сцены, изображение которой можно отличить от изображений всех соседних с ней точек сцены.

Точечная особенность изображения m - это точка , чья окрестность отличается от окрестностей близлежащих точек по выбранной мере, т.е.

функция близости окрестностей по некоторой мере.

Выделение особенностей

Последовательность положений точечной особенности , {xi },i 1, n

где i – номер изображения последовательности, называется следом точечной особенности.

особенность

нет особенности

Для простоты в качестве окрестности точки изображения берется прямоугольное окно небольшого размера. Для сравнения таких прямоугольных окон могут использоваться различные меры на изображениях (например, обычное SSD - Sum of Squared Difference или кросс-корреляция).

Выделение особенностей

Детектор Харриса

Точечная особенность – точка изображения, окрестность которой отличается от окрестностей соседних точек. Раз так: сдвиг окна в любом направлении

должен приводить к большим перепадам яркости

Выделение особенностей

•Изменение яркостей пикселей в окне при сдвиге [u, v]

E(u,v) w(x, y)[I (x u, y u) I (x, y)]2

x, y

w(x, y)[uX vY O(u2 ,v2 )]2

w(x,y) - взвешивающая ф-ция окна, I(x+u, y+v) - яркость сдвинутого пикселя, I(x,y) – яркость в точке (x,y)

Взвешивающая ф-ция

окна w(x,y) =

Выделение особенностей

Для малых сдвигов [u, v] используется билинейная аппроксимация:

E(u,v) Au2 2Cuv Bv2

Иными словами рассчитывается матрица

Если оба ее собственных значения велики, то даже небольшое смещение точки (x,y) в сторону вызывает значительные изменения в яркости. Что и соответствует особенности изображения. Функция отклика угла записывается в следующем виде:

Выделение особенностей

Алгоритм Харриса:

1.Для каждого пикселя изображения вычисляется значение особой функции отклика угла (corner response function), оценивающая степень похожести изображения окрестности точки на угол. Большинство детекторов точечных особенностей работают сходным образом. Если оба ее собственных значения велики, то даже небольшое смещение точки (x,y) в сторону вызывает значительные изменения в яркости, что и соответствует особенности изображения. Функция отклика угла записывается в следующем виде:

R Det(M ) kTr 2 (M )

Det(M ) 1 2 AB C 2

Tr (M ) 1 2 A B

Параметр k обычно полагается 0.04 (предложено Харрисом).

2. Точки изображения, соответствующие локальным максимумам этой функции и признаются особенностями.

Выделение особенностей

Во многих случаях находится чересчур большое количество углов, из-за чего в дальнейшем их будет сложно отслеживать. Поэтому вводится ограничение на минимальное расстояние между найденными особенностями, и все лишние отбрасываются.

Окрестность с субпиксельной точностью Найденные особенности могут уточняться с помощью субпиксельной

коррекции. Но окрестность точки, вне зависимости от ее расположения относительно пикселя берется одинаковой. Некоторые исследователи утверждают, что в этом случае снижается качество последующего сопоставления. Было предложено с помощью билинейной интерполяции построить более точную окрестность точки таким образом, чтобы особенность всегда находилась в самом центре своего окна.

Выделение особенностей

Для повышения качества слежения за особенностями детектор Харриса был в последующем модифицирован . Главное отличие заключается в суммировании матриц по окну W (потенциальной особенности)

Для каждого пикселя изображения вычисляется матрица H:

Точка считается особенностью, если минимальное собственные значение (eigenvalue) больше некоторого заданного порога:

Слежение за точечными особенностями

Пусть I(x, t) - яркость изображения-кадра со временем t в точке x, где x - вектор. Движение изображения (image motion), вдали от границ видимости (occluding boundaries), описывается с помощью уравнения вида:

I(x,t) = I (delta(x), t+t1) ,

где delta(x) - движение точки x при переходе от кадра (t) к (t+t1).

Перемещение особенности от кадра к кадру описывается этим уравнением для всех точек x из окрестности особенности W. Отметим, что в этом случае полагается, что освещение точки сцены, соответствующей особенности, остается постоянным.

При малых изменениях изображения от кадра к кадру можно считать, что окно особенности просто смещается, и движение delta(x) принимает вид

delta(x) = x +d.

Однако при увеличении длительности слежения, изображение точки сцены искажается. Это искажение может быть приближенно описано аффинной трансформацией, поэтому движение точек описывается аффинным преобразованием

delta(x) = Ax + d, где A - матрица размерности 2*2.