Luciv / Практическое занятие №1

Практическое занятие №1

«Выделение точечных особенностей на изображении»

Цель работы – ознакомиться с методами выделения точечных особенностей на изображении.

Задание по работе:

- Изучить теоретическую часть работы.

- Написать программу, выполняющую выделение точечных особенностей на изображении на основе уголкового детектора Харриса.

1. Теоретическая часть

Признаковое представление изображений, а именно, представление изображения в виде набора локальных особенностей или ключевых точек, каждая из которых описывается соответствующим набором дескрипторов, имеет свои преимущества и может применяться на различных этапах работы алгоритмов восстановления трехмерной структуры по набору изображений. Набор локальных особенностей также может быть использован для сопоставления и распознавания изображений трехмерных объектов, особенно в том случае, когда распознаваемый объект заслонен каким-либо посторонним объектом, что очень затрудняет применение классических методов сопоставления, например, прямого поэлементного согласования или поиска шаблонов.

В качестве локальной особенности или ключевой точки на изображении может выступать точка, которая отличается от всех остальных точек в некоторой окрестности по значению сравниваемых параметров, например, по яркостной компоненте, цветовому тону, величине или направлению градиента. На рис. 1 приведены варианты для точки, являющейся особенной, и точки, которая не является особенной.

На сегодняшний день разработаны методы для выделения и описания локальных особенностей на изображении, например, уголковый детектор Харриса, SIFT, SURF [1,2]. Упомянутые методы предоставляют хороший фундамент для разработки алгоритмов сопоставления точечных особенностей в процессе создания систем компьютерного зрения, использующих изображения для восстановления информации о трехмерной структуре наблюдаемой сцены. Данная работа посвящена изучению метода выделения точечных особенностей на основе алгоритма Харриса.

На изображении могут присутствовать области без какой-либо текстуры, которые трудно локализовать. С другой стороны, высококонтрастные области с высоким значением градиента яркости могут быть локализованы без особых затруднений. В тоже время, по направлению вектора градиента можно различать ориентацию границ на изображении. Если проходить по изображению скользящим окном с заданной апертурой, то при проходе вдоль вертикальной или горизонтальной границы внутри окна будут происходить характерные изменения градиента (Рис. 2а). Если при смещении окна в любом направлении происходит значительное изменение градиента яркости, то можно сказать, что в данной области присутствует некоторая уголковая локальная особенность (Рис. 2б). И наоборот, при отсутствии каких-либо изменений в значениях градиента рассматриваемый участок изображения не содержит никаких локальных особенностей (Рис. 2в).

В рамках подхода Харриса [1,2] используются упомянутые явления, которые могут быть формализованы в виде следующей автокорреляционной функции:

, (1)

где – вектор смещения в плоскости изображения, задающий апертуру скользящего окна, – вектор координат текущей центральной точки скользящего окна на изображени, I₀ – значение яркости пиксела, – весовая функция.

Используя разложение в ряд Тэйлора функции интенсивности изображения , мы можем аппроксимировать автокорреляционную функцию как

, (2)

где А – автокорреляционная матрица вида:

. (3)

Частные производные по строкам и столбцам изображения могут быть вычислены с помощью свертки, например, с оператором Собела [2]. Для устранения шумовых эффектов в качестве весовой функции может быть использована двумерная гауссиана. Ключевые точки на изображении определяются в соответствии с собственными значениями автокорреляционной матрицы А – λ₀, λ₁. На основе собственных значений для каждого пиксела изображения рассчитывается мера отклика , по которой определяется наличие локальной особенности в данной области изображения в соответствии со следующими вариантами:

• |R| мал – «плоская область»;

• R < 0 – «край»;

• R > 0 – «угол».

На финальном этапе на построенной карте откликов ищутся локальные максимумы, после чего на выходе имеются координаты локальных точечных особенностей. На рис. 4 приведен пример изображений с точечными особенностями, выделенными по методу Харриса, для различных итоговых значений количества выделяемых локальных максимумов на карте откликов.

Описанный уголковый детектор Харриса дает достаточное количество ключевых точек для сопоставления изображений трехмерных сцен и последующего восстановления трехмерной структуры сцены, однако в данном методе не учитывается возможность изменения масштаба изображений. Одним из решений этой проблемы может быть выделение признаков в некотором диапазоне разрешений изображения и сопоставление выделенных локальных особенностей на отдельно каждом уровне разрешения. Данный вариант подходит для случая, когда сопоставляемые изображения не подвергаются большим изменениям масштаба, например, при сопоставлении последовательных аэрокосмических снимков или при создании панорамных снимков трехмерной сцены камерой с фиксированным фокусным расстоянием. Тем не менее, при решении задач сопоставления изображений трехмерных сцен масштаб заранее неизвестен, поэтому вместо того, чтобы выделять локальные признаки на наборе масштабированных изображений и затем сопоставлять каждый набор точек со всеми по отдельности, можно действовать более эффективным образом, а именно, выделять те признаки, которые инварианты к изменениям масштаба.

2. Порядок выполнения работы

1) Выбрать исходное изображение. Если изображение представлено в цветовом пространстве RGB, то перевести его в одноканальное 8-битовое представление.

2) Выполнить предварительное сглаживание изображения маской 3х3 для устранения возможных шумов.

3) Оценить значение градиента яркости в каждом пикселе изображения, через вычисление частных производных функции яркости изображения в направлении горизонтальных и вертикальных осей.

4) Вычислить автокорреляционную матрицу вида (3).

5) Исходя из значений автокорреляционной матрицы для каждого элемента изображения, вычислить меру отклика R. Установить пороговое значение для меры отклика R и обнулить те значения, которые не удовлетворяют пороговым ограничениям.

6) Найти локальные максимумы функции отклика по окрестности заданного радиуса. Выбрать N самых сильных локальных максимумов.

3. Литература

[1] Электронная книга Szeliski R. Computer Vision: Algorithms and Applications / R.

Szeliski. – Springer, 2010. – 812 pp. Режим доступа: http://books.google.ru/books

[2] Яне, Бернд. Цифровая обработка изображений [Текст] / Б. Яне; пер. с англ. А. М.

Измайловой .— М.: Техносфера, 2007 .— 583 с.