Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
МИРЭА / ЛЕКЦИИ 2012 / МОРФОЛОГИЯ / Сравнение и корреляция.ppt
Скачиваний:
162
Добавлен:
10.05.2015
Размер:
5.73 Mб
Скачать

Корреляционное стерео отождествление (stereo matching)

Задача стереоотождествления (correspondence problem) - задача поиска

соответствующих точек на изображениях сцены, полученных с различных ракурсов. Различные алгоритмы её решения называются алгоритмами стереоотождествления (matching procedures).

Стратегия стереоотождествления определяет общую схему решения задачи автоматического стереоотождествления. Наиболее распространенная стратегия - иерархическое отождествление.

Методы стереоотождествления:

 

Метод

Мера близости образов

Образы

отождествления

 

 

Площадное

Корреляционная функция,

Участки

отождествление

сумма квадратов

исходного

 

расхождений яркости

изображения

Признаковое

Целевая функция

Края и их

отождествление

 

атрибуты

Символьное

Целевая функция

Символьное

отождествление

 

описание

Корреляционное стерео отождествление (stereo matching)

Геометрические искажения образов

Причина

Модель

геометрических

преобразований

искажений

 

Различная

Аффинная

ориентация камер

 

Рельеф и

Проективная

трехмерная форма

 

объектов

 

Разный тип

Полиномиальная

проектирования

 

Уравнения

x a 0 a1 x a 2 y y b0 b1 x b2 y

x a 0 a1 x a 2 y , c0 c1 x c2 y

y b0 b1 x b2 y c0 c1 x c2 y

nn

x apq xp yq ,

p 0 q 0

n n

y bpq xp yq ,

p 0 q 0

Количество

определяемых

параметров

6

8

(n+1)(n+2)

Корреляционное стерео отождествление (stereo matching)

Нормированный коэффициент корреляции

f x, y f 0 g x, y g0

k f , g

 

x,y X

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

f x, y f 0

2

 

g x, y g0 2

 

 

 

 

 

 

 

x,y X

 

 

x,y X

 

Пример корреляционной функции при отождествлении участков изображений

Корреляционное стерео отождествление (stereo matching)

Сопоставление с использованием пирамиды изображений

Пирамида из четырех уровней для тестового изображения

Уровень N

(xN,yN)

Уровень N-1

(xN-1,yN-1) = (2xN, 2yN)

Корреляционное стерео отождествление (stereo matching)

Сопоставление с использованием пирамиды изображений

Вычисление ЦМР с помощью иерархического корреляционного стереотождествления по четырехуровневой пирамиде изображений с использованием:

(а)- только 4-го уровня пирамиды;

(б)- 4 и 3-го уровней;

(в)- 4,3,2 уровней;

(г)- 4,3,2,1 уровней.

Уровень N

(xN,yN)

Уровень N-1

(xN-1,yN-1) = (2xN, 2yN)

(а)

(б)

(в)

(г)

Корреляционное стерео отождествление (stereo matching)

Сопоставление с использованием пирамиды изображений

Пример цифровой

модели рельефа

(ЦМР), полученной классическим корреляционным методом.

ЦМР, вычисленная с помощью пирамиды

изображений

обладает большей гладкостью и точностью.

Стерео отождествление на основе характерных черт

Типы используемых характерных черт

Углы, соединения линий, точки высокой кривизны градиента Точки яркости, центр тяжести области,

концы линий, точки экстремальных значений признаков

 

 

 

 

Прямые или криволинейные

 

 

Линии

 

 

 

структуры, границы областей

 

 

 

 

 

 

 

ХЧ

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Сегментированные области,

Области

 

 

 

 

 

специфические формы (эллипсы,

 

 

 

 

 

 

 

прямоугольники и т.д.)

 

 

 

 

 

Структуры

 

 

Комбинации ХЧ

 

 

 

 

 

 

 

Стерео отождествление на основе характерных черт

Первичное отождествление характерных точек (2/3 ложных пар)

25

24 2631

19

10

41 46

38

36 34

8

45

12

 

 

48

43

44

16

42

 

 

 

 

35

 

17

20

 

 

 

 

 

 

37 11

 

 

7

 

1

3

49

 

 

 

 

 

39 18

50

 

9

33

 

 

 

 

 

27

22

 

 

 

 

 

 

 

 

 

40

28

47

 

 

 

 

 

 

 

22

 

 

 

 

48

 

31

 

24

 

 

 

 

 

47

 

 

 

 

 

 

 

 

 

32

 

 

 

 

 

 

 

 

 

 

 

 

 

6

 

 

 

 

 

 

 

 

35

 

15

 

 

 

 

 

 

 

46

 

 

 

23

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

41

 

 

 

 

 

 

29

 

 

 

 

 

 

4

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

30

 

 

 

43

34

 

 

 

44

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

8

 

 

 

 

50

36

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

6

33

 

14

 

13

 

 

 

38

 

28

 

5

 

 

 

39

20

 

 

32

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

 

 

 

 

 

 

 

 

 

 

42

 

4

 

 

27

16

15

 

 

 

 

11

 

 

5

3

7

1

 

 

45

 

 

18

 

17 14

37

 

2

21

19

10

9

29

25

12

49

30

13

26

Стерео отождествление на основе характерных черт

Первичное отождествление характерных точек (2/3 ложных пар)

 

 

 

 

 

 

 

43

22

 

 

 

 

 

40

 

 

 

 

 

 

25

44

 

 

 

28

 

 

 

 

22

 

 

 

 

 

 

 

 

 

 

47

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

16

 

 

 

 

48

31

 

24

 

42

 

 

 

 

 

24

 

 

 

 

47

 

 

 

4

 

 

 

42

 

 

 

 

 

 

32

 

 

 

 

 

 

 

2631

 

 

 

 

 

 

 

 

 

 

 

15

 

19

 

 

 

 

6

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

35

 

27

16

 

 

10

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

35

 

17

15

23

 

 

46

 

 

 

 

 

 

41

 

46

20

 

 

 

41

 

 

 

 

 

 

 

 

 

 

 

 

 

29

 

 

 

 

 

11

 

 

 

 

38

 

37 11

 

 

4

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

5

 

 

36

 

 

 

 

 

 

 

 

 

 

 

 

 

3

 

34

 

 

7

 

 

3

 

43

34

 

 

 

 

7

1

 

 

 

 

 

1

 

 

 

 

44

 

 

 

 

 

 

30

 

 

 

 

45

 

 

8

49

 

 

 

 

 

 

 

8

 

 

 

 

 

 

 

 

 

 

36

 

 

 

 

 

 

 

 

 

39

 

 

 

 

 

50

 

 

 

 

 

 

 

 

12

 

 

50

 

 

 

 

 

 

 

18

 

17

 

 

 

18

 

 

 

 

 

6

33

 

 

14

45

 

 

 

 

13

 

 

28

 

 

 

 

 

 

 

 

 

 

 

 

 

 

9

14

38

 

 

 

 

 

48

 

 

33

 

 

5

39

20

 

 

 

 

 

 

 

 

 

 

 

 

 

32

 

 

 

37

 

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

27

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

21

19

10

9

29

25

12

49

30

13

26

Геометрическая фильтрация пар точек (большинство ложных пар удалены)

 

 

24

 

 

 

 

 

 

24

42

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

42

 

 

 

 

 

 

 

 

 

15

 

 

 

 

 

 

 

 

 

 

 

 

 

29

 

 

 

 

 

15

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

46

 

 

 

 

41

 

 

 

 

 

 

 

 

 

 

 

 

 

46

 

 

 

 

29

41

 

 

11

 

 

 

 

 

11

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

34

7

 

3

 

 

 

 

 

7

3

 

30

 

1

 

30

 

34

 

1

 

 

 

 

 

 

 

 

 

 

 

 

8

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

8

 

 

 

 

 

 

18

 

 

14

 

 

 

 

18

 

14

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

2

 

Морфологическая корреляция Пытьева

Описание формы

Нормированный

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ku

 

 

 

(f,

 

 

)

 

 

коэфициент

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

корреляции

 

 

 

 

 

 

f

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Морфологический

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

km

 

 

 

 

pf

 

 

 

 

 

 

 

 

 

 

 

 

коэффициент

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

корреляции:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1.0 km 1

Морфологический проектор

 

2. Km не зависит от

преобразования яркости F(f(x,y)).

Сравнение форм:

>

= arccos ku, = arccos km

… и и ц к е л й е щ ю у д е л с а м е т е ж у о т э о Н

u

km