- •КОМПЬЮТЕРНЫЕ МЕТОДЫ ОБРАБОТКИ ИНФОРМАЦИИ
- •Содержание лекции
- •Задача сопоставления данных
- •Преобразования и эквивалентность
- •Преобразования и эквивалентность
- •Преобразования и эквивалентность
- •Преобразования и эквивалентность
- •Преобразования и эквивалентность
- •Преобразования и эквивалентность
- •Преобразования и эквивалентность
- •Преобразования и эквивалентность
- •Преобразования и эквивалентность
- •Преобразования и инварианты
- •Признаковое описание изображений
- •Признаковое описание изображений
- •Признаковое описание изображений
- •Признаковое описание изображений
- •Признаковое описание изображений
- •Признаковое описание изображений
- •Сопоставление данных как оценка степени связи и степени сходства
- •Статистическая корреляция
- •Ковариация
- •Коэффициент корреляции
- •Коэффициент корреляции
- •Коэффициент детерминации
- •Коэффициент детерминации
- •Взаимная информация
- •Измерение степени связи однотипных объектов
- •Мера различий: Метрики (расстояния)
- •Мера различий: Метрики (расстояния)
- •Мера различий: Метрики (расстояния)
- •Мера различий: Метрики (расстояния)
- •Мера различий: Метрики (расстояния)
- •Мера различий: Метрики (расстояния)
- •Мера различий: Метрики (расстояния)
- •Мера различий: Метрики (расстояния)
- •Мера различий: Метрики (расстояния)
- •Напоминание:
- •Мера различий: Метрики (расстояния)
- •Мера различий: Метрики (расстояния)
- •Мера различий: Метрики (расстояния)
- •Мера различий: Метрики (расстояния)
- •Мера различий: Метрики (расстояния)
- •Мера различий: Метрики (расстояния)
- •Мера различий: Метрики (расстояния)
- •Мера различий: Метрики (расстояния)
- •Мера различий: Метрики (расстояния)
- •Мера различий: Метрики (расстояния)
- •Мера различий: Метрики (расстояния)
- •Мера различий: Метрики (расстояния)
- •Мера различий: Метрики (расстояния)
- •Меры сходства
- •Теоретико-множественные меры сходства
- •Меры сходства на основе скалярного произведения
- •Меры сходства на основе скалярного произведения
- •Нормированная линейная корреляция
- •Нормированная линейная корреляция
- •Нормированная линейная корреляция
- •Меры сходства и меры различия
- •Меры сходства и меры различия
- •Информационный поиск
- •Информационный поиск
- •Оценка эффективности поиска
- •Информационный поиск: индексы и алгоритмы
- •Поиск по ключевым словам
- •Поиск по ключевым словам
- •Алгоритмы нечеткого поиска
- •Алгоритмы нечеткого поиска
- •Дерево поиска
- •Красно-черное дерево поиска
- •Корреляционное обнаружение и прослеживание объектов на изображениях
- •Корреляционное обнаружение и прослеживание объектов на изображениях
- •Корреляционное обнаружение объектов на изображениях
- •Корреляционное прослеживание объектов на видеопоследовательностях
- •Корреляционное прослеживание объектов на видеопоследовательностях
- •Корреляционное прослеживание объектов на видеопоследовательностях
- •Корреляционное прослеживание объектов на видеопоследовательностях
- •Корреляционное прослеживание объектов на видеопоследовательностях
- •Корреляционное прослеживание объектов на видеопоследовательностях
- •Корреляционное прослеживание объектов на видеопоследовательностях
- •Корреляционное стерео отождествление (stereo matching)
- •Корреляционное стерео отождествление (stereo matching)
- •Корреляционное стерео отождествление (stereo matching)
- •Корреляционное стерео отождествление (stereo matching)
- •Корреляционное стерео отождествление (stereo matching)
- •Корреляционное стерео отождествление (stereo matching)
- •Стерео отождествление на основе характерных черт
- •Стерео отождествление на основе характерных черт
- •Стерео отождествление на основе характерных черт
- •Морфологическая корреляция Пытьева
Корреляционное стерео отождествление (stereo matching)
Задача стереоотождествления (correspondence problem) - задача поиска
соответствующих точек на изображениях сцены, полученных с различных ракурсов. Различные алгоритмы её решения называются алгоритмами стереоотождествления (matching procedures).
Стратегия стереоотождествления определяет общую схему решения задачи автоматического стереоотождествления. Наиболее распространенная стратегия - иерархическое отождествление.
Методы стереоотождествления: |
|
|
Метод |
Мера близости образов |
Образы |
отождествления |
|
|
Площадное |
Корреляционная функция, |
Участки |
отождествление |
сумма квадратов |
исходного |
|
расхождений яркости |
изображения |
Признаковое |
Целевая функция |
Края и их |
отождествление |
|
атрибуты |
Символьное |
Целевая функция |
Символьное |
отождествление |
|
описание |
Корреляционное стерео отождествление (stereo matching)
Геометрические искажения образов
Причина |
Модель |
геометрических |
преобразований |
искажений |
|
Различная |
Аффинная |
ориентация камер |
|
Рельеф и |
Проективная |
трехмерная форма |
|
объектов |
|
Разный тип |
Полиномиальная |
проектирования |
|
Уравнения
x a 0 a1 x a 2 y y b0 b1 x b2 y
x a 0 a1 x a 2 y , c0 c1 x c2 y
y b0 b1 x b2 y c0 c1 x c2 y
nn
x apq xp yq ,
p 0 q 0
n n
y bpq xp yq ,
p 0 q 0
Количество
определяемых
параметров
6
8
(n+1)(n+2)
Корреляционное стерео отождествление (stereo matching)
Нормированный коэффициент корреляции
f x, y f 0 g x, y g0
k f , g |
|
x,y X |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
f x, y f 0 |
2 |
|
g x, y g0 2 |
|
||
|
|
|
|
|||
|
|
x,y X |
|
|
x,y X |
|
Пример корреляционной функции при отождествлении участков изображений
Корреляционное стерео отождествление (stereo matching)
Сопоставление с использованием пирамиды изображений
Пирамида из четырех уровней для тестового изображения
Уровень N
(xN,yN) 


Уровень N-1
(xN-1,yN-1) = (2xN, 2yN)
Корреляционное стерео отождествление (stereo matching)
Сопоставление с использованием пирамиды изображений
Вычисление ЦМР с помощью иерархического корреляционного стереотождествления по четырехуровневой пирамиде изображений с использованием:
(а)- только 4-го уровня пирамиды;
(б)- 4 и 3-го уровней;
(в)- 4,3,2 уровней;
(г)- 4,3,2,1 уровней.
Уровень N
(xN,yN) 


Уровень N-1
(xN-1,yN-1) = (2xN, 2yN)
(а) |
(б) |
(в) |
(г) |
Корреляционное стерео отождествление (stereo matching)
Сопоставление с использованием пирамиды изображений
Пример цифровой
модели рельефа
(ЦМР), полученной классическим корреляционным методом.
ЦМР, вычисленная с помощью пирамиды
изображений
обладает большей гладкостью и точностью.
Стерео отождествление на основе характерных черт
Типы используемых характерных черт
Углы, соединения линий, точки высокой кривизны градиента
Точки 
яркости, центр тяжести области,
концы линий, точки экстремальных значений признаков
|
|
|
|
Прямые или криволинейные |
|
|
Линии |
||
|
|
|
структуры, границы областей |
|
|
|
|
|
|
|
|
|
||
ХЧ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Сегментированные области, |
|
Области |
|
|
|||
|
|
|
специфические формы (эллипсы, |
||
|
|
|
|||
|
|
|
|
прямоугольники и т.д.) |
|
|
|
|
|
|
|
Структуры |
|
|
Комбинации ХЧ |
|
|
|
|
|
|
|
|
Стерео отождествление на основе характерных черт
Первичное отождествление характерных точек (2/3 ложных пар)
25
24
2631
19
10
41
46
38
36
34
8
45 |
12 |
|
|
|
48 |
43
44
16
42 |
|
|
|
|
35 |
|
17 |
20 |
|
|
|
|
|
|
|
|
37 11 |
|
|
7 |
|
1 |
3 |
49 |
|
|
|
|
|
|
|
39 18 |
50 |
|
9 |
33 |
|
|
|
|
|
|
27 |
22 |
|
|
|
|
|
|
|
|
|
40 |
28 |
47 |
|
|
|
|
|
|
|
22 |
|
|
|
|
|
48 |
|
31 |
|
24 |
|
|
|
|
|
|
47 |
|
|
|
|||
|
|
|
|
|
|
32 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
6 |
|
|
|
|
|
|
|
|
35 |
|
15 |
|
|
|
|
|
|
|
46 |
|
|
|
|
23 |
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
||
|
|
|
|
41 |
|
|
|
|
||
|
|
29 |
|
|
|
|
|
|
||
4 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
30 |
|
|
|
43 |
34 |
|
|
|
44 |
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
8 |
||
|
|
|
|
50 |
36 |
|
|
|
||
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
6 |
33 |
|
|
14 |
|
13 |
|
|
|
38 |
|
28 |
||
|
5 |
|
|
|
39 |
20 |
|
|
||
32 |
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|||
2 |
|
|
|
|
|
|
|
|
|
|
42 |
|
4 |
|
|
|
||
27 |
16 |
15 |
|
|
|||
|
|
||
|
11 |
|
|
|
5 |
3 |
|
7 |
1 |
||
|
|||
|
45 |
||
|
|
||
18 |
|
17 14 |
|
37 |
|
2 |
21
19
10
9
29
25
12
49
30
13
26
Стерео отождествление на основе характерных черт
Первичное отождествление характерных точек (2/3 ложных пар)
|
|
|
|
|
|
|
43 |
22 |
|
|
|
|
|
40 |
|
|
|
|
|
|
25 |
44 |
|
|
|
28 |
|
|
|
|
22 |
|
|
|
|
||
|
|
|
|
|
|
47 |
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
16 |
|
|
|
|
48 |
31 |
|
24 |
|
42 |
|
|
|
||
|
|
24 |
|
|
|
|
47 |
|
|
|
4 |
|
||||||
|
|
42 |
|
|
|
|
|
|
32 |
|
|
|
|
|
||||
|
|
2631 |
|
|
|
|
|
|
|
|
|
|
|
15 |
||||
|
19 |
|
|
|
|
6 |
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
35 |
|
27 |
16 |
|
|||
|
10 |
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
35 |
|
17 |
15 |
23 |
|
|
46 |
|
|
|
|
|
|
|
41 |
|
46 |
20 |
|
|
|
41 |
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
29 |
|
|
|
|
|
11 |
|
|
||||
|
|
38 |
|
37 11 |
|
|
4 |
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
5 |
|
|
|||
36 |
|
|
|
|
|
|
|
|
|
|
|
|
|
3 |
|
|||
34 |
|
|
7 |
|
|
3 |
|
43 |
34 |
|
|
|
|
7 |
1 |
|
||
|
|
|
|
1 |
|
|
|
|
44 |
|
|
|||||||
|
|
|
|
30 |
|
|
|
|
45 |
|||||||||
|
|
8 |
49 |
|
|
|
|
|
|
|
8 |
|
|
|||||
|
|
|
|
|
|
|
|
36 |
|
|
|
|
|
|
|
|||
|
|
39 |
|
|
|
|
|
50 |
|
|
|
|
|
|
|
|||
|
12 |
|
|
50 |
|
|
|
|
|
|
|
18 |
|
17 |
|
|||
|
|
18 |
|
|
|
|
|
6 |
33 |
|
|
14 |
||||||
45 |
|
|
|
|
13 |
|
|
28 |
|
|||||||||
|
|
|
|
|
|
|
|
|||||||||||
|
|
|
|
|
9 |
14 |
38 |
|
|
|
|
|||||||
|
48 |
|
|
33 |
|
|
5 |
39 |
20 |
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
32 |
|
|
|
37 |
|
2 |
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
27 |
2 |
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
21
19
10
9
29
25
12
49
30
13
26
Геометрическая фильтрация пар точек (большинство ложных пар удалены)
|
|
24 |
|
|
|
|
|
|
24 |
42 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
42 |
|
|
|
|
|
|
|
|
|
15 |
|
|
|
|
|
|
|
|
|
|
|
|
|
29 |
|
|
|
|
|
|
15 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
46 |
|
|
|
|
|
41 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
46 |
|
|
|
|
29 |
41 |
|
|
11 |
|
|
|
|
|
|
11 |
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
34 |
7 |
|
3 |
|
|
|
|
|
7 |
3 |
|
30 |
|
1 |
|
30 |
|
34 |
|
1 |
|
|
||||
|
|
|
|
|
|
|
|
||||||
|
|
8 |
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
8 |
|
|
|
|
|
|
|
18 |
|
|
14 |
|
|
|
|
18 |
|
14 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2 |
2 |
|
Морфологическая корреляция Пытьева
Описание формы |
Нормированный |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
ku |
|
|
|
(f, |
|
|
) |
|
|||||||||||
|
коэфициент |
|
|
|
|
|
|
|
||||||||||||
|
|
|
|
|
|
|
|
|
|
|||||||||||
|
корреляции |
|
|
|
|
|
|
f |
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Морфологический |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
km |
|
|
|
|
pf |
|
|
|
|||||||||||
|
|
|
|
|
|
|
|
|||||||||||||
|
коэффициент |
|
|
|
|
|
|
|
|
|||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||
|
корреляции: |
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1.0 km 1 |
Морфологический проектор |
||||||||||||||||||
|
2. Km не зависит от |
|||||||||||||||||||
преобразования яркости F(f(x,y)).
Сравнение форм:

> 


= arccos ku, = arccos km
… и и ц к е л й е щ ю у д е л с а м е т е ж у о т э о Н
u
km
