11.3. Бінокулярне співставлення зображень

11.3.1. Кореляція

Кореляційні методи - це знаходження піксельних відповідностей шляхом порівняння профілів яскравості в околиці потенційно відповідних точок різних зображень об'єкта. Кореляційні схеми були одними з перших, запропонованих для вирішення завдання бінокулярного зміщення зображень ([Кеllу et. al. 1977], [Gennery, 1980]). Розглянемо конкретний приклад - очищену стереопару і точку (u, υ) на першому зображенні. З вікном розміру р = (2m + 1) × (2n + 1) з центром на (u,υ), співвіднесемо вектор ω (u,υ) € R^р, який отримано шляхом порядкового сканування значень вікна (насправді, порядок сканування не має значення, достатньо лише, щоб він був фіксованим). Тепер для даної точки другого зображення (u + d,υ), потенційно відповідній точці (u, υ), можна побудувати другий вектор ω' (u +d, υ) і визначити відповідну нормовану Рис. 11.9. Кореляція двох вікон 3x5 вздовж відповідних епіполярних ліній. Положення другого вікна відокремлене від положення першого відстанню d. У просторі R¹⁵ зазначені вікна представляються векторами ω і ω ', а кореляційна функція - це міра кута Θ між векторами ω - ω ¯ і ω' - ω¯', отриманими вирахуванням з компонентів ω і ω' середньої яскравості у відповідних вікнах

кореляційну функцію якде індекси u, υ і d опущені для полегшення сприйняття формули, а через ω¯ позначений вектор, всі координати якого рівні середнього від координат вектора ω (рис. 11.9).

Нормована кореляційна функція С, очевидно, приймає значення з діапазону від -1 до +1. Свого максимального значення вона досягає, коли яскравості двох вікон пов'язані аффінним перетворенням I' = λI + μ з деякими константами λ і μ при λ > 0 (див. розділ вправ). Іншими словами, максимум цієї функції відповідає ділянкам зображення, які відрізняються постійним зміщенням і позитивним масштабним множником, а відповідні точки стереозображення можна знайти, визначивши максимум функції С в межах деякого зумовленого діапазону розходження¹.

¹Інваріантість С щодо афінних перетворень функції яскравості дозволяє використовувати кореляційні схеми узгодження, мають деяку стійкість в ситуаціях, коли спостережувана поверхня не є строго ламбертовською або коли дві камери мають різне посилення або об'єктиви з різними діафрагментарними числами.

Рис. 11.10. Ракурс нахилених площин залежить від положення камер, які над ними спостерігають :

Тепер варто зробити кілька зауважень щодо методів узгодження на основі кореляції. По-перше, легко показати (див. розділ вправ), що максимізація нормованої кореляційної функції еквівалентна мінімізації величиниабо суми квадратів різниць між піксельними значеннями двох вікон після того, як вони піддалися відповідному процесу нормування. По-друге, хоча розрахунок нормованої кореляційної функції в кожному пікселі зображення для деякого діапазону розбіжностей - обчислювально дорогий процес, його можна ефективно реалізувати, якщо застосувати рекурсивні методи (див. розділ вправ). Нарешті, найважливіша проблема, пов'язана з кореляційними методами встановлення стереовідповідностей, полягає в неявному припущенні про (локальну) паралельність спостережуваної поверхні двох площинах зображень (рис. 11.10).

Таким чином, слід використовувати двоетапний алгоритм, коли початкові оцінки розбіжності застосовуються для деформації вікна кореляції, щоб компенсувати нерівні ракурси двох зображень. Відповідний приклад наведено на рис. 11.11, де для кожного прямокутника на лівому зображенні визначено деформований вікно на правому зображенні; при цьому використані значення розбіжностей в центрі кожного прямокутника і його похідна ([Devernay and Faugeras, 1994]). Для пошуку значень розбіжності і його похідних, максимізує кореляцію між лівим прямокутником і правим вікном, використовується процес оптимізації із застосуванням інтерполяції для отримання відповідних значень на правому зображенні. Рис. 11.11. Узгодження стереозображень з використанням кореляції: а) пара стереозображень, б) текстурне відображення відновленої поверхні; в) застосування методів кореляції до звичайної (ліворуч) і очищеної (праворуч) області носа. Очевидно, що в останньому випадку виходять кращі результати. Передруковано з F. Devernay and. O.D. Faugeras, Proceedings IEEE Conference on Computer Vision and Pattern Recognition, "Computing Differential Properties of 3D Shapes from Stereopsis Without 3D Models", 1994. © 1994 IEEE

11.3.2. Многошкальное узгодження країв

Якщо прийняти процес узгодження на основі кореляції, то за наявності похилих площин виникнуть проблеми. Інші аргументи проти використання кореляції можна знайти в роботах [Julesz, I960] і [Маrr, 19776], де пропонується шукати відповідності по безлічі різних шкал, погоджуючи (по можливості) фізично значущі елементи зображення (наприклад, краю), що переважніше узгодження значень яскравості окремих пікселів. Ці принципи відображені в алгоритмі 11,1, який був запропонований в роботі [Магг and Poggio, 1979].

Алгоритм 11.1. Алгоритм Марра-Погге (1979) многошкального суміщення бінокулярних зображень

1. Згорнути два (очищених) зображення з фільтрами▼²G_σ середньоквадратичні відхилення, які йдуть по зростаючій: σ₁<σ₂ <σ₃ <σ₄

2. Знайти точку переходу через нуль величини▼²G_σ, рухаючись по горизонтальних лініях сканування відфільтрованих зображень.

3. Для кожної шкали фільтра σ узгодити перехід через нуль з точкою, що має той же порядок величини і приблизно ту ж орієнтацію в діапазоні розбіжностей [-ω_σ , +ω_σ ], де ω_σ = 2у√2 σ.

4. Використовувати невідповідності, знайдені при великих шкалах (масштабах), для зміщення зображень в околиці знайдених відповідностей і перейти до узгодження областей при менших шкалах.

Узгодження визначаються при кожному масштабі в діапазоні розбіжностей [-ω_σ, ω_σ], де ω_σ = 2 √2σ - ширина центральної негативнї частини фільтра ▼²G_σ. Такий вибір мотивується фізіологічними і статистичними міркуваннями. Зокрема, припускаючи, що згорнуті зображення описуються білими гауссовими випадковими процесами, Грімсон ([Grimson, 1981а]) показав, що ймовірність помилкового відповідності в діапазоні розбіжностей [-ω_σ , +ω_σ ], при цьому переході через нуль дорівнює всього 0,2, якщо орієнтація погоджувальних елементів лежить в межах 30 °. Для вибору з безлічі потенційних відповідностей, які можуть виявлятися у шуканому діапазоні, можна використовувати простий механізм, описаний в роботі [Grimson, 1981a]. Зрозуміло, обмеження пошуку відповідностей діапазоном [-ω_σ , +ω_σ ] не дозволяє алгоритму зіставити коректні пари переходів через нуль, розбіжність яких не входить в даний інтервал. Оскільки ω_σ пропорційно масштабу σ, при якому шукаються відповідності, то для приведення потенційно узгоджуваних пар переходів через нуль в діапазон, де відбувається зіставлення при меншому масштабі, слід зміщувати погляд (або, еквівалентно, зміщувати зображення) згідно з відомостями, отриманими при великих масштабах. Дана процедура виконується на етапі 4 алгоритму і проілюстрована на рис. 11.12. Як тільки відповідності знайдені, отримані розбіжності можна занести в буфер, іменований 2¹₂ -мірним ескізом ([Магг and Nishihara, 1978]). Даний алгоритм, реалізований Грімсоном ([Grimson, 1981а]), був всебічно протестований на стереограмі з випадковими точками і на природних зображеннях. Відповідна ілюстрація наведена на рис. 11.12 (внизу).