Геометрія декількох проекцій

У фотографії міститься досить багато інформації, проте відомості про глибину точки сцени і відповідному промені проекції по єдиному зображенню отримати не можна. У той же час, за наявності мінімум двох зображень, глибину можна виміряти за допомогою тріангуляції . Цим, пояснюється те, що більшість тварин має, принаймні, два ока і / або поводить головою при вивченні потенційного друга або ворога; з цієї ж причини автономного робота постачають системою аналізу стереозображень або руху. Перед створенням подібної системи слід зрозуміти, які обмеження накладають на тривимірну структуру сцени кілька її проекцій і яку роль у всьому цьому відіграє конфігурація камер. Вивченню цього питання і присвячена даний розділ. Зокрема, ми розглянемо геометричні та алгебраїчні обмеження, що виникають при наявності декількох проекцій однієї сцени. У звичному контексті бінокулярного стереобачення показано, що перше зображення будь-якої точки повинно знаходитися на площині, яка формується другим зображенням і оптичними центрами двох камер. Дане епіполярне обмеження (або умова) можна алгебраїчно представити матрицею 3x3, названої істотною, якщо відомі внутрішні параметри камер. Три зображення одній прямій дають іншу умову - виродження перетину площин, які формуються прообразами цих прямих. Алгебраїчно це геометричне умова можна уявити трифокусним тензором 3x3x3. Більше число зображень вводить додаткові обмеження, наприклад, чотири проекції однієї точки задовільняють деяким квадролінійним співвідношенням, коефіцієнти яких становлять квадро-фокусний тензор. Варто відзначити, що рівняння, яким задовольняють множинні зображення однієї сцени, можна записати, не маючи ніяких знань про камери або об'єкти, який спостерігають камери; в той же час, оцінити ці параметри можна безпосередньо з відеоданих; кілька відповідних методів наводиться в цьому розділі.

Комп'ютерний зір - це не тільки галузь науки, пов'язана з геометрією множинних проекцій. Точне відновлення кількісної геометричної інформації з кількох зображень - це мета фотограметрії (див. розділ 3). У цьому розділі коротко розглядається додаток епіполярних і трифокусних обмежень до класичної задачі фотограметрії - перенесенню (тобто як передбачити положення точки на зображенні, знаючи її положення на певному числі наявних зображень), наводиться також кілька прикладів. У наступних розділах описуються інші розділи галузі аналізу стереозображень і руху.

10.1. Дві проекції

10.1.1. Епіполярна геометрія

Розглянемо два зображення (р і р’) точки Р, яка спостерігається двома камерами з оптичними центрами в точках О і О '. Ці п'ять точок знаходяться на епіполярнй площині, яка визначається двома пересічними променями ОР і О'Р (рис. 10.1). Зокрема, точка р' знаходиться на лінії l’ - лінії перетину даної площини і чутливої ​​області П' другої камери. Лінія l’ - це епіполярная лінія, співвіднесена з точкою р; лінія l’ проходить через точку е '- точку перетину базової лінії, що з'єднує оптичні центри О і О', з площиною П’. Подібним чином, точка р знаходиться на епіполярной лінії l , співвіднесеної з точкою р ', і ця лінія проходить через точку е - точку перетину базової лінії з площиною П.

Точки е і е 'називаються епіполюсами двох камер. Епіполюс е '- це проекція оптичного центра О першої камери на зображення, спостережуване другою камерою, і навпаки. Як зазначалося раніше, якщо р і р '- зображення однієї точки, то точка р1 повинна знаходитися на епіполярной лінії, співвіднесеної з р. Описане епіполярное обмеження грає фундаментальну роль в аналізі стереозображень і руху.

Припустимо, наприклад, що відомі внутрішні і зовнішні параметри двох камер стереоприладу. Як показано в розділі 11, найбільш складна частина аналізу стереоданних - визначення відповідностей між двома зображеннями (тобто визначення того, які точки другого зображення співпадають Рис. 10.1. Епіполярная геометрія: точка Р, оптичні центри О і О 'двох камер і зображення р і р' точки Р знаходяться на одній площині.

На всіх малюнках даної глави камери представлені через кут їх огляду, а віртуальна площину зображення розташована перед камерою з точковою діафрагмою (обскурою). Це зроблено лише для спрощення графічного представлення: геометричні та алгебраїчні аргументи, представлені в розділі, з рівним успіхом застосувати й до фізичних площинах зображень, розташованим за відповідними камерами

з точками першого). Епіполярне обмеження сильно скорочує процедуру пошуку таких відповідностей. Дійсно, оскільки передбачається, що пристрій відкалібрований, координати точки р повністю визначають промінь, що з'єднує О і р, а отже, відповідні епіполярную площину ОО'р і епіполярну лінію l’. У процесі пошуку відповідностей можна обмежитися цією лінією і не розглядати все зображення (рис. 10.2). При аналізі руху на основі двох кадрів може статися так, що кожна камера відкалібрована внутрішньо, але cтроге перетворення, що зв'язує системи координат двох камер, невідомо. У цьому випадку епіполярна геометрія накладає обмеження на можливі переміщення спостережуваного об'єкта. Деякі варіанти даної ситуації розглядаються в наступних розділах.

10.1.2. Відкалібровані камери

Припустимо, що внутрішні параметри кожної камери відомі, так що р = ṕ, Очевидно, що з епіполярного обмеження випливає компланарність трьох векторів Ор, О'р’ та OО'. Еквівалентне твердження: один із вказаних векторів повинен лежати в площині, натягнутої на інші два, або

Даний вираз можна переписати у системі координат, пов'язаної з першою камерою:

Рис. 10.2. Епіполярне обмеження: за наявності відкаліброваного стереоприладу набір можливих образів точки р обмежується набором точок, що знаходяться на відповідній епіполярної лінії l’

де через р = (u, ʋ, 1)^T і р '= (u’, ʋ’, 1’)^T позначені два вектори зображень р і р' (в однорідних координатах), t - координатний вектор трансляції OO’, зв'язує дві системи координат, а R - матриця повороту (вільний вектор з координатами w' в другій системі координат має в першій системі координати Rw'). У даному випадку проекційні матриці записані в системі координат, пов'язаної з першою камерою: (Іd O) і (R^T - R^Tt).

Остаточнe рівняння (10.1) можна переписати в наступному вигляді (даний вираз називається співвідношенням Лонгета-Хіггінса (Longuet-Higgins)):

Р^T Ԑр’ = О, (10.2)

де через Ԑ= [t_x] R і [а_х] позначені кососиметрична матриця, така що

[а_х] х =а × х - векторне перетворення векторів а і х. Матриця Ԑ називається істотною матрицею, і вперше вона була використана в роботі [Longuet-Higgins, 1981]. Дев'ять її коефіцієнтів визначаються з точністю до масштабу і їх можна параметризувати трьома ступенями свободи матриці повороту R і двома ступенями свободи, що визначають напрямок вектора трансляції t.

Відзначимо, що перетворення Ԑр' можна інтерпретувати як координатний вектор, що представляє епіполярну лінію, яка співвіднесена з точкою р' першого зображення: дійсно, лінію образу l можна визначити її рівнянням au + bʋ + с = 0, де через (ʋ, u) позначені координати точки на прямій, (а, b) - одинична нормаль до прямої, -с - відстань (з відповідним знаком) між початком координат і прямої l. Альтернативно рівняння прямої можна визначити через вектор (в однорідних координатах) р = (u, ʋ, 1)^т точки на прямій і вектор l = (а, b, с)^Т : l • р = 0; в цьому випадку умова a² + b² = 1 послаблюється, оскільки рівняння справедливе при будь-якій зміні масштабу вектора l. У цьому контексті рівняння (10.2) відображає той факт, що точка р знаходиться на епіполярнiй лінії, співвіднесеної з вектором Ԑр'. З точки зору симетрії очевидно також, що Ԑ^тр - це координатний вектор, що представляє епіполярну лінію другого зображення, відповідну р. Очевидно, що істотні матриці сингулярні, оскільки вектор t паралельний координатного вектору е першого епіполюса, так що Ԑ^те = -R^T[t_x] e = 0. Подібним чином легко показати, що е ' належить до нульового простору Ԑ. Як показано в роботі [Huang, Faugeras, 1989], істотні матриці характеризуються тим, що вони сингулярні з двома рівними ненульовими сингулярними значеннями (див. розділ вправ).