10.4. Примітки

Істотна матриця як алгебраїчна форма епіполярного обмеження була відкрита Лонгетом-Хіггінсом в 1981 році, а її властивості були досліджені Хуангом (Huang) і Фаугерасом (Faugeras) в 1989 році. Фундаментальну матрицю ввели Луонг ([Luong, 1992]) і Фаугерас ([Faugeras, 1995]). Стійкі методи оцінки фундаментальної матриці на основі точкових відповідностей наведені в [Zhang et al., 1994]. Властивості фундаментальної матриці і епіполярного перетворення представлені в главі 13, де розглядається задача відновлення структури об'єкта і руху камери по послідовності перспективних зображень. Миттєва версія епіполярного обмеження (10.4), виведена в розділі 10.1.3, справедлива тільки для відкаліброваних камер. Камери з змінними внутрішніми параметрами розглянуті в роботі [Vieville and Faugeras, 1995]. Трилінійні умови, пов'язані з трьома проекціями лінії, незалежно ввели Спектакіс і Алоімонос [Spektakis and Aloimonos, 1990], а також Венг, Хуанг і Ехуджа [Weng, Huang and Ahuja, 1992] в контексті аналізу руху для внутрішньо відкаліброваних камер. Ці поняття були розширені Шашуа [Shashua, 1995] і Хартлі [Hartley, 1997] для випадку некаліброваних камер. Квадріфокальний тензор ввів Тріггс [Triggs, 1995], а його властивості досліджували Фаугерас і Моран [Faugeras and Mourrain, 1995], Фаугерас і Пападопуло [Faugeras and Papadopoulo, 1997], Хартлі [Hartley, 1998] і Хейденом [Heyden, 1998].

У вступі згадувалося, що одне із завдань фотограмметрії - отримання кількісної інформації з множинних зображень. У такому контексті бінокулярні і тринокулярні геометричні обмеження розглядаються як джерело зв'язків, які визначають внутрішні і зовнішні параметри (названі в фотограмметрії параметрами внутрішньої і зовнішньої орієнтації) стереопари або стереотрійки. Зокрема, ставлення Лонгета-Хіггінса з'являється, хоча і в дещо іншій формі, як рівняння умови компланарності, а тринокулярні умови дають рівняння обмеження масштабу, що враховує помилки калібрування та вимірювання зображення ([Thompson et al., 1966], глава 10). У цьому випадку промені, співвіднесені з трьома зображеннями однієї точки, вже не перетинаються гарантовано (рис. 10.10).

Рис. 10.10. Тринокулярні обмеження при наявності помилок калібрування або вимірювання. Промені R₁, R₂ і R₃ можуть не перетинатися

Процедура необхідного розрахунку виглядає наступним чином. Якщо промені R₁ і R_і (і = 2,3), співвіднесені з точками зображення р₁ і р_і, не перетинаються, мінімальна відстань між ними - це відстань між точками Р₁ і Р₂, при чому лінія, що з’єднує ці точки, перпендикулярна і до R₁, і до R₂. Алгебраїчно це можна записати наступним чином:

(10.22)

Припускаючи, що камери внутрішньо відкалібровані, так що проекційні матриці, співвіднесені з другою і третьою камерами дорівнюютьі рівняння (10.22) можна переписати у системі координат, пов'язаної з першою камерою:

(10.23)

Зазначимо, що подібні рівняння можна записати і для абсолютно невідкаліброванних камер, включивши члени, що залежать від невідомих внутрішніх параметрів. У будь-якому випадку рівняння (10.23) можна використовувати для вираження невідомих z_i, λ_i і zⁱ_i через p₁, p_i і проекційні матриці, пов'язані з камерами (див. розділ вправ). Потім записується умова обмеження масштабу: z²₁ – z³₁. Хоча ця умова складніша від трифокусного обмеження (оскільки не є трилінійною за координатами точок p₁, p₂ і p₃), вона не містить координат точки спостереження і може використовуватися (теоретично) для оцінки трифокусної геометрії безпосередньо за даними зображення. Потенційна перевага такого методу полягає в тому, що функція помилок z²₁ – z³₁ має явне геометричне значення: відміністьу оцінок глибини Р, отриманих з використанням пари камер 1 ↔ 2 і 1 ↔ 3. Цікавим видається подальше дослідження зв'язку між трифокусним тензором і умовою обмеження масштабу, а також її практичне застосування до оцінки трифокусної геометрії.

Задачі

10.1. Покажіть, що одне з сингулярних значень істотної матриці - 0, а два інших дорівнюють одне одному. (В роботі [Huang and Faugeras, 1989] показано, що справедливе також зворотне - тобто будь-яка матриця 3х3 з одним сингулярним значенням, що дорівнює 0, і двома іншими, що дорівнюють одне одному, є істотною матрицею.) Підказка: сингулярні значення матриці ɛ - це власні значення матриці ɛɛ^Т.

10.2. Експоненціальне представлення матриць повороту. Можна показати, що матриця, відповідна повороту, осі якого – поодинокі вектори а, а кут дорівнює θ, дорівнює е^θ[а_х^] =^def ∑^+∞_і=0 1/i!(θ[а_х])^і. Використовуючи це представлення, отримаєте рівняння (10.3).

10.3. Інфінітозімальна епіполярна умова (10.4) отримана у припущенні, що спостережуваний об'єкт статичний, а камера рухається. Покажіть, що при нерухомій камері і об'єкті, рухомому з трансляційною швидкістю v і обертальною швидкістю w, епіполярну умову можна переписати як р^Т ([v_х] [w_х])р+(р х р) v = 0. Зверніть увагу, що дане рівняння є сумою двох членів, що фігурують в рівнянні (10.4), а не їх різницею. Підказка: позначивши через R і t матрицю обертання і вектор трансляції, які фігурують у визначенні істотної матриці для камери, що рухається, покажіть, що заміна об'єктів, що дає те ж поле руху для статичної камери, представляється матрицею обертання R^T і вектором трансляції- R^Tt.

10.4. Покажіть, що якщо матриця 8x8, яка фігурує в восьмиточковому алгоритмі, сингулярна, вісім точок і два оптичних центру лежать на поверхні другого порядку ([Faugeras, 1993]). Примітка: використовуйте наступний факт: якщо матриця сингулярна, існує деяка нетривіальна лінійна комбінація її стовпців, яка дорівнює нулю. Також зверніть увагу на те, що матриці, які представляють дві проекції в системі координат, пов'язаної з першою камерою, мають в даному випадку вид (Id 0) і (R^T – R^Tt).

10.5. Покажіть, що три детермінанти минорів 3x3 матриці

Покажіть, що четвертий детермінант можна записати як лінійну комбінацію трьох, зазначених вище.

10.6. Покажіть, що при μ₁ (Іd 0) і μ₂ = (R^T – R^Tt) рівняння (10.18) зводиться до (10.2).

10.7. Покажіть, що при μ₁ (Іd 0) рівняння (10.19) зводиться до (10.15).

10.8. Виведіть рівняння (10.20) для координат зображення і доведіть, що його коефіцієнти дійсно можна записувати у вигляді (10.21).

10.9. Використовуйте рівняння (10.23) для розрахунку невідомих z_i, λ_i і zⁱ₁ через p₁, p_i, R_i i t_i (i = 2,3). Покажіть, що значення λ_i безпосередньо пов'язане з епіполярною умовою, і охарактеризуйте ступінь залежності z²₁ – z³₁ від інформаційних точок.

Вправи

10.10. Реалізуйте восьмиточковий алгоритм для слабкого калібрування, використовуючи бінокулярні точкові відповідності.

10.11. Реалізуйте версію даного алгоритму на основі схеми найменших квадратів з використанням і без використання етапу попередніх умов Хартлі.

10.12. Реалізуйте алгоритм оцінки трифокусного тензора на основі точкових відповідностей.

10.13. Реалізуйте алгоритм оцінки трифокусного тензора на основі лінійних відповідників.

Стереобачення

Поєднання зображень, які реєструють людські очі, і використання їх відмінностей (або розбіжностей) дозволяє отримати уявлення про глибину об'єкта. У даній главі розглядаються ідеї і реалізації алгоритмів, що імітують здатність людини (відому як стереобачення) виконувати названу задачу. В якості очевидних областей застосування надійних комп'ютерних програм стереоскопічного сприйняття можна назвати навігацію "зрячих роботів" (рис. 11.1), картографію, розвідку з повітря і фотограмметрію близького радіусу дії. Дані програми також важливі при вирішенні таких завдань, як сегментація зображень з метою розпізнавання об'єктів або конструювання тривимірних моделей об'єктів для додатків комп'ютерної графіки.

Стереобачення включає два процеси: поєднання деталей, спостережуваних двома (або більше) камерами і відновлення їх тривимірного прообразу. Останній процес відносно простий: прообраз відповідних точок можна (в принципі) знайти як точку перетину променів, що проходять через ці точки і центри відповідних діафрагм камер (див. рис. 11.2, ліворуч). Отже, якщо характерну точку зображення можна спостерігати в будь-який момент часу, стеребачення реалізується просто.

1Замість запису (u, v) можна використовувати запис (u¹, u²) і після копіткої роботи з індексами і тензорної форми запису отримати компактні загальні формули.