10.1.5. Cлабе калібрування

Як зазначалося раніше, істотна матриця визначається (з точністю до масштабу) п'ятьма незалежними параметрами. Отже, можна (принаймні, теоретично) обчислити її, записавши рівняння (10.2) для п'яти точкових відповідностей. Подібним чином, фундаментальна матриця визначається сімома незалежними коефіцієнтами (параметри а, b, с, d в рівнянні (10.6) визначені з точністю до масштабу) і може, в принципі, визначатися з семи точкових відповідностей. Методи, що дозволяють обчислити істотну та фундаментальну матриці по мінімальному числу параметрів, існують (див. розділ приміток), але вони занадто складні. У цьому розділі розглядається найпростіша задача оцінки епіполярной геометрії по надлишковому набору точкових відповідностей між двома зображеннями, отриманими камерами з невідомими внутрішніми параметрами - процес, відомий як процес слабкого калібрування.

Зазначимо, що рівняння (10.5) лінійно по дев'яти коефіцієнтам фундаментальної матриці F

Оскільки дане рівняння однорідне за коефіцієнтами F, можна покласти Fзз = 1 і використовувати вісім точкових відповідностей р_i  р'_i [(i = 1, ..., 8) для запису відповідних примірників рівняння (10.7) у вигляді системи 8x8 неоднорідних лінійних рівнянь : Використання цієї системи для визначення фундаментальної матриці дає восьмиточковий алгоритм, спочатку запропонований Лонгету-Хіггінсом в 1981 році для відкаліброваних камер. Використання алгоритму некоректно, якщо матриця 8x8 сингулярна. Як показано в роботі [Faugeras, 1993] і в наведених далі прикладах, це відбувається тільки в тому випадку, якщо вісім точок і два оптичних центри лежать на поверхні другого порядку. Однак така ситуація малоймовірна, оскільки поверхня другого порядку повністю визначається дев'ятьма точками, звідки випливає, що практично не існує поверхонь другого порядку, що проходять через 10 довільних точок.

Якщо доступно n > 8 відповідностей, матрицю F можна розрахувати, мінімізувавши (за схемою найменших квадратів) величину

за коефіцієнтами F вважаючи, що вектор, сформований цими коефіцієнтами, має одиничну норму.

Зазначимо, що і в восьмиточковому алгоритмі, і в його різновиди, в якій використовується схема найменших квадратів, не враховується, що фундаментальна матриця має ранг два¹. Для введення в дію цього обмеження в роботах [Luong et al., 1993, 1995] було запропоновано використовувати матрицю F, отриману на виході восьмиточкового алгоритму, в якості основи для двоетапного процесу оцінки: спочатку для знаходження епіполюсів е і е ', які мінімізують | F^Tе|² і |Fе'|², використовується лінійна схема найменших квадратів; потім координати цих точок підставляються в рівняння (10.6). В результаті отримуємо лінійну параметризацію фундаментальної матриці коефіцієнтами епіполярного перетворення, яке можна знайти, мінімізувавши рівняння (10.8) за схемою найменших квадратів.

У різновиди восьмиточкового алгоритму з використанням схеми найменших квадратів мінімізується середньоквадратичне алгебраїчна відстань, пов'язана з епіполярним обмеженням (тобто середньоквадратичне значення е (р, р ') = р^T Fр' , розраховане по всіх точковим відповідностям). Дана функція помилок допускає геометричну інтерпретацію:

де через d (р, l) позначено евклідову відстань (з відповідним знаком) між точкою р і лінією l, а Fр і F^Tр '- епіполярнi лінії, співвіднесені з векторами р і р'. Масштабні множники χ і χ'- це норми векторів, утворених двома першими компонентами Fр' і F^Тр, а їх залежність від спостережуваної пари інформаційних точок може впливати на процес оцінки.

Зрозуміло, масштабні множники можна оцінити і безпосередньо мінімізувати середньоквадратичну геометричну відстань між точками зображення та відповідними епіполярними лініями:

Дане завдання нелінійна незалежно від обраної параметризації фундаментальної матриці, але мінімізацію можна виробляти на виході восьмиточкового алгоритму. Така схема була запропонована в роботі [Luong et aL, 1993], де показано, що даний результат надзвичайно близький до результату, який можна отримати за допомогою восьмиточкового алгоритму. В якості альтернативної схеми в роботі [Hartley, 1995] було запропоновано унормувати лінійний восьмиточковий алгоритм. Даний підхід заснований на наступному спостереженні: слабка ефективність вихідного методу викликана, здебільшого, поганим чисельним розрахунком необхідних параметрів. Це передбачає трансляцію і масштабування даних, щоб вони були центровані на початку координат і середня відстань до початку координат було

¹У первинному алгоритмі, запропонованому Лонгету-Хіггінсом, не враховувався ні те, що істотна матриця має ранг 2, ні те, що вона має два рівних сингулярних значення.

рівне √2 пікселів. На практиці це нормування значно покращує початкові умови лінійного процесу обчислення за схемою найменших квадратів. Таким чином, алгоритм розбивається на чотири етапи. По-перше, відбувається перетворення координат зображення з використанням відповідних операторів трансляції та масштабування: Т: р_і  р_і і Т': р_і'  ṕ_і'. По-друге, використовується метод найменших квадратів для розрахунку матриці F, що мінімізує величину

По-третє, використовується умова "ранг матриці дорівнює двом"; це можна зробити, застосувавши описаний раніше метод Луонго, але Хартлі скористався методом, запропонованим в роботі [Tsai and Huang, 1984] для відкаліброваних камер, на виході якого виходить розкладання матриці F за сингулярним значенням, Ḟ = USV^T. Розкладання матриці за сингулярними значенням формально буде визначено в главі 12, а поки відзначимо, що S = diag (r, s, t) - це діагональна матриця 3 х 3 з елементами г> s> t; U, V - це ортогональні матриці 3x3 і матриця рангу два Ḟ (див. розділ 12), мінімізує фробеніусову норму Ḟ - Ḟ, має вигляд Ḟ = Udiag (r, s, 0) V^T. На останньому етапі алгоритму в якості остаточної оцінки фундаментальної матриці береться F=T^T Ḟ T'.

На рис. 10.4 показані експерименти для випадку слабкої калібрування, в яких в якості вхідних даних використовувався набір з 37 точкових відповідностей між двома зображеннями іграшкового будиночка. Інформаційні точки показані на малюнку у вигляді невеликих дисків, а відновлені епіполярні лінії - невеликими сегментами ліній. На рис. 10.4, а показаний вихід восьмиточкового алгоритму з використанням схеми найменших квадратів, а на рис. 10.4, б представлені результати, отримані з використанням схеми Хартлі. Як і слід було очікувати, у другому випадку результати краще і, фактично, ближче до результатів, отриманих з використанням критерію геометричного відстані, який був запропонований в роботах [Luong et al., 1993, 1995].