Моделирование класса изображений лиц с помощью Факторного Анализа (Factor Analysis, fa)

Факторный анализ (ФА), как и многие методы анализа многомерных данных, опирается на гипотезу о том, что наблюдаемые переменные являются косвенными проявлениями относительно небольшого числа неких скрытых факторов. ФА, таким образом, это совокупность моделей и методов, ориентированных на выявление и анализ скрытых (латентных) зависимостей между наблюдаемыми переменными.

В контексте задач распознавания наблюдаемыми переменными обычно являются признаки объектов.

Цель ФА в контексте задачи обнаружения лиц - получить модель изображения лица (с обозримым числом параметров), с помощью которой можно провести оценку близости тестового изображения к изображению лица.

Факторный анализ можно рассматривать как обобщение метода главных компонент.

МГК и ФА являются мощными и удобными способами получения подпространства для эффективного представления класса объектов во многих случаях, однако они не являются оптимальными инструментами для моделирования многообразия изображений лиц.

Адаптивные методы

Описанные выше методы нуждаются также и в контрпримерах, Проблема нахождения репрезентативного набора изображений "не-лица" для успешной тренировки классификатора решается методом самонастройки - постепенном формировании набора контрпримеров по результатам проводимых тестов.

В общем виде задача классификации формулируется следующим образом.

Имеется: пространство векторов X ;

m-мерное евклидово пространство R^m векторов-признаков изображения;

пространство ответов Y={1,-1} , где y_i =1 означает, что вектор x_i соответствует изображению лица, а y_j = -1 , что x_j соответствует изображению "не-лица";

пространство F функций f: X→Y, или пространство функций-классификаторов. Требуется по некоторому обучающему набору (x_i , y_i) , i = 1,2,.., N найти

функцию f, так чтобы достигался минимум среднеквадратической ошибки:

(1)

Линейный Дискриминантный Анализ (Linear Discriminant Analysis, lda)

Задача Линейного Дискриминантного Анализа (ЛДА) - найти проекцию в пространство, в котором разница между различным классами объектов максимальна. Это требование формулируется как получение максимально компактных кластеров, соответствующих различным классам, удаленных на максимально возможное расстояние. С помощью ЛДА удается получить подпространство небольшой размерности, в котором кластеры изображений лиц и "не-лиц" пересекаются минимально. Производить классификацию в таком пространстве значительно проще.

Метод Опорных Векторов (Support Vector Machines, svm)

Цель тренировки большинства классификаторов - минимизировать ошибку классификации (1) на тренировочном наборе (называемую эмпирическим риском). С помощью метода опорных векторов можно построить классификатор, минимизирующий верхнюю оценку ожидаемой ошибки классификации (в том числе для неизвестных объектов, не входивших в тренировочный набор).

Применение метода опорных векторов к задаче обнаружения лица заключается в поиске гиперплоскости в признаковом пространстве, отделяющий класс изображений лиц от изображений "не-лиц".

Линейное разделения сложных классов (изображения лиц и "не-лиц") становится возможным при неявном проецировании векторов-признаков с помощью аппарата ядерных функций в пространство потенциально намного более высокой размерности. Этот способ не приводит к усложнению вычислений, что позволяет успешно использовать линейный классификатор для линейно неразделимых классов.

Итак, метод опорных векторов или SVM основан на том, что ищется линейное разделение классов. В этом случае функция решения

(2)

Производится поиск параметров и b. Видно, что

- уравнение разделяющей классы гиперплоскости.

Проводя параллельные гиперплоскости (рис. 2) , получим, что для проведения оптимальной разделяющей гиперплоскости надо максимизировать расстояние между этими двумя плоскостями , с условиями, что между ними нет точек данных, т.е. .

Рисунок 2. Иллюстрация к разделению на классы

Методом множителей Лагранжа эта задача сводится к поиску коэффициентов :

(3)

с ограничениями

Эта задача решается с помощью алгоритма последовательной оптимизации SMO (Sequential Minimal Optimization). Этот метод сводит решаемую задачу максимизации функции N-переменных к задаче с минимально возможным количеством α - с двумя - и является одним из наиболее эффективных методов обучения.