3.1 Предобработка фотографий
На вход алгоритмам классификации людей подаются фотографии, которые могут сильно отличаться друг от друга по разрешению, освещенности, положению лица на фотографии, поэтому возникает необходимость привести их к общему, нормализованному виду. Для этого требуются дополнительные входные данные, позволяющие локализовать лицо на фотографии. Такими данными могут быть координаты прямоугольника, ограничивающего лицо, найденные с помощью детектора лиц, или координаты особых точек на лице, например, зрачков. На основании этих координат лица на фотографиях с помощью поворотов и сдвигов приводятся к одному положению. В некоторых методах применяются более сложные геометрические преобразования, призванные компенсировать небольшие отклонения лица от фронтального положения. Затем фотографии масштабируются, и из них вырезается прямоугольник, содержащий область лица. Некоторые алгоритмы также используют соседние регионы: прическу, шею, область декольте. После геометрических преобразований опционально выполняется выравнивание освещенности, удаление шума.
На выходе этапа предобработки получаются нормализованные изображения лиц одинакового размера. Этот размер зависит от дальнейших этапов алгоритма и может варьироваться от 20×20 до 110×150 пикселей.
3.2 Признаки
Существует большое количество типов признаков, используемых в алгоритмах классификации людей по лицу, но их можно разделить на несколько групп.
Первая группа – антропометрические признаки, предложенные в самых ранних работах по данной тематике, например, в [2]. Они основаны на простых наблюдениях, позволяющих людям правильно классифицировать тот или иной атрибут. Например, для определения возраста такими признаками служат пропорции лица, которые отличаются у детей и взрослых, а также морщины, количество которых увеличивается с возрастом. Признаки такого типа не универсальны, то есть для классификации каждого атрибута нужен свой набор признаков.
Следующий тип признаков, применявшийся в работах [3],[4] – параметры статистической модели внешнего вида [5]. Для построения модели необходим набор фотографий лиц, на которых отмечены положения нескольких десятков особых точек. В процессе обучения метод главных компонент применяется к отклонениям внешнего вида каждого лица от усредненного. В результате каждое лицо описывается вектором параметров, количество которых можно регулировать в зависимости от условий задачи. Статистическая модель сопоставляет каждому лицу относительно небольшое число параметров, что удобно для дальнейшего применения в алгоритмах машинного обучения, но для своего построения требует точной разметки множества особых точек на лице, что является трудоемкой задачей.
Еще один тип признаков – значения интенсивности пикселей изображения. Его основное преимущество – простота вычисления, так как значения можно брать непосредственно из нормализованного изображения. Обычно к этим признакам дополнительно применяется один из методов понижения размерности (метод главных компонент в [6] или дискриминантный анализ в [7]). Вместо значений интенсивностей пикселей признаками могут быть результаты сравнения этих значений между собой для пар пикселей, что было предложено авторами работы [8]. Такая модификация более устойчива к изменениям освещенности на изображениях.
Последняя из рассматриваемых в этом обзоре групп признаков – сложные признаки, описывающие текстуру и распределение градиентов яркости на фотографии. К этой группе относятся, например, LBP (Local Binary Patterns) [9] и BIF (Biologically Inspired Features) [10]. LBP-признаки вычисляются путем применения LBP-оператора к каждому пикселю изображения. Оператор работает следующим образом: значение интенсивности в пикселе сравнивается со значениями во всех соседних пикселях из окрестности 3×3, и результаты сравнения представляются в виде нулей (если значение в центральном пикселе больше значения в соседнем) и единиц (в противном случае). Получается 8 цифр, из которых составляется двоичный вектор, который интерпретируется как двоичная запись целого числа. Это число и является результатом применения оператора к пикселю. Итоговые признаки получаются после разделения всего изображения решеткой на прямоугольные области, подсчета гистограмм результатов применения LBP-оператора и конкатенации полученных гистограмм в один вектор. Процесс вычисления LBP-признаков показан на рисунке 1.
Рисунок 1. Вычисление LBP-признаков: вверху – для одного пикселя, внизу – для целого изображения.
Эти признаки толерантны к неравномерностям в освещении и небольшим сдвигам в положении лица за счет того, что подсчет ведется не индивидуально для каждого пикселя, а используются регионы значительного размера.