Обзор состояния вопроса
В данном разделе будут рассмотрены основные системы распознавания эмоций, представленные на рынке.
Название: «FaceReader» [3].
Это наиболее совершенный и интересный продукт для задачи распознавания эмоционального состояния.
Производитель: «Noldus Information Technology» (Нидерланды).
Основные возможности: программа может верно интерпретировать такие выражения лица, как «счастливое», «грустное», «сердитое», «удивленное», «испуганное», «недовольное» и «нейтральное». Кроме того, «FaceReader» способен по лицам людей определять их возраст, пол и этническую принадлежность. Он не нуждается в обучении и дополнительной настройке.
Используемые технологии: в программе реализованы технологии компьютерного зрения. В частности, это метод Active Template, заключающийся в наложении на изображение лица деформируемого шаблона, метод Active Appearance Model, с помощью которого можно создавать искусственную модель лица с учетом контрольных точек и деталей поверхности, и сравнивать ее с образцами, заложенными в память.
Классификация происходит методами нейронных сетей с тренировочным набором в 2000 фотографий.
Достоинства:
Средний процент распознавания эмоций равен 89%. Для некоторых эмоций он выше, для некоторых ниже;
Наклон лица может быть любым в плоскости, его система обнаружит;
Программа работает с загружаемым видео в форматах с кодеками MPEG1, MPEG2,XviD, DivX4, DivX5, DivX6, DV-AVI и uncompressed AVI, причем определять эмоции можно пофреймно, либо полностью при просмотре всего видео. Также, «FaceReader» может работать со статичными изображениями, а также в реальном времени, если у пользователя подключена веб-камера;
Программа прекрасно визуализирована: всегда можно посмотреть гистограммы, диаграммы, процентаж выражаемых эмоций. А на таймлайне видны проявления микровыражений в определенный промежуток времени;
«FaceReader» генерирует два текстовых файла, один – это лог проявления эмоций, а другой – статический, для сопряженной с данной программой уникальной системы управления визуальными данными The Observer XT®, разработанной этой же компанией.
Недостатки программы:
FaceReader не натренирован для распознавания детей до 5ти лет;
Если человек в очках, то распознавание эмоций неточное, либо классификация не ведется;
Люди с разным цветом кожи по-разному воспринимаются системой, программа не до конца адаптирована;
Повернутое лицо не детектируется.
Название: «eMotionSoftware» [4].
Система известна тем, что это, по сути, первое коммерческое платное «коробочное» решение.
Производитель: «Visual Recognition » (Нидерланды).
Основные возможности: в данной программе отслеживающий алгоритм идентифицирует шесть эмоций: гнев, печаль, страх, удивление, отвращение и счастье, а также седьмая – это их смешение.
Используемые технологии: если человек проявляет эмоции, улыбается, хмурится или корчит гримасу, тысячи мелких мышц лица находятся в работе. Система распознавания эмоций, или ERS (Emotion-recognition system), создает 3D — модель лица, с выявлением 12 ключевых областей, таких как уголки глаза и уголки рта. Алгоритмы неизвестны, технологии держатся в секрете.
Название: Продукты «Affective Computing Research Group» [5].
Производитель: «Affectiva» (США).
Основные возможности: компания известна в первую очередь поставляемыми носимыми биосенсорами Q-Sensor. Но не только этим богата компания. Есть огромный опыт внедрения технологий среди Affective computing, или эмоциональных вычислительных систем, разработки идут с 1995 года. Проектов очень много. Это самая старейшая группа разработчиков, занимающаяся данными технологиями.
Есть, например, проект AffQuake на базе продукта ID Software Quake 3. Суть в том, чтобы игра реагировала на эмоциональные сигналы игрока. Геймера обвешивают датчиками, и, если ему становится страшно, модифицированный Quake получает «физиологические сигналы» пользователя и заставляет точно так же бояться виртуальное воплощение игрока – оно в страхе отступает.
Или, к примеру, разработана игрушка «Эмоциональный тигр» (Affective Tigger). Данный робот может идентифицировать пять эмоциональных состояний играющего с ним ребёнка и выразить в ответ свою эмоцию. Если ребёнок прыгает, весело тискает и целует игрушку, то система распознавания эмоций и сенсорная система «тигра» это физическое воздействие фиксируют, после чего демонстрируется счастье: Affective Tigger смеётся и улыбается.
Есть занимательное решение для Web. Это инновационный продукт компании Affectiva, сбор данных об эмоциональном состоянии людей во всемирной паутине, Affdex. По большей части он используется для маркетинговых исследований.
Одним из способов распознавания эмоционального состояния по лицу в данных разработках является запись в реальном времени с последующим компьютерным анализом — методами сравнения с заложенными образцами (SURF и на основе SIFT- дескрипторов), а также вейвлет-методами. Работа данных методов применяется в такой программе как Pupeteer, оценивающей поведение и эмоциональное состояние учеников. В ходе эксперимента по данному методу шесть базовых эмоций компьютер определяет с 96-процентной точностью.
Решение примечательно еще тем, что распознает вкупе с эмоциями движения головы, такие как кивок или качание, мотания из стороны в сторону.
Используемые технологии: используются процессы Байесовского машинного обучения для классификации эмоций, а также для вычисления статистики и вычисления смешанных состояний, когда нельзя точно выразить, какая именно эмоция превалирует.
О самом программном обеспечении можно не многое сказать, так как технологии закрыты. Разработка ведется на С++, Objective C для iPhone.
Существуют подобные разработки и у Германии [6].
Как видно из обзора, продукты представлены многими компаниями и в разном виде: от коробочных версий программного обеспечения до веб-решений на основе модели SaaS (Software as a Service).
Из общих недостатков подобных систем следует отметить проприетарность. Продукты, которые качественно обрабатывают входные данные, нечувствительны к масштабу и помехам, стоят порядка $2000, в том числе и за SDK.
Учитывая приведенный обзор, можно сформулировать следующие задачи:
Разработка адекватной геометрической модели лица в виде накладываемого деформируемого шаблона. Это позволит наиболее быстро оценить мимические проявления;
Разработка системы распознавания эмоций. Из вышесказанного следует, что наиболее высокий процент распознавания у системы фирмы «Affectiva», использующей Байесовское машинное обучение. Следовательно, эффективным будет использование Байесовских сетей в качестве аппарата обработки в задаче определения эмоций;
Разработка надежного, универсального, кросс-платформенного SDK для использования функциональности определения эмоции в статическом режиме и режиме реального времени.