Подготовка данных
В качестве наборов данных обычно используются изображения из видеоряда. Для задачи распознавания эмоций эти эмоции могут быть спонтанными или "симулированными", когда людей специально просят изобразить заданную эмоцию. В некоторых исследованиях применяют камеры с дополнительными датчиками, например, Kinetic v2 [3]. С помощью таких устройств можно отслеживать работу мускулов, степень их напряжения, что даёт дополнительную информацию для анализа.
В силу специфики исходных данных и решаемых задач, необходима предварительная обработка данных. Это важно для сокращения объема используемых вычислительных ресурсов и выделения наиболее значимых для классификации характеристик. При распознавании эмоций критическую роль играет обнаружение черт лица – лоб, глаза, губы и рот [4]. Классическими алгоритмами извлечения признаков из изображений являются Активная модель формы (англ. Active Shape Model, ASM), локальный бинарный паттерн (англ. Local Binary Pattern, LBP) и Гистограмма ориентированных градиентов (англ. Histogram of Oriented Gradients, HOG). В задаче распознавания эмоций на лице используется множество вариантов этих алгоритмов для достижения желаемых результатов [5].
Существует несколько общих проблем обработки входных данных. Так, проблему изменения освещения и контрастности обычно решают с помощью нормализации освещенности для повышения скорости распознавания. В некоторых исследованиях используют мультимодальные изображения лица: цветовую гамму лица, глубину и локальный бинарный паттерн (LBP), что позволяет решить проблемы изменения освещения [6].
Для задачи распознавания объектов на видео важным этапом подготовки данных является построение пирамиды изображений путем последовательного уменьшения входного видеопотока. Блоки изображений извлекаются из этой пирамиды и классифицируются с помощью нейронных сетей. Обнаруженные объекты затем помечаются на выходных видеокадрах [7].
Наборы данных
Для задач распознавания эмоций и объектов существует множество наборов данных (англ. Datasets). Некоторые исследователи создают собственные небольшие наборы данных, которые соответствуют требованиям конкретной задачи. Например, для исследования эмоциональной "заразительности" – реакции людей на проявление эмоций других людей, был подготовлен датасет, где 41 женщина смотрела небольшие видео с эмоциями других людей [8]. Другое исследование было проведено с целью изучения зависимости влияния мимики лекторов на видеолекциях на уровень усвоения материала студентами [9].
Существуют также наборы данных, которые используются во многих исследованиях для сравнения результатов моделей. Наиболее популярные наборы данных для распознавания эмоций, представленные в последние годы, включают:
1. FER2013 – набор данных, содержащий 32298 изображений с разрешением 48x48 пикселей, представляющих 7 эмоций [10].
2. iMiGUE – набор данных из 359 видео с разрешением 1280×720, демонстрирующих 32 эмоции [11].
3. emoFBVP – набор из 1380 видео продолжительностью 5 секунд с разрешением 640×480, представляющих 23 эмоции [12].
4. FABO – набор из 23 видео общей продолжительностью 6 минут с 10 эмоциями [13].
Для задачи распознавания объектов широко используется набор данных "Общие объекты в контексте" (англ. Common Objects in Context, COCO) – коллекция из 300 тысяч изображений наиболее часто встречающихся объектов [14].
