УДК 004.93.1

ИСПОЛЬЗОВАНИЕ ТЕПЛОВИДЕНИЯ ДЛЯ РАСПОЗНАВАНИЯ НЕСКОЛЬКИХ ПСИХОФИЗИОЛОГИЧЕСКИХ СОСТОЯНИЙ СУБЪЕКТОВ

ПО ТЕРМОГРАММАМ ЛИЦА

Вишняков Д.Д.

студент группы КЗИ-161 Омского государственного технического университета, г. Омск

Жумажанова С.С.

аспирант группы ИВТа-164 Омского государственного технического университета, г. Омск

СибАДИпомощью термографии приобретает всё больший интерес. Совсем недавно Salazar-López и соавт. исследовали когнитивную нейропсихологию эмоций во время выполнения эмоциональных заданий [1], в то время как Latif и др. исследовали пригодность метода ИКвизуализации для обнаружения аффективного состояния с помощью выделения признаков термограммы с использованием матрицы совпадений уровней серого (GLCM) [2]. Наконец, еще одно перспективное направление исследований касается распознавания лиц с помощью тепловидения. В последние годы Cho и соавт. представил метод распознавания лиц, основанный на идентификации структуры точки бифуркации вены и центра тяжести тепловой грани, с помощью модифицированного расстояния Хаусдорфа [3]. Hermosilla и соавт. представил метод распознавания лиц, основанный на слиянии тепловых и видимых признаков с использованием генетических алгоритмов [4]. В качестве системы для оценивания вегетативной нервной деятельности психофизиологического состояния человека было предложено тепловидение на основе термограмм лица и шеи. Данный способ является бесконтактным и неинвазивным. Посредством моделирования теплового изображения лица можно выделить несколько жизненно важных признаков, в том числе локализованную перфузию крови, сердечный пульс, частоту дыхания, поскольку все эти параметры влияют на температуру кожи. Полученная физиологическая информация затем может быть использована для получения выводов о различных психофизиологических или аффективных состояниях, что подтверждается растущим числом психофизиологических исследований с использованием тепловидения. В настоящей статье представлен обзор достижений тепловидения в области вычислительной физиологии, основное внимание

Рахимжанов Э.А.

студент группы КЗИ-161 Омского государственного технического университета, г. Омск

Лукин Д.В.

студент группы КЗИ-161 Омского государственного технического университета, г. Омск

Аннотац я. В настоящей статье рассматривается текущее состояние области автоматического распознавания психофизиологического состояния человека по

термограф ческ м зо ражениям. В качестве психофизиологических состояний

рассмотрены состоян е стресса, алкогольного опьянения, сонливости, физической нагрузки, а также вл ян е мед каментов на тепловую картину лица субъекта. Приведены основные

результаты спользуемых алгоритмов и сделаны выводы о перспективности тепловидения в области автомат ческого распознавания текущего состояния человека.

Ключевые слова: термограммы лица, тепловидение, распознавание образов, психофизиологическое состояние, алгоритм принятия решений, автоматическая

сегментация, пространство признаков.

Введение

Обнаружение и распознавание эмоциональных и психофизиологических состояний с

уделено перспективным алгоритмам принятия решений и нескольким

14

психофизиологическим состояниям, таким как: состояние стресса, состояние физ. нагрузки, сонное состояние, состояние алкогольного опьянения [5].

Состояние стресса

Предполагается, что умственная нагрузка тесно связана с работоспособностью человека, и в настоящее время существует мнение о том, что как чрезмерно высокий, так и чрезмерно низкий уровень умственной нагрузки негативно влияют на производительность [6,7]. Некоторые методы оценки рабочей нагрузки было трудно реализовать в реальной рабочей

СибАДИнеинвазивных измерений рабочей нагрузки: измерения по термограммам лица добавили в среднем 47,7% к количеству изменчивости в выполнении задач, объясняемой регрессионной моделью. Как и в случае с оценками ISA, взаимосвязь между физиологическими показателями и показателями эффективности показала сильные различия между участниками, причем некоторые люди демонстрировали гораздо более сильную взаимосвязь между нагрузкой и производительностью, чем другие. Результаты демонстрируют, что термограммы лица и диаметр зрачка могут использоваться для неинвазивного измерения рабочей нагрузки в режиме реального времени [9].

обстановке из-за их инвазивности (например, прерывание задач или необходимость носить неудобное оборудование). Достижения в области физиологических сенсоров и методов анализа данных означают, что такие инструменты, как лицевая термография [8], теперь являются канд датами для не нвазивного захвата рабочей нагрузки в режиме реального времени.

Представленное в [9] сследование проводилось в лабораторных условиях и требовало от участников выполнен я зр тельно-моторной задачи, которая предъявляла различные уровни сложности. обранные данные состояли из физиологических измерений (интервалы между сердечными сокращен ями, частота дыхания, диаметр зрачка, термограмма лица), субъективных оценок ра очей нагрузки (шкала мгновенной самооценки рабочей нагрузки [ISA] и индекс нагрузки NASA-Task) и производительности. Для мониторинга тепловых

производительности и физиологическими параметрами, была разработана специальная компьютерная задача (игра), что ы навязать участнику разные уровни умственной нагрузки. Задание состояло из компьютерной игры с тремя этапами двух уровней сложности, общей продолжительностью 29 минут; каждый этап состоял из 13 подэтапов (45с каждый) различной сложности. Та лица 1 описывает этапы задачи с точки зрения целей, уровня сложности и количества подэтапов [9,10].

Таблица 1 – Описание этапов задачи [9]

Состояние алкогольного опьянения

В этом разделе мы постараемся описать факторы, которые могут временно влиять на температуру кожи при употреблении алкоголя. Повышение температуры кожи при

15

употреблении алкоголя происходит из-за релаксации гладкой мускулатуры в стенках кровеносных сосудов кожи и последующего увеличения кровотока [11]. Ewing и др. [12] были первыми, кто доказал этот факт, используя инфракрасное тепловидение. Это исследование также показало, что употребление алкоголя привело к «общему повышению температуры и более рассеянному тепловому режиму» на груди. Несколько лет спустя в другом исследовании с использованием инфракрасного тепловидения была проведена оценка влияния 25 мл 40%-ного виски на температуру рук, в результате чего наблюдалось увеличение температуры кожи в течение 9 минут после употребления. Этот эффект наблюдался сильнее у субъектов, которые не привыкли употреблять алкоголь [13]. Однако те же эффекты не наблюдались, если алкоголь употреблялся во время еды. Два более недавних

СибАДИпотреблял банку пива объемом 355 мл крепостью 5,5, ждал еще 30 минут в лаборатории и затем повторял процедуру до тех пор, пока не было употреблено четыре банки пива. После

исследован я зучали зменен е температуры рук, колен и лица после употребления

алкоголя, выявляя разл чные реакции на температуру кожи, в зависимости от области тела. Температура рук увел ч лась максимально на 1°C через 15 минут; между тем, температура колен увел ч лась всего на 0,3°С или даже уменьшились на 0,2°С [9, 14, 15]. Другие факторы также вл яют на эффект, вызванный употреблением алкоголя, например,

воздействие этанола. Wolf соавт. [18] отметили, что основным влиянием алкоголя на температуру кожи является расширение сосудов и последующее повышение температуры. Тем не менее, следует провести дополнительные исследования реакций температуры кожи на алкоголь не только на л це, но и на всем теле. Кроме того, продолжительность этого влияния должна быть проверена [19].

Gabriel Hermosilla и соавт. [20] в своей ра оте проверили систему с использованием новой базы данных лиц в состоянии алкогольного опьянения, которая была специально разработана для этой работы. Были ото раны 46 человек, 40 мужчин и 6 женщин. Средний возраст людей составлял 24 года со отклонением при лизительно 3 года (минимальный возраст составлял 18 лет, максимальный - 29 лет), которые находились в хорошем состоянии, были здоровы и без проблем, связанных с употреблением алкоголя. Этот отбор был выполнен с помощью скринингового теста, предназначенного для исключения людей, которые регулярно

употребляют алкоголь.

Испытуемые посещали лабораторию, где они отдыхали в течение 30 минут, чтобы стабилизировать обмен веществ в температурных условиях лаборатории. Затем субъект

завершения процедуры субъекты с количеством алкоголя примерно 0,8 г/л в крови (выпитого) должны оставаться на месте до тех пор, пока процентное содержание алкоголя не снизится до менее 0,2 г/л. Это было подтверждено измерением с помощью теста дыхания. Следует отметить, что в течение всего эксперимента в лаборатории находился фельдшер для проверки состояния людей. Результаты показывают, что производительность этапа распознавания лиц составила 100% с обоими алгоритмами, в то время как идентификация субъектов в нетрезвом виде показала результат 86,96%, что является очень многообещающим результатом [20].

В своей работе Georgia Koukiou [21] провела анализ различий тепловых характеристик между различными точками лица. Цель этого подхода состоит в том, чтобы исследовать определенные места на лице и выяснить, изменяется ли разница температур между этими регионами в зависимости от потребления алкоголя. Прослеживается максимальное отклонение между соответствующими различиями и фактически выявляются регионы, которые меняют температуру в зависимости от потребления алкоголя. Выяснилось, что у пьяного человека повышается температура носа и рта по отношению ко лбу.

16

Прием медикаментов

Обычно рекомендуется избегать приема медикаментов до термографической оценки [22,23]. Существуют определенные общие указания относительно характера лекарств, которых следует избегать, но нет конкретного списка медикаментов, влияющих на температуру кожи. Казалось бы, можно просто составить список всех лекарств, влияющих на терморегуляцию. Однако из-за отсутствия такой классификации в литературе, создается впечатление, что построить такой список не так просто, как кажется. Медикаментозное лечение может влиять на температуру кожи, но на сегодняшний день основным

СибАДИприменением инфракрасной термографии является оценка терапевтического эффекта лечения [24]. На основании исследований, проведенных по инфракрасной термографии, предлагается лечен е, которое состоит из пяти основных групп: анальгетики, противовоспал тельные, вазоактивные, гормональные препараты, профилактические средства и анестет ки. Тем не менее, необходимо провести подробное исследование, чтобы определить вл ян е всех эт х препаратов на температуру кожи. Особое внимание следует уделять лекарствам, которые часто используются (например, парацетамол, аспирин, противозачаточные средства) которые могут повлиять на интерпретацию термограммы

[19].

остоян е ф з ческой нагрузки

Усталость оказывает не лагоприятное воздействие как на физические, так и на когнитивные способности. Следовательно, большое значение имеет автоматизированное обнаружен е усталости, вызванной физической нагрузкой. Термография и анализ лица дают возможность незаметно о наруживать изменения в организме человека в различных условиях освещения и независимо от позы человека. В [25] предлагается система автоматического обнаружения усталости, вызванной физической нагрузкой, с использованием тепловизионных камер и изображений лица, их анализ с использованием глубоких сверточных нейронных сетей.

Система обнаружения усталости состоит из трех основных этапов. Первый этап начинается с обнаружения, сегментирования и выравнивания тепловых изображений лица на основе координат глаз и носа. Результатами этого этапа являются набор выровненных тепловых изображений лица и областей интереса (ROI). Выравнивание пытается минимизировать возможные различия между субъектами и их изображениями. Второй шаг основан на двух разных больших сверточных нейронных сетях, которые извлекают векторы признаков фиксированной длины из изображения лица или другой области. Эти функции затем используются на третьем и последнем этапе, машине опорных векторов (SVM), которая определяет состояние субъекта как утомленное или спокойное. Результаты показывают, что классификация утомленных людей возможна, и при использовании одиночных тепловых изображений точность достигает 80% [25].

В [26] Alex de Andrade Fernandes и соавт. провели исследование группы молодых людей, состоящей из 12 человек при помощи термографии в течение трех этапов: а) за 30 минут до тренировки; ) при выполнении одного часа упражнений умеренной интенсивности; в) через 60 минут после тренировки.

Во время разминки температура всей кожи достигла устойчивого состояния (P ≤ 0,05), что обеспечило адекватную термостабилизацию. В начале упражнений наблюдалось значительное снижение температуры кожи в большинстве областей интереса после 10 минут активности, за исключением нижних конечностей (ноги и бедра). После одного часа отдыха, на переднем части рук и бедер и на задней части ног, было замечено значительное повышение температуры кожи по сравнению с температурой во время разминки. Были замечены значительные различия в распределении температуры кожи во время упражнений в зависимости от активности рассматриваемой области, это может быть важно при разработке физиологических моделей и анализов теплового потока для различных целей [26].

17

Сонное состояние

Сон играет важную роль в психическом и физическом здоровье людей, а также в благополучии на протяжении всей жизни. Нарушения сна считаются серьезной проблемой общественного здравоохранения, и почти 30 процентов совершеннолетних людей во всем мире страдают от проблем со сном [27]. Известно, что некоторые хронические проблемы со здоровьем связаны с нарушениями сна, например ожирение и диабет [28]. Нарушения сна также могут влиять на то, как человек думает, работает и учится [29], и может привести к несчастным случаям, таким как дорожно-транспортные происшествия [30].

СибАДИтемпературам характеристикам разные объекты излучают различный спектр инфракрасного излучения. Человек имеет примерно одинаковую температуру по всей поверхности тела. Она не сильно меняется между лицом и телом, что обеспечивает постоянную тепловую характеристику. Нормальная температура тела человека варьируется от 35,5°C до 37,5°C. Поверхностные кровеносные сосуды под кожей лица человека используются для получения теплового рисунка лица. У каждого человека есть уникальная структура вен и тканей лица. Следовательно, ИК-изображение лица также является уникальным. В [33] система идентификации состоит из тепловизора, подключенного к компьютеру, на котором установлено программное обеспечение MATLAB, и приложения, использующего дальнейшую тепловую обработку изображения. На рисунке 1 изображена структурная схема определения сонного состояния.

Обнаружение сонливости представляет большую проблему для исследователей. Чтобы предотвратить несчастный случай, вызванный сонливостью, необходимо разработать метод

обнаружен я змерен я состояния сонливости. Это позволит предупредить водителя,

замедлить транспортное средство или даже остановить его, если этого требует ситуация. истема автомат ческого обнаружения сонливости водителя имеет решающее значение для

достижения всего этого [31].

Обнаружен е сонл вости можно разделить на следующие классы. Согласно [32] они включают в себя: определен е физиологических характеристик водителя, анализ действий водителя, анал з поведен я транспортного средства и мониторинг реакции водителя. Для достижения на лучшего результата предпочтение отдается методам, ориентированным на

физиологию человека. При этом могут ыть использованы как интрузивные, так и

неинтрузивные методы. Однако нтрузивные методы, такие как измерение физиологических изменений, напр мер, частота сердечных сокращений и температура тела, могут дать более

точные результаты, но х пр менение не представляется возможным, так как включают в себя введен е чувств тельных электродов в тело водителя, что раздражает и отвлекает его. Неинтрузивные методы, прио ретшие популярность среди многих исследователей, наиболее подходят для реальных условий вождения лагодаря использованию методов сбора данных

для получения физиологических характеристик, таких как провисание осанки, изучение движений головы водителя, открытое или закрытое состояние глаз, длительность моргания и частота моргания. Таким о разом, из-за невмешательства в нормальное состояние устройств, осуществляющих мониторинг, данные методы работают даже без ведома водителя. У сонных людей проявляется определенное поведение, которое можно наблюдать по изменениям черт лица, например, глаз, рта, бровей [31].

Для уникальной идентификации субъекта в биометрической идентификации используются шаблоны отдельных областей, таких как глаза и другие части лица. Для системы распознавания лиц существуют разные методы, одним из которых является тепловое распознавание лиц, которое принимает термограмму лица в качестве входных данных. Благодаря тепловому рисунку тела человека создаются термограммы. Тепловым инфракрасным (ИК) снимкам не важны условия освещения. Потому что тепловые ИКдатчики в камере захватывают только тепловое излучение, испускаемое объектом. По своим

18

СибАДИР сунок 1 – Схема определения сонного состояния субъекта

Получен е зображен я при его о ра отке может быть определено как действие по извлечению зображен я з некоторого источника, обычно аппаратного, поэтому изображен е может быть пропущено через любые процессы, которые должны произойти с ним впоследств . Выполнен е захвата изо ражения в процессе обработки изображений – всегда первый шаг в последовательности ра очих процессов, потому что без изображения невозможна его обработка.

В работе [33] анал з ровалась частота дыхания водителей транспортных средств с использован ем теплов ден я. Полученное видео, снятое в тепловом диапазоне, было преобразовано в последовательность изо ражений. Обнаружение лица и отделение от фона было выполнено с использованием алгоритма Bakhoda [34] на основании порогового метода. Область под носом, откуда считывались сигналы дыхания, была выбрана как центральная область лица. Поскольку поиск выполняется только в центральной области, считалось, что область с самой высокой температурой соответствует периорбитальной области, а область с самой низкой температурой – это нос. Таким образом, два пикселя, которые представляют центр двух областей с высокой температурой и не расположены близко друг к другу, были выбраны в качестве углов глаза. Сегмент линии был нарисован путем соединения этих двух пикселей. Пиксель, расположенный на перпендикулярном бисекторе этого отрезка, который имел самую низкую температуру, был выбран в качестве кончика носа. Область непосредственно ниже кончика носа была целевой зоной дыхания. Сигнал дыхания был построен путем связывания средней температуры области ноздрей для всех кадров. Среднее значение среднеквадратичное отклонение частоты дыхания извлекались из сигнала дыхания с двухминутными интервалами. Частота дыхания, оцененная с помощью тепловидения, была сильно коррелирована с контрольным методом. Все точки разброса были в пределах 95% линий согласования. Результаты показали, что частота дыхания субъектов снизилась на 1,5 уд/мин в сравнении с состоянием бодрствования. По словам авторов пространственно-временные алгоритмы более устойчивы по сравнению с пространственными алгоритмами. Алгоритм, представленный в этой статье, может быть дополнительно улучшен путем применения контролируемых классификаторов, таких как k-

NNи машина опорных векторов (SVM).

Вработе [36] приведены исследования по идентификации состояния сна с помощью системы из двух камер: инфракрасного сканера и инфракрасной камеры с линзой IR-Cut и решеткой инфракрасного освещения. Система использовалась для измерения частоты дыхания (ЧД) и сердечных сокращений (ЧСС). Отмечено, что спектры мощности Фурье этих двух физиологических показателей не перекрываются, что позволяет одновременно анализировать ЧД и ЧСС. Путем анализа линейной регрессии удалось достичь значения коэффициентов детерминации 0,831 и 0,95 для ЧД и ЧСС, соответственно, относительно состояния покоя. Представленные результаты многообещающие, однако, не исследована

19

методика интерпретации сонного состояния по полученным показателям ЧД и ЧСС, ведь велика вероятность аналогичных данных для других состояний, которые не подлежали рассмотрению, к тому же анализу подвергались только области рта и носа.

Заключение

Из проведенного анализа, можно сделать вывод, что термография открывает новые возможности для изучения эмоций и психофизиологических состояний. Впечатляющее Сраспространение технологии ИК-детекторов вместе с разработкой биологических моделей для психофизиологии и вычислительной физиологии, основанных на термограммах, открывают путь для инновационного и современного подхода к термографии в области нейронаук. Разработка м н атюрных и мобильных тепловизионных камер предлагает реальную возможность наблюдения на расстоянии некоторых физиологических параметров и аффект вных состоян й в повседневной жизни таким образом, чтобы это было ненавязчивымБидля субъекта, , несомненно, это может стать главным вектором развития

будущих исследован й в этой области [36].

Благодарности

1.Salazar-LópezбАE, Domínguez E, Juárez Ramos V, de la Fuente J, Meins A, Iborra O, Gálvez G, Rodríguez-Artacho MA, Gómez-Milán E. The mental and subjective skin: Emotion, empathy, feelings and thermography. Conscious Cogn. 2015 Jul; 34():149–62.

2.Latif M.H., Sidek S.N.I., Rusli N., Fatai S. Emotion detection from thermal facial imprint based on GLCM features. ARPN J. Eng. Appl. Sci. 2016; 11:345–350.

3.Cho S.Y., Wang L., Ong W.J. Thermal imprint feature analysis for face recognition; Proceedings of the IEEE International Symposium on Industrial Electronics; Seoul, Korea. 5–8 July 2009; pp. 1875–1880.

4.Hermosilla G, Gallardo F, Farias G,ДSan Martin C. Fusion of Visible and Thermal Descriptors Using Genetic Algorithms for Face Recognition Systems. Sensors (Basel). 2015 Jul 23; 15(8):17944–62.

5.Daniela Cardone, Paola Pinti, and Arcangelo Merla. Thermal Infrared Imaging-Based Computational Psychophysiology for Psychometrics. 2015. Computational and Mathematical Methods in Medicine Volume 2015, Article ID 984353, 1–7.

6.Sharples S., Megaw T. (2015). Definition and measurementИof human workload. In Wilson J. R., Sharples S., editors. (Eds.), Evaluation of human work (515–548). Boca Raton, FL: CRC Press.

7.Young M.S., Brookhuis K.A., Wickens C.D., Hancock P.A. (2014). State of science: Mental workload in ergonomics. Ergonomics, 139, 1–17.

8.Ora C.K.L., Duffy V.G. (2007). Development of a facial skin temperature-based methodology for non-intrusive mental workload measurement. Occupational Ergonomics, 7, 83–94.

9.Adrian Cornelius Marinescu, Sarah Sharples, Alastair Campbell Ritchie, Tomas Sánchez López, Michael McDowell, and Hervé P. Morvan. Physiological Parameter Response to Variation of Mental Workload. Human Factors. 2018 60(1): 31–56.

10.Sharples S., Edwards T., Balfe N. (2012, July). Inferring cognitive state from observed interaction. Paper presented at the 4th AHFE International Conference, San Francisco, CA.

11.J.H. Hughes, R.E. Henry, M.J. Daly, Influence of ethanol and ambient temperature on skin blood flow, Ann. Emerg. Med. 13 (1984) 597–600.

12.K.L. Ewing, T.W. Davison, J.L. Fergason, Effects of activity, alcohol, smoking, and the menstrual cycle on liquid crystal breast thermography, Ohio J. Sci. 73 (1973) 55–58.рамках научногоИсследован е выполнено при финансовой поддержке РФФИ в

20

Eye Blinking and Head Movement. Emerging Trends in Computer Science and Information Technology -2012(ETCSIT2012), International Journal of Computer Applications. 2012. 18–22.

21

33. VS. Elanthendral , R.K.Rekha , M. Rameshkumar. Thermal Imaging for Facial Expression– Fatigue Detection. International Journal for Research in Applied Science & Engineering Technology (IJRASET), Volume 2 Issue XII, December 2014. 14–16.

34. Kiashari S.E.H. et al. Monitoring the Variation in Driver Respiration Rate from Wakefulness to Drowsiness: A Non-Intrusive Method for Drowsiness Detection Using Thermal Imaging // 1. 2018. Vol. 3, № 1–2. P. 1–9.

35. Bakhoda H. Analysis and implementation of a new driver drowsiness detection system based on thermal infrared imaging of the face [Thesis]. Tehran, Iran: K. N. Toosi University of

СибАДИTechnology; 2015. [In Persian].

36. Hu M. et al. Combination of near-infrared and thermal imaging techniques for the remote and simultaneous measurements of breathing and heart rates under sleep situation // PLoS ONE. 2018. Vol. 13, № 1. P. e0190466.

37. Daniela Cardone * and Arcangelo Merla. New Frontiers for Applications of Thermal Infrared Imaging Devices: Computational Psychopshysiology in the Neurosciences. Sensors 2017, 17, 1042. 3–21.

22