Методы оценки состояния опорно-двигательного аппарата в телемедицинских системах физической реабилитации. Учебное пособие

19

Рисунок 8 – Применение системы захвата движений по данным видеофиксации

Согласно изображённому на рисунке 8 процессу применения системы захвата движений на теле человека закрепляются маркеры. При изменении положения опорно-двигательного аппарата данные с маркеров фиксируются камерами Qualisys и передаются в вычислительную систему, где строится математическая трехмерная модель, позволяющая воспроизвести последовательное положение тела.

Однако использование подобных маркеров на практике затруднительно, особенно в случае выполнения восстановительных упражнений индивидуального плана процесса физической реабилитации, поскольку у пациента наблюдаются дискомфорт и скованность в движении. В связи с этим активно используются безмаркерные системы захвата движения, при наличии которых человек может двигаться в повседневной одежде без специальных маркеров. Ниже представлено описание процесса применения безмаркерных систем захвата движений.

Сначала видеосистема считывает и сохраняет антропометрические показатели человека. Далее с помощью технологий компьютерного моделирования осуществляется построение математической модели изменения положения тела человека в реальном времени. Пример математической модели изменения положения тела человека во время бега, подготовки к прыжку и во время прыжка представлен на рисунке 9.

20

а б в Рисунок 9 – Математическая модель изменения положения тела:

а– во время бега; б – подготовка к прыжку; в – во время прыжка

Всоответствии с рисунком 9 математическая модель изменения положения тела человека во время бега и прыжка представляет собой полноценное отображение поведения человека во времени. Затем осуществляется сравнение моделей с текущим положением тела человека и проводится расчет параметров двигательной активности.

Для оценки положения объекта (в том числе и тела человека) в трёхмерном пространстве возможно использование различных систем технического зрения, принцип работы основных из них рассмотрим далее.

1. Времяпролетная камера (англ. Time-of-Flight camera, ToF camera) – это устройство, формирующее изображение на основе информации о дальности до каждого элемента этого изображения. Оценка расстояния время-пролётным методом основана на измерении интервала времени, которое затрачивается на прохождение импульса энергии от излучателя до объекта ОФ и обратно до приёмника.

ToF камеры являются достаточно недорогими устройствами. Несмотря на то, что мощность их подсветки, как правило, невелика по сравнению с лазерными дальномерами (это ограничивает возможность использования таких камер в уличных условиях или в условиях сильной засветки от Солнца), высокая плотность элементов на изображении позволяет формировать качественные пространственные картины и облака точек.

В настоящее время существуют достаточно компактные модели ToF камер, которые встраиваются в ряд устройств, такие как смартфоны. Там они выполняют две основные функции:

21

•получение дополнительной информации об объектах, снимаемых основной камерой для создания таких эффектов, как размытие фона, а также повышения качества изображения в условиях плохой освещённости;

•сбор биометрических данных для идентификации

личности, например в технологии FaceID.

Имеется достаточно большое модельное разнообразие среди времяпролетных камер как отдельных устройств. Одна из наиболее распространённых и доступных на массовом рынке – Microsoft Kinect One, второе поколение системы контроля движений для игровой приставки Xbox One. Несмотря на то, что устройство было изначально ориентировано на сферу развлечений, оно получило широкое признание и востребованность в различных областях, в том числе и в биомедицине.

2. Стереоскопические системы. Расположение органов зрения многих животных позволяет им оценивать информацию о расстоянии до находящихся перед ними объектов. Аналогичную систему можно построить и на видеодатчиках. На основе разности расположения объектов на кадре можно дать оценку дальности до них. Этот метод вычислительно сложный, однако при определённых условиях позволяет обеспечивать приемлемый результат для ряда задач.

Основной сложностью в таких системах выступает сопоставление объекта и его элементов на первом и втором изображении с видеодатчиков. Чем больше разрешение изображения, тем больше вычислений для этого требуется. Поэтому в некоторых системах для упрощения задачи используется подсветка, проецирующая на объекты структурированный рисунок. Такой подход применяется, в частности, в датчиках Microsoft Kinect первого поколения и аналогичных им (Asus X-tion и др.). Инфракрасная камера регистрирует наложенную на объекты проекцию и определяет смещение, на основе которого затем вычисляется удалённость объекта от датчика. Наличие подсветки ограничивает использование подобных камер в условиях сильной зашумлённости инфракрасным светом, например на Солнце.

Классические пассивные стереовидеосистемы при адаптивной коррекции экспозиции могут быть использованы в широком диапазоне условий освещённости. Однако эффективность формируемой пространственной картины во многом зависит от программных алгоритмов обработки данных. Поэтому для каждой модели устройства применимость для построения облака точек следует рассматривать отдельно.

22

3. Вычисление пространственных координат на основе карт дальности. В большинстве случаев выходными данными с таких датчиков, как времяпролетная камера и стереосистема, является карта глубины или картина глубины (англ. depth image). Карта глубины – это изображение, каждый отдельный элемент которого (пиксель) содержит информацию не о цвете, а о дальности. Используя эту информацию, а также оптические параметры, можно получить координаты каждого элемента изображения в трёхмерном пространстве.

Для регистрации положения тела человека требуется не только пространственная картина, но и выделение узловых компонентов конечностей. Надежное интерактивное отслеживание человеческого тела потребовало разработку специальных алгоритмов обработки карт глубины. Даже несмотря на наличие камер глубины, способных работать в реальном времени, многие системы имеют ограничения. Некоторые системы достигают высоких скоростей за счет отслеживания в режиме кадр за кадром, но с трудом осуществляют быструю повторную инициализацию при потере объекта. Поэтому разработчиками системы Kinect было предложено осуществлять распознавание человеческого тела по частям: выявление на одной карте глубины небольшого набора вариантов положения в трёхмерном варианте для каждого сустава скелета. Разработанный алгоритм преследовал две основные цели: обеспечение вычислительной эффективности и надёжности.

Исходное изображение карты глубины, поступающее в качестве входных данных для алгоритма распознавания, разбивается на несколько участков, которые вероятностно маркируются как относящиеся к определённой части тела человека. Дальнейший анализ сегментированного изображения и учёт кинематических связей позволяют определить пространственные координаты каждого сустава скелета человека.

Маркировка участков осуществляется на основе признаков, полученных в ходе обучения. Для получения обучающих данных генерируются реалистичные синтетические изображения людей разных форм и размеров в самых разнообразных позах. Обучение осуществляется по методу случайного леса, который позволяет избежать переобучения за счет использования сотен тысяч изображений. Простое разностное сравнение характеристик изображения по глубине позволяет получить инвариантность трехмерных положений при сохранении высокой вычислительной эффективности. Для повышения скорости классификатор может быть запущен параллельно для каждого пикселя на графическом процессоре.

24

работы. Данные системы устанавливаются в доме пациента, который выполняет восстановительные упражнения в соответствии с представленными на экране указаниями, заключающимися в изменении состояния кинематической модели. Следует отметить, что технология Kinect применяется в рамках телемедицинских систем, осуществляющих объективный контроль выполнения физической реабилитации пациента.

К основным преимуществам безмаркерных систем захвата движений на основе технологии Kinect можно отнести:

1)применение оптического канала передачи информации, исключающего необходимость использования кабельных линий;

2)формирование полной картины (без учета физических препятствий в зоне регистрации видеокамеры) изменения положения опорно-двигательного аппарата в пространстве в реальном времени;

3)использование одной камеры для регистрации информационных данных.

Однако в рамках задач физической реабилитации и объективной оценки процесса выполнения восстановительных упражнений большое значение имеет не общая подвижность человека (способность передвигаться), а способность его конечностей выполнять локальные движения по заданной траектории, сгибание суставов под определенным углом с обязательным контролем болевых ощущений. Существующие безмаркерные системы захвата движений на основе технологии Kinect не обеспечивают необходимую точность регистрации данных отдельно взятого упражнения в части многих мелкомоторных задач. Еще одним ограничительным фактором применения подобных систем является то, что они могут быть использованы только в «откалиброванном» помещении при естественном освещении. Кроме того, для осуществления расчета модели необходимы значительные вычислительные мощности. Указанные факторы обусловливают высокую стоимость приобретения

иэксплуатации подобных систем и, как следствие, малодоступность для использования широким кругом пользователей.

Тем не менее, с учетом развития информационнокоммуникационных технологий представляется актуальным создание телемедицинских систем, позволяющих проводить сбор и регистрацию данных без накладывания ограничений на проведение диагностики в специальных помещениях. Одним из направлений развития подобных систем является использование инерциальных измерительных систем на основе MEMS-технологии.

2.9.АНАЛИЗ ИНЕРЦИАЛЬНЫХ ИЗМЕРИТЕЛЬНЫХ

25

СИСТЕМ НА ОСНОВЕ MEMS-ТЕХНОЛОГИИ

Последние достижения в создании микроэлектромеханических систем (MEMS) сделали возможным производство небольших и легких инерциальных навигационных систем. MEMS-технология позволяет создать миниатюрные датчики (1-100 мкм), объединив их на одной микросхеме. Инерциальная измерительная система, как правило, представляет собой малогабаритное устройство, определяющее свое положение в пространстве и регистрирующее параметры движения с несколькими степенями свободы. При этом используются следующие датчики движения:

1)гироскоп, обеспечивающий измерение значений угловых скоростей вокруг собственных трех осей (микросхемы со встроенным датчиком инерции, которые способны переводить его механические перемещения в электрические импульсы);

2)акселерометр, обеспечивающий измерение значений линейных ускорений по трём осям (суперпозиция собственного ускорения акселерометра и вектора гравитации);

3)магнитометр, позволяющий получить проекцию напряженности магнитного поля Земли в системе координат магнитометра по трём осям (определение значений углов между собственными осями и силовыми линиями магнитного поля Земли).

Результаты измерения, полученные с помощью вышеуказанных датчиков движения, являются исходными данными для дальнейшей обработки сигнала. Инерциальная измерительная система имеет

связанную с ней систему координат −1 = ( −1 −1 −1), которая представляет собой подвижную систему координат, состоящую из

продольной , вертикальной (нормальной) и поперечной осей, проходящих через центр масс инерциальной измерительной системы.

Именно изменение положения данных осей обеспечивает измерение ориентации и непосредственно характеризует движение относительно исходной (неподвижной) системы координат. В данной

работе применяется исходная система координат 0 = (0 0 0) – неподвижная система координат, оси которой соответствуют положению осей связанной системы координат инерциальной измерительной системы в начальном положении, зафиксированном в результате калибровки [23].

Такой же принцип измерения положения в пространстве используется в летательных аппаратах, известный как «крен (roll), тангаж (pitch) и рыскание (yaw)» . Система координат инерциальной

26

измерительной системы представлена на рисунке 11.

Рисунок 11 – Система координат инерциальной измерительной системы:

а – исходная система координат ИИС; б – пространственное изменение положения системы координат ИИС; в – проецирование положения ИИС относительно начального положения; г – проецирование осей системы координат ИИС относительно исходной системы координат

В соответствии с рисунком 11 с помощью инерциальной измерительной системы можно определить углы ориентации, которые характеризуют угловое смещение ИИС относительно исходной системы координат в пространстве по трём осям:

– (рыскание) – угол, образующийся между положением продольной оси связанной системы координат инерциальной измерительной системы и 0 исходной системы координат;

27

–(тангаж) – угол, образующийся между положением

поперечной оси связанной системы координат инерциальной измерительной системы и 0 исходной системы координат;

–(крен) – угол, образующийся между положением поперечной

оси связанной системы координат инерциальной измерительной системы и 0 исходной системы координат.

Определение значений углов ориентации , и может быть осуществлено на основе данных, полученных с акселерометра и магнитометра, преобразованных через углы Эйлера в виде:

где 2 – функция полного арктангенса;, , – измерения акселерометра по трем осям , , ;

, – измерения магнитометра по двум осям , .

Кроме того, для вычисления углов ориентации используются кватернионы вида:

– угол поворота системы относительно вектора вращения (оси, вокруг которой вращается система координат).

В некоторых случаях удобно представлять угол вращения и ось в одном векторе. Направление вектора при этом совпадает с направлением оси вращения, а его длина равна углу поворота [24]:

где = √2 + 2 + 2 .

Преимуществом использования кватернионов является возможность одновременного учета вращения контролируемого объекта по направлению каждой из осей (даже при небольших углах

28

вращения), поскольку, по сравнению с углами Эйлера, обеспечивается возможность комбинирования вращений, а также возможность избегания проблемы, связанной с недоступностью поворота вокруг оси, независимо от совершённого вращения по другим осям. Для измерения угловой скорости, которую при известных начальных условиях с течением времени можно интегрировать, чтобы получать ориентацию датчика, предназначен гироскоп.

Так, совместная обработка значений линейных ускорений и угловых скоростей позволяет выполнять функцию фиксации траектории изменения положения опорно-двигательного аппарата в пространстве и во времени, что позволит определить количественные значения для кинематического параметра траектории.

2.10. АНАЛИЗ ПРАКТИЧЕСКИХ АСПЕКТОВ ПРИМЕНЕНИЯ ИНЕРЦИАЛЬНЫХ ИЗМЕРИТЕЛЬНЫХ СИСТЕМ

НА ОСНОВЕ MEMS-ТЕХНОЛОГИИ

В настоящее время ведущее место среди инерциальных измерительных систем (ИИС) занимает система Xsens [25]. Данная система применяется для регистрации изменения положения опорнодвигательного аппарата в пространстве и времени. Система Xsens состоит из двух составляющих: программного обеспечения MVN Animate и аппаратной части в виде костюма Xsens Awinda. Костюм Xsens Awinda для регистрации изменения положения опорнодвигательного аппарата в пространстве представлен на рисунке 12.

Согласно рисунку 12 костюм Xsens Awinda включает в себя датчики регистрации движений (более 17 датчиков). Каждый из датчиков имеет порядковый номер и закреплен с помощью ремешков на определенном сегменте тела человека. Такой костюм должен быть обязательно откалиброван. Процедура калибровки включает нахождение испытуемого в костюме в неподвижном положении в течение определенного интервала времени. При этом посредством датчиков осуществляется считывание антропометрических показателей человека, которые обрабатываются программными средствами в целях построения компьютерной модели тела и ее сопоставления с исходной антропометрической моделью для определения правильности расположения датчиков. При изменении положения опорнодвигательного аппарата происходит регистрация состояния датчиков и построение текущей модели тела человека в режиме реального времени. Пример построения модели изменения положения тела человека в