5 курс / ОЗИЗО Общественное здоровье и здравоохранение / Проектирование_мультимодальных_интерфейсов_мозг_компьютер

Особенности хранения и совместного использования данных

Машинное обучение уже несколько лет широко применяется в биомедицинских исследованиях. Использование машинного обучения также требует общего формата данных. В интернете доступны обучающие наборы данных для ИМК (например, открытые платформы Kaggle и IEEE-dataport размещают различные наборы данных, полученные при помощи ИМК, и связанные с ними задачи).

Учитывая высокую степень неоднородности записанных управляющих сигналов, трудно определить уникальный формат данных, который был бы одновременно эффективным и полным. Часто регистрируемые сигналы многомерны (многочисленные электроды, 2D либо 3D изображения и так далее) и имеют большую длительность. Это требует эффективного сжатия набора данных без потерь. В то же время записанные сигналы должны быть синхронизированы с предоставленными стимулами, например, для орфографа P300 точные моменты времени предъявления стимулов должны быть включены в общий набор данных.

Принятие стандартного формата файлов позволит исследователям эффективно обмениваться данными [40]. Такой стандартизированный формат облегчит выпуск программных инструментов, которые могут широко использоваться различными заинтересованными сторонами, и обеспечит более надежное продвижение в нескольких областях исследований. Стандартизированный формат файла данных улучшит коммуникацию, совместную работу и анализ в исследованиях.

Для решения указанной проблемы Альянсом исследовательских данных (RDA) были предложены принципы FAIR (Findability, Accessibility, Interoperability, Reusability, то есть принципы находимости, доступности, совместимости и переиспользования) [41]. Принципы FAIR фокусируются на возможностях автоматической обработки, то есть на способности вычислительных систем находить, получать доступ, взаимодействовать и повторно использовать данные без вмешательства человека или с минимальным его участием. Поскольку проблема данных также актуальна для исследований ИМК, уместно применить принцип FAIR к данным ИМК. Для определения стандартного формата файла необходимо его соответствие следующим основным критериям:

‒иметь общее видение структуры файлов, подобное тому, которое описывается функциональной моделью;

‒определить, какая информация должна храниться, чтобы разрешить обмен данными без необходимости дополнительной документации;

29

Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/

Глава 2. Шаблоны проектирования ИМК

‒выбрать технологию, которую следует использовать (например, JSON, XML, XDF и другие). Такая технология должна позволять использовать расширяемость, чтобы не нарушать фоновую совместимость, если потребуются разные расширения форматов файлов.

Рабочая группа P2731 занимается решением первых двух вопросов на разных уровнях абстракции. В частности, для исследователей ИМК предлагается использовать следующие уровни абстракции, которые следует рассматривать как предварительные и дополнительные в том смысле, что каждый уровень расширяет предыдущий.

‒Уровень 0 (измеряемые сигналы мозга): биомедицинские сигналы, частота дискретизации, метки датчиков И/ИЛИ, местоположение и события. Этот уровень также может быть подходящим местом для хранения данных субъекта. На данном уровне никакая конкретная информация ИМК не рассматривается. Это типичная информация, предоставляемая производителем используемого устройства сбора данных. Должна быть предоставлена и другая информация, зависящая от устройства сбора данных. Например, следует учитывать эталонные и референтные датчики для снятия данных ЭЭГ, а также частоту наводки с линий электропередачи и саму технологию датчиков (например, сухие или мокрые электроды, активные и пассивные и так далее).

‒Уровень 1 (обучение ИМК). Этот уровень содержит детали, полностью описывающие парадигму ИМК, включая кодировщик (преобразование логических символов в семантические), интервал между испытаниями, параметры стимуляции и другое. Таким образом, вся информация, необходимая для обучения классификатора, должна быть включена в этот уровень.

‒Уровень 2 (обратная связь). Если во время исследования обеспечивается биологическая обратная связь (например, на основе мю-рит- ма), то должна быть предоставлена формула, которая управляет ею, поскольку предполагается, что измеряемые биомедицинские сигналы модулируются обратной связью. Модуляция обратной связью может происходить до или после классификации.

Помимо форматирования хранилища данных, еще одним ключевым вопросом будет правильное получение данных. Все стимулы, триггеры, события, маркеры и связанные данные должны быть сохранены в протоколе исследования. Дальнейшая классификация данных имеет смысл только с учетом перечисленных выше уровней. И, конечно же, данные о субъекте также должны быть сохранены.

30

Вопросы к главе 2

Таким образом, в этой главе было рассмотрено, что для разработки и проектирования ИМК требуются знания в различных областях науки, включая инженерию, информатику, медицину и неврологию. Каждая из названных дисциплин имеет специфическую, а иногда и отличающуюся терминологию, что создает препятствия для взаимопонимания и исследовательского сотрудничества специалистов. Стандарт, предложенный рабочей группой IEEE P2731, направлен на улучшение взаимодействия между исследователями и разработчиками ИМК путем создания общей функциональной модели и стандартного глоссария, которые можно использовать во всех соответствующих областях.

Вопросы к главе 2

1.Что такое мультимодальный интерфейс ИМК?

2.Опишите архитектуру мультимодального интерфейса.

3.Какие вы знаете биомедицинские сигналы различных модальностей и методы их регистрации?

4.Зачем нужен единый стандарт ИМК?

5.Опишите основные элементы функциональной модели ИМК.

6.Какие основные этапы происходят в модуле преобразователя?

7.Сформулируйте особенности использования сигналов разной модальности в неинвазивных и инвазивных ИМК.

8.Чем характеризуется стадия получения сигналов?

9.Какие методы используются на этапе обработки сигналов, полученных ИМК?

10.Какая основная цель выделения признаков?

11.Укажите различные методы классификации сигналов разной модальности.

12.Что входит в интерфейс управления ИМК?

13.Опишите физиологические аспекты применения ИМК.

14.Какие существуют психоэмоциональные аспекты применения ИМК?

15.Сформулируйте критерии для определения стандартного формата файла данных ИМК.

31

Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/

Глава 3. Обработка сигналов ЭЭГдля ИМК

Интерфейсы мозг-компьютер используются для организации взаимодействия пользователя с внешней средой в активном или пассивном режимах. В пассивном режиме измеряются различные метрики, характеризующие функциональное состояние человека: уровень внимания, стресса, заинтересованности и тому подобное. Измеренные метрики используются для уточнения параметров мультимодальных интерфейсов взаимодействия человека с внешней средой, адаптационные механизмы которых учитывают функциональное состояние человека. В активном режиме используются шаблоны, которые позволяют непосредственно судить о намерениях пользователя, при этом используются физиологические шаблоны двигательной активности, шаблоны вызванных потенциалов.

Вне зависимости от назначения и режимов работы интерфейсов мозг-компьютер можно выделить общие этапы в регистрации и подготовке сигналов, обработке сигналов, формировании признакового пространства и классификации состояния человека или измерении метрик функционального состояния.

В данной главе речь пойдет о двух этапах:

‒регистрации сигналов на поверхности головы и подготовке данных к дальнейшей обработке;

‒об обработке сигналов (работа с артефактами и временная фильтрация), извлечении признаков.

На этапе регистрации сигналов важным является понимание физической природы сигналов, о способах их измерения и преобразовании из аналоговой формы в цифровую.

На этапе обработки данных необходимо подготовить чистые данные для получения признакового пространства и обучения модели. При обработке данных важно понимать особенности физиологических процессов головного мозга (вызванные потенциалы, явление

32

Регистрация сигналов активности головного мозга на поверхности головы

синхронизации и десинхронизации моторной коры, связность различных разделов головного мозга и пр.) и условия регистрации сигнала (циклограмма эксперимента, протокол взаимодействия с интерфейсом, события, сохранение данных измерений в определенных форматах и прочее).

Регистрация сигналов активности  головного мозга на поверхности головы

Источники тока внутри головного мозга, образованные ансамблями нейронов, и другие источники электрических потенциалов тела формируют на коже головы электрические потенциалы [42]. Электроэнцефалография (ЭЭГ) — измерение электрических потенциалов на поверхности головы — является недорогим и удобным в эксплуатации инструментом функциональной диагностики. Устройство для регистрации ЭЭГ называется электроэнцефалографом. Выпускается широкий спектр таких устройств для регистрации ЭЭГ медицинского и потребительского назначения, различных вариантов исполнения, стационарные, портативные, проводные и беспроводные.

Для измерения очень малых потенциалов (5–100 мкВ) на коже головы используют как минимум два электрода и один общий (рис. 9). Общий электрод (земля) в идеале должен быть размещен в зоне, где не проявляется интересующая нас электрическая активность нейронов, обычно общий электрод размещают на мочках ушей, шее, носу. Общий электрод используется для уменьшения эффекта дрифта дифференциального усилителя [42]. При обработке сигнала также могут применяться фильтры для получения полосы частот, типичной для ЭЭГ, обычно 0.1–100.0 Гц, и для исключения помех электрической сети 50 и 60 Гц.

На практике для измерения используются влажные и сухие электроды. Влажные электроды изготавливаются из металла, их контакт с кожей головы обеспечивается с помощью геля или соляного раствора, которым смачиваются подушечки из поролона или войлока­. Сопротивление влажных электродов обычно составляет 5–20 КОм. Следует отметить, что сопротивление современных дифференциальных усилителей составляет порядка 100 МОм, поэтому изменение сопро-

33

Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/

Глава 3. Обработка сигналов ЭЭГ для ИМК

тивления участка электрической цепи кожа — электрод, например, на 30–50 КОм не оказывает влияния на качество измерения. Материал электродов же оказывает влияние на параметры измерения за счет эффекта поляризации.

Земля

Датчик 1

Усилитель Фильтры

Датчик 2

Электрические

Обработка

сигналов

Рис. 9. Функциональная схема измерения потенциалов на коже головы

Плюсом влажных электродов является хорошая проводимость, основной минус — долгое время монтажа. Отдельно нужно отметить системы, в которых применяются пропитанные соляным раствором подушечки, например Emotiv EPOC+ [43]. Для таких систем время монтажа значительно меньше, чем для систем с гелем.

Минимальное время монтажа — у сухих электродов (рис. 10). Однако и у них есть недостатки, проблемы с преодолением волосяного покрова, изменение параметров сопротивления кожи со временем изза давления электродов. У сухих электродов значительно большее сопротивление по сравнению с влажными — 200–2000 КОм.

Рис. 10. Фотографии сухих электродов

34

Регистрация сигналов активности головного мозга на поверхности головы

В 1959 году были установлены первые стандарты регистрации ЭЭГ. Наибольшее распространение получила международная система размещения электродов 10-20, 10-10 и 10-5 [44]. Наименование «10-20», например, говорит о том, что электроды располагаются вдоль центральной линии головы со значениями шага, равными 10, 20, 20, 20, 20 и 10 % от общего расстояния между носом и затылком. Остальные электроды также располагаются в позициях, соответствующих аналогичным долям расстояния, [45].

В электроэнцефалографах потенциал всегда измеряется между двумя электродами. Традиционно измерение, при котором один общий электрод (референтный электрод) расположен вдали от исследуемых источников тока ансамблей нейронов, называется референтным измерением. В референтной записи референтный электрод обычно располагается на мочках ушей, мастоидах или кончике носа. Иногда в литературе такой способ измерения называют монополярным, хотя, строго говоря, любое измерение потенциала является биполярным. Появление термина «монополярный» связано с тем, что в некоторых исследованиях применяется способ измерения потенциалов парами электродов над интересующей зоной электрической активности головного мозга. И такое измерение в литературе иногда выделяют как биполярное в противоположность «монополярному» с референтным электродом. Способы соотнесения сигнала электрода с референтным называются монтажом. Выделяют общий средний монтаж, лапласиан и другие. Собственно монтаж — это способ пространственной фильтрации сигналов.

В заключение раздела о регистрации сигнала ЭЭГ несколько слов о преобразовании аналогового сигнала в цифровой. Это предобразование выполняется АЦП. Существуют следующие параметры работы АЦП в энцефалографе:

‒разрядность и число уровней квантования,

‒динамический диапазон,

‒частота дискретизации.

Для АЦП с разрядностью k получаем 2k уровня квантования. При квантовании аналоговый сигнал округляется или происходит усечение до одного из возможных уровней. В связи с этим говорят об ошибке квантования. При округлении ошибка квантования равна 2–k – 1, при усечении ошибка больше и равна 2–k. Вводится понятие соотношения SNR сигнал – шум для ошибки квантования

35

Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/

Глава 3. Обработка сигналов ЭЭГ для ИМК

где A и Aошиб — амплитуда сигнала и ошибки соответственно. Если произвести расчеты, то из уравнения (1) видно, что каждый

дополнительный бит АЦП добавляет примерно 6 Дб к соотношению сигнал – шум.

Динамический диапазон U и младший значащий разряд dU связаны соотношением

U = dU 2k,

где dU — минимальное измеряемое напряжение, или разница между значениями напряжения двух последовательных уровней квантования; k — разрядность АЦП.

Частота дискретизации — это частота, с которой происходит преобразование аналогового сигнала в цифровой. Во избежание увязки фаз оцифровки и сигнала, принято частоту дискретизации устанавливать не менее 2.5 Fмакс, где Fмакс — максимальная частота регистрируемого сигнала ЭЭГ.

На примере беспроводного мобильного энцефалографа Emotiv EPOC+ прокомментируем значения параметров Emotiv EPOC+. Данные в столбце «Параметры» взяты с сайта производителя гарнитуры.

36

Предварительная обработка сигналов

Предварительная обработка сигналов

Назначение ИМК — регистрация сигналов головного мозга, распознавание намерений и функционального состояния человека и передача данных о состоянии и намерении исполнительным устройствам (механизмы, мультимодальные пользовательские интерфейсы) для взаимодействия с внешней средой.

Характеристики сигналов головного мозга, которые позволяют нам оценить функциональное состояние человека, его намерение, называются признаками. Когда мы говорим о характеристиках сигналов, то речь идет о характеристиках временны́х рядов, которые получаем в поцессе регистрации сигналов головного мозга. Эти временные ряды

37

Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/

Глава 3. Обработка сигналов ЭЭГ для ИМК

являются реализацией случайных шумоподобных процессов, которые могут обладать характеристиками стационарности на небольших участках, выделяющихся в сигнале; в ЭЭГ-анализе такие участки принято называть эпохами. По-другому эпохами можно назвать предварительно отобранные повторяющиеся участки эксперимента.

Шумоподобная природа сигналов связана с двумя факторами:

‒особенностями формирования сигналов головного мозга на поверхности головы;

‒сигналами, которые регистрируются на поверхности головы, но не связаны с наблюдаемыми процессами головного мозга.

Потенциалы на поверхности головы формируются источниками токов внутри головного мозга. Группы нейронов, начиная работать синхронно, образуют электрический диполь. В головном мозге одновременно может быть несколько источников тока; число и ориентация таких диполей со временем меняется. Эффект объемной проводимости приводит к тому, что на поверхности головы, в месте расположения электрода, мы получаем сложную сумму токов множества диполей.

Следует отметить, что существует множество электрических потенциалов, которые регистрируется на поверхности головы и по своей природе не связаны с источниками тока внутри головного мозга и в коре полушарий. Речь идет о потенциалах, связанных с работой сердца, движением глазного яблока, электрической активностью мышц шеи и лица. Кроме того, с электродов на поверхности головы электроэнцефалографом регистрируются потенциалы, связанные с работой электрической сети и электрических приборов.

Далее рассмотрим методы работы с артефактами. При описании методов обработки сигналов будут приведены примеры обработки данных в системе MNE-Python [46].

Фильтрация сигнала

Применение фильтров к сигналам ЭЭГ может иметь как положительные, так и отрицательные последствия. В начале любой работы с сигналом следует рассмотреть необходимость применения фильтров. При этом необходимо иметь в виду, что неправильно примененная фильтрация может привести к значительным искажениям информа-

38