71:07-3/168

Российская академия наук

ИНСТИТУТ ВЫСШЕЙ НЕРВНОЙ ДЕЯТЕЛЬНОСТИ И НЕЙРОФИЗИОЛОГИ

И

На правах рукописи

Иваницкий Георгий Алексеевич

Распознавание типа решаемой задачи по нескольким секундам ээг с помощью обучаемого классификатора

Диссертация на соискание ученой степени доктора биологических наук Научный консультант: член-корреспондент РАН A.M. Иваницкий

Специальность 03.00.13 - физиологи

я

Президиум ВАК Минобрнауки Росс^ми (решение от 200^г.

решил выдать диплом ДОКТО

(&/Л>гЛ • наук

МОСКВА-200

7Оглавление

71:07-3/168 1

Саша старше Васи и младше Пег» 22

Вася старше Пети ? 22

А. 56

Ритмы электроэнцефалограммы (ЭЭГ) были открыты создателем метода Гансом Берге­ром в первых же поставленных им опытах (Berger, 1929). Тогда Бергер обнаружил, что ам­плитуда ритмов ЭЭГ зависит, среди прочих условий, и от интеллектуальной нагрузки испы­туемого. Сохранилась одна из первых в истории энцефалографии записей, сделанная во вре­мя решения 14-летней Илзе Бергер арифметической задачи (196:7). На записи хорошо видна депрессия альфа-ритма (рис. 1). В последующие десятилетия проводилось множество иссле­дований, направленных на выявление физиологических коррелятов ритмов мозга, в частно­сти, выяснения их роли в когнитивной деятельности.

Настоящая работа посвящена изучению взаимосвязи выполняемых человеком мысли­тельных операций и ритмов мозга тета, альфа и бета диапазонов. Особенность работы состо­ит в том, что в качестве инструмента анализа полученных данных использована обучающая­ся искусственная нейросеть. В соответствии с этим, литературный обзор поделен на две час­ти - касающуюся функциональной роли ритмов мозга и касающуюся применения нейросете- вых алгоритмов в нейрофизиологических исследованиях. ,

N. Nieikmuyer / International Journal of Psychophysioloxy 26 (1997).?/ - 44 15

Fig. 2. Hans Burger's 14-year-uld daughter Use calculating (1% + 7). Note excellent alpha Mocking and alpha return at termination of the task. The bottom trace indicates lime in 0.1 s. With permission of Dr. P. Gloor and Elsevier Publishers.

Литературный обзор

Ритмы мозга и их функциональная роль

Основные гипотезы о функциональной роли ритмов мозга

Существует огромное количество научных данных, указывающих на связь параметров регистрируемых ритмов с теми или иными физиологическими, поведенческими, психологи­ческими особенностями исследуемого объекта - подопытного животного или человека. Пе­речисление всех описанных в мировой литературе результатов невозможно из-за огромного объема. Значительная часть работ носит описательный характер. В этом «феноменологиче­ском море» нам видятся «три острова» - три гипотезы о функциональной роли ритмов мозга, представляющиеся нам в наибольшей степени логически законченными. В соответствии с этими гипотезами, ритмы могут выполнять три взаимосвязанные функции:

1. Стробирование информационных потоков, т.е. их перевод в дискретное представле­ние во временной области. В физиологии сенсорных систем эту функцию часто назы­вают сканирующей.

2. Удержание частей информации в локальных структурах мозга в течение времени, не­обходимого для их сравнения и ассоциирования. По существу, это функция кратко­временной оперативной памяти. Удержание осуществляется ритмической ревербера­цией сигнала в замкнутых нейронных цепях с возбуждающими и тормозными связя­ми.

3. Объединение частной информации в единое целое, т.е. информационный синтез. Дан­ная функция осуществляется синхронизацией ритмов между локусами, хранящими (в соответствии с гипотезой 2) подлежащую объединению частную информацию.

Разумеется, указанные гипотезы не являются ни единственными, ни всеобъемлющими. Наиболее полно в их рамки укладываются результаты работ в области сенсорной физиоло­гии - прежде всего данные, полученные при изучении корковых механизмов зрения (Shev- elev et al., 2000; Dinse et at., 1997; Schanze & Eckhorn, 1997; Eckhorn et al., 2004; Engel & Singer, 2001; Tallon-Baudry, 2003). Однако нам кажется возможным распространить приве­денные гипотезы на большинство информационных процессов в мозге. Мозг представляет собой дискретный параллельный процессор, и ритмы - это, возможно, адекватный для тако­го процессинга, найденный эволюцией механизм.

Роль ритмов мозга в сенсорных процессах

Согласно данным многих авторов, осцилляции появляются в первичной сенсорной коре (слуховой, зрительной, соматосенсорной) в ответ на адекватный стимул. Этот эффект обна­ружен как при записи поверхностной ЭЭГ человека, так и при регистрации активности оди­ночных нейронов или групп нейронов непосредственно в коре головного мозга животных (Ва§аг е/ а/., 1975,1977; всЬОттапп ^ а!., 1997).

Динзе с соавторами (Бшве еГ а!., 1997) записывали реакцию нейронов зрительной коры кошки (поля 17,18,19), первичной слуховой коры кошки и первичной соматосенсорной ко­ры крысы на стимулы соответствующей модальности. Строились постстимульные гисто­граммы (ПСтГ) ответов. Обнаружено, что во всех случаях отклик нейрона состоит из двух компонент: главного, или прямого, ответа и осцилляторного ответа. Частота последнего бы­вает в пределах от 5 до 20 Гц, в зависимости от экспериментальных условий (модальности и параметров стимула и места регистрации). Главный ответ имеет постоянную (для данного нейрона) задержку относительно начала стимула, а его амплитуда зависит от параметров стимула и максимальна для адекватного стимула. Задержка первого пика осцилляторного ответа не постоянна. В случае предъявления последовательности стимулов осцилляторный ответ на новый стимул всегда попадает «в фазу» с осцилляторным ответом на предыдущий стимул. Иначе говоря, все вызванные осцилляции как бы представляют собой всплески од­ного процесса с постоянной фазой. Это может говорить о том, что осцилляции, вызванные стимулом в данном участке коры, синхронизованы с работой некоего гипотетического ло­кального водителя ритма, постоянно активного. Прочие параметры колебательного ответа (частота следования импульсов возбуждения, их количество в ответе) зависят от параметров стимула сложным, но закономерным образом; при этом зависимости амплитуды первого ос­цилляторного пика и амплитуды пика прямого ответа от параметров стимула часто оказыва­ются ортогональными.

Возникает вопрос: зачем нужен осцилляторный ответ? Динзе с соавторами выдвигают предположение, что прямой ответ отражает приход информации в сенсорную кору и ее пер­вичную активацию. Пространственное распределение первичных ответов отражает про­странственное распределение стимула (например, на сетчатке) и образует первичный сен­сорный паттерн в коре. Дальше перед нервной системой встает задача удержать пришедший паттерн в течение некоторого времени, интегрировать его части в целое, а также сравнить с предыдущими и последующими сенсорными паттернами, т.е. отследить динамику сенсорно­го входа. Динзе и его соавторы считают, что с помощью осцилляций, возникающих за счет локальных ревербераций (под управлением постоянно действующего пейсмейкера), при­шедший паттерн удерживается в первичной сенсорной коре в течение нескольких сотен мил­лисекунд. Все детали сенсорного паттерна удерживаются отдельно друг от друга, поскольку осцилляции в корковых колонках, отстоящих друг от друга более чем на 0,5 мм, не коррели­рованны. Удержание нужно для того, чтобы сенсорный паттерн мог быть обработан дальше, что требует определенного времени.

Работы других авторов говорят о том, что функция локальных осцилляций не исчерпыва­ется только удержанием информации. В реальных условиях информация о внешних воздей­ствиях приходит в первичную сенсорную кору непрерывно. Это могло бы привести к смазы­ванию информации - так что ее нельзя было бы обрабатывать дальше - если бы природой не был изобретен механизм дискретизации сенсорного входа во времени. Гипотеза о скани­рующей, или стробирующей, роли ритмов мозга выдвигалась многими авторами (Pitts & McCulloch, 1947; Шевелев и др., 1991,1997). Согласно этой гипотезе, входная информация разбивается на «кадры», которые затем удерживаются в сенсорной коре для последующей обработки - в соответствии с принципами дискретного процессинга, которым, очевидно, следует мозг.

Экхорн и Шанце (Eckhorn, 1993; Schanze & Eckhorn, 1997) записывали изменения ло­кального потенциала внеклеточным микроэлектродом от полей 17 и 18 зрительной коры ко­шек и обезьян. В ответ на адекватную стимуляцию наблюдалось кратковременное (длитель­ностью около 500 мс) увеличение мощности отдельных спектральных компонент записы­ваемого сигнала. В большинстве случаев на спектрах присутствовало два выраженных пика: в районе 10 Гц и в районе 40 Гц. Авторы исследовали фазовую зависимость двух частотных компонент и нашли, что высокочастотная и низкочастотная компоненты сенсорного отклика фазово-зависимы (это означает, что быстрые колебания всегда попадают в одну и ту же фазу медленных). Опираясь на концепцию кадрирования входного зрительного потока, авторы предлагают три гипотезы о возможном функциональном значении двух фазово-связных час­тотных компонент сенсорного отклика. По мнению авторов высокочастотная (40-герцовая) компонента соответствует первичному разбиению входной зрительной информации на кад­ры (первичному кадрированию), в то время как 10-герцовая компонента служит агрегатиро­ванию первичных кадров в более сложные информационные образования. Предлагаемые ав­торами статьи гипотезы отличаются предположениями о характере, назначении и способе объединения первичных кадров. Объединение первичных кадров происходит либо во време­ни, либо в пространстве, либо с иными информационными ресурсами мозга.

В первом случае каждые 4-5 первичных кадров объединяются в пакет, который дает обобщенное представление о зрительной картине за время около 100 мс. Последовательность пакетов соответствует 10-герцовому ритму. В дальнейшем мозг хранит и обрабатывает пре­имущественно обобщенные 100-миллисекундные кадры, а более подробные 25- милисекундные кадры используются лишь при совершении быстрых автоматических пове­денческих актов.

Во втором случае медленный ритм служит пространственному объединению локальных корковых ответов в обобщенный зрительный образ, размещенный на большом участке зри­тельной коры. Здесь авторы опираются на представление о том, что синхронизация ритмов в дистантных локусах коры означает их функциональную связь. У истоков этих представлений лежат работы российских ученых А.А.Ухтомского, М.Н.Ливанова, В.С.Русинова (Ливанов, 1972). Согласно Экхорну и Шанце, высокочастотный ритм не может служить для простран­ственного объединения, поскольку когерентность 40-герцовых ритмов не обнаружена на расстоянии больше нескольких миллиметров, что намного меньше протяженности представ­ления зрительного образа в коре. Напротив, когерентность низкочастотных ритмов обнару­живается между удаленными участками зрительной коры.

Вероятно, обе приведенные гипотезы могут быть совмещены, и 10-герцовые ритмы могут выполнять интеграционную функцию одновременно и во времени, и в пространстве.

Согласно третьему предположению Экхорна и Шанце, низкочастотный ритм может слу­жить дня интеграции сенсорного входа с информационными процессами в подкорковых структурах, прежде всего гиппокампе.

Итак, на основе процитированных литературных данных мы действительно убеждаемся, что в сенсорной коре ритмы играют «триединую» функцию: (а) перевода информации в дис­кретное представление во временном измерении, (б) оперативного удержания информации в местах ее обработки и (в) интеграции частей информационных паттернов в целое. Как уже было сказано, нам представляется разумным предположить, что ритмы мозга выполняют указанные три функции и в общем случае, в ходе информационных процессов в различных структурах мозга. Литературные данные о связи ритмов с памятью, вниманием, эмоциями, абстрактным мышлением подтверждают такое предположение. Данная точка зрения под­тверждается и модельными исследованиями на осцилляторных вычислительных схемах (Во- risyuk, 2000; Hoppensteadt & Izhikevich, 1996).

Роль ритмов мозга в процессах внимания и памяти

В. Климеш (Klimesch, 1997) связывает ритмы альфа-диапазона с процессами памяти и внимания. Этот автор, наряду с множеством других авторов, считает, что альфа-диапазон должен быть подразделен на два поддиапазона и что ритмы верхнего и нижнего альфа- поддиапазонов различны по происхождению и функциональной роли. Граница между под­диапазонами, как и пределы всего альфа-диапазона, индивидуальны, и автор предлагает ори­гинальную методику для их определения. С помощью метода «десинхронизации, связанной с событием» (ERD - Pfurtscheller & Lopes da Silva, 1999) В. Климеш обнаружил, что уменьше­ние амплитуды ритмов нижнего альфа-диапазона связано с фазическим вниманием (т.е. вни­манием, адаптивно изменяющимся и переключающимся под действием стимула). Поскольку фазическое внимание важно для контекстного запоминания, то при выполнении заданий, требующих активации эпизодической памяти, также наблюдается десинхронизация ритмов «нижнего альфа». Далее, автором показано, что у больных болезнью Альцгеймера при вы­полнении заданий на эпизодическую память амплитуда «нижнего альфа» практически не уменьшается, в отличие от амплитуды ритмов «верхнего альфа». Ритмы верхнего альфа- диапазона автор ассоциирует с процессами семантической памяти - активация этого вида памяти приводит к десинхронизации указанных ритмов. Все перечисленные результаты со­ответствуют клиническим наблюдениям, согласно которым у больных болезнью Альцгейме­ра имеют место, прежде всего, нарушения внимания и эпизодической памяти - при относи­тельной сохранности семантической памяти и узнавания. Помимо десинхронизации ритмов «нижнего альфа», задания на эпизодическую память (у здоровых) приводят к уменьшению амплитуды верхнего тета-ритма. Задания, вовлекающие только память узнавания, приводят, помимо десинхронизации «верхнего альфа», и к десинхронизации нижнего бета-ритма. Бета- ритм и верхний альфа-ритм являются корковыми ритмами (Lopes da Silva, 1991; Klimesch, 1997). Нижний альфа-ритм и тета-ритм связаны с подкорковыми структурами: тета-ритм с гиппокампом (Симонов, 1981; Miller, 1991), а нижний альфа-ритм - с таламусом (Lopes da Silva et al., 1980). Это соответствует данным о том, что семантическая память морфологиче­ски связана с периринальной корой, а процедурная (эпизодическая) - с гиппокампом (Var- gha-Khadem et al., 2001).

Идея о связи параметров альфа-ритма с памятью разрабатывается также на протяжении ряда лет сотрудниками Института психологии РАН А.Н. Лебедевым и его коллегами (Лебе­дев и др., 2002). В соответствии с гипотезой Лебедева емкость кратковременной памяти оп­ределяется количеством дискретных частот в альфа-диапазоне. Каждая дискретная альфа- компонента на реверберацияонной основе удерживает в кратковременной памяти один эле­мент информации. Однако, рабочие частоты не могут располагаться друг к другу очень близко. Наименьшее расстояние между информационными компонентами альфа-ритма Ле­бедев назвал «частотной рефрактерностью». И.В. Мальцева и Ю.П. Маслобоев (Maltseva & Masloboev, 1997) предложили конкретные методы для оценки величины «частотной рефрак- терности» и, соответственно, ожидаемой емкости кратковременной памяти. Поставленные психофизиологические эксперименты с регистрацией ЭЭГ показали хорошее согласование экспериментального и теоретически ожидаемого объема кратковременной памяти.

К. Таллон-Бодри, О. Бертран и их коллеги (Tallon-Baudiy et al., 2001; Tallon-Baudry, 2003) изучали осцилляции, вызванные предъявлением «когерентных» зрительных стимулов, с уче­том мнестических процессов. Под «когерентными» понимались стимулы, состоящие из не­скольких простых, но взаимосвязанных элементов. Эксперименты были проведены на боль­ных эпилепсией и на здоровых испытуемых. В первом случае больным с диагностической целью в затылочную и теменно-височную кору вводили интракраниальные игольчатые элек­троды, которые были использованы и для психофизиологических экспериментов. Во втором случае измерялась поверхностная ЭЭГ. Авторы обнаружили выраженный гамма-ответ (25-45 Гц) на предъявление зрительных стимулов и синхронизацию бета-активности (15-20 Гц) ме­жду затылочной и теменно-височной областями коры при выполнении заданий, требующих запоминания зрительного образа. Примечательно, что при регистрации от поверхностных и глубинных электродов данные оказались различными. Глубинные электроды регистрировали тоническую гамма-активность во все время предъявления стимула. Эта гамма-активность в общем случае не была синхронна между теменно-височной и затылочной областями коры. Межзональная синхронизация наблюдалась на частотах бета-диапазона в те интервалы вре­мени, когда больной (он же испытуемый) должен был удерживать предъявленный стимул в памяти (для его последующего сравнения с другим стимулом). При этом межзональная син­хронизация бета-ритма имела место практически без увеличения его амплитуды в каждом из отведений. С другой стороны, при регистрации поверхностной ЭЭГ как в затылочном, так и в теменно-височном отведении, наблюдалась короткая вспышка гамма-колебаний в интерва­ле 230-330 мс от начала предъявления стимула и тоническая бета-активность во время удер­жания стимула в памяти. Таким образом, временной ход межэлектродной синхронизации ритмов бета-диапазона при интракраниальной регистрации соответствовал временному ходу бета-активности при поверхностной регистрации в единичном отведении. На основании это­го факта и исходя из условий, при которых возможна поверхностная регистрация ритмов (с учетом объемной проводимости тканей), авторы приходят к важному выводу: поверхностно регистрируемый ритм всегда отражает синхронизацию между локусами коры, участвующи­ми в обработке информации, причем это справедливо и когда ритм регистрируется лишь в отдельном отведении. Тогда ритм отражает синхронизацию близко расположенных участков. По мнению К. Таллон-Бодри, в тех случаях, когда происходит сравнение зрительного образа с образами памяти (в более общем случае, когда поток «снизу-вверх» от зрительного анали­затора сталкивается с потоком «сверху-вниз» из памяти, центров эмоций и внимания) синтез информации осуществляется на основе синхронизации ритмов. Здесь мы не можем не заме­тить еще раз, что это мнение не оригинально. Идеи, разработанные отечественной нейрофи­зиологической школой 30-40 лет назад (Ливанов, 1972) и получившие развитие во многих последующих работах российских ученых (Н.Е. Свидерской; А.М. Иваницкого; Г.Н. Болды­ревой; В.Б. Стрелец; Д.А. Фарбер; Р.И. Мачинской и др.), ныне становятся общепризнанны­ми на Западе.

Связь ритмов мозга с эмоциями

Данные многих авторов свидетельствуют о том, что мощность и частота ритмов тета и альфа диапазонов связаны с эмоциями. Характер изменений ритмического рисунка при эмо- циогенной нагрузке разнится в зависимости от экспериментальных условий и в значительной степени индивидуален.

И.Р. Илыоченок предъявляла испытуемым слова с одновременным легким ударом током на последнем слоге. В дальнейшем предъявление этих слов, нейтральных по своему значе­нию, было связано у испытуемых с отрицательной эмоциональной реакцией даже в отсутст­вии подкрепления. Негативная эмоция приводила к существенным перестройкам ритмов альфа-диапазона, но характер этих перестроек был индивидуален. Общим для всей группы испытуемых признаком негативной эмоциональной реакции было только увеличение мощ­ности верхнего тета-ритма в диапазоне 7,4-8,1 Гц (Илыоченок и др., 2001).

В другой работе тот же автор для создания у испытуемых эмоций определенной валент­ности предъявляла нейтральные, эмоционально-положительные и эмоционально- отрицательные слова (Ильченок, 1996) и получила схожие результаты. Изменения ритмов альфа-диапазона были выражены, но индивидуально-зависимы. В то же время, инвариантно относительно всех индивидов, при предъявлении положительно-эмоциональных слов повы­шалась относительная мощность тета-ритма в полосе частот 7-7,5 Гц, а при предъявлении отрицательно-эмоциональных - в полосе частот 7,5-8 Гц. Таким образом, ритмы, соответст­вующие разновалентным эмоциям, оказались разнесены по частоте. Топография тета- ритмических коррелятов эмоций была такова: наибольшие изменения наблюдались в лоб­ных, центральных и височных отведениях; симметрично при положительном эмоциональном восприятии и с преобладанием в правом полушарии - при отрицательном.

Данные И.Р. Илыоченок соотносятся с гипотезой H.H. Даниловой, которая сделала пред­положение о существовании системы, обусловливающей состояние тревожности, напряжен­ности, эмоционального дискомфорта. Активация этой системы приводит к увеличению ком­понента вызванного потенциала N150, которому соответствует резонансная частота 7-8 Гц (Данилова, 1985).

М.Б. Костюнина исследовала электрофизиологические признаки воспроизведения испы­туемыми эмоционально-окрашенных событий (Костюнина, 1998). Автор нашла, что эмоция радости приводит к повышению частоты главного пика альфа-ритма, в то время как эмоция горя - к ее понижению. Автор пишет, что «эмоция радости является стенической эмоцией, повышающей уровень активации мозга, а эмоция горя - астенической эмоцией, снижающей тонус коры. Соответственно, первая повышает частоту альфа-ритма, а вторая - понижает». Кроме того, в работе найдено, что все мысленно воспроизводимые эмоции приводят к появ­лению фокуса взаимодействия в левом виске (методика «внутрикорковых связей» А.М. Ива- ницкого и фокусы взаимодействия описаны, например, в работе: Иваницкий, 1993).

Связь ритмов мозга с процессами в лимбической системе

Некоторые авторы считают тета-ритм связанным с гиппокампом (Симонов, 1981; Miller, 1991). Гиппокамп входит в лимбическую систему, а лимбика связана с активацией, мотива­цией, влечением, которые, в свою очередь, связаны с эмоциями. Это может объяснить приве­денные в предыдущем параграфе данные И.Р. Ильюченок об увеличении тета-волн частотой 7-8 Гц в ответ на эмоциональные стимулы.

С другой стороны, данные Э. Башара и его коллег свидетельствуют о том, что некоторые компоненты альфа-ритма также могут быть связаны с лимбической системой, в частности с гиппокампом и ретикулярной формацией (Ba§ar et al., 1997). В работе показано, что в ответ на зрительный или слуховой стимул электроды над соответствующими участками коры (за­тылочные или теменно-височные) регистрируют выраженные короткие (протяженностью около 200 мс) вызванные альфа-вспышки. В ответ на неадекватный стимул такие вспышки не появляются (например, в затылочных отведениях - на звуковой стимул). Но в ответ и на адекватный, и на неадекватный стимул регистрируются отложенные на 300-400 мс вспыш­ки. Они хуже синхронизированы со стимулом и слабее по амплитуде. Авторы выдвигают ги­потезу, что прямые сенсорные входы идут через коленчатые тела в сенсорную кору и там индуцируют прямые альфа-вспышки. Одновременно коллатерали сенсорных входов идут в ретикулярную формацию, оттуда в гиппокамп, а оттуда в ассоциативную кору. В конечном итоге информация о стимуле доходит и до сенсорной коры всех модальностей, но опосредо­ванно, через лимбическую систему. В пользу гипотезы говорит, в частности, тот факт, что в экспериментах на животных регистрировали вызванные альфа-вспышки непосредственно в гиппокампе и в ретикулярной формации. Параметры отложенных альфа-вспышек могут, та­ким образом, отражать биологическую значимость стимула.

Здесь уместно отметить, что изложенные идеи Э. Башара перекликаются с концепцией «Круга ощущений» A.M. Иваницкого, хотя в этой концепции напрямую и не говорится о ритмических процессах (Иваницкий, 1976; Иваницкий и др., 1984).

Роль ритмов мозга в осуществлении моторных актов

С подготовкой и осуществлением моторных актов тесно связан мю-ритм, подробно опи­санный в литературе (например, Niedermeyer, 1997). Этот ритм имеет частоту около 10 Гц, аркоидную форму, регистрируется в центральных отведениях и блокируется движениями или подготовкой к движениям на контралатеральной стороне. С помощью плотной элек­тродной сетки, расположенной над моторной корой, удается выявить тонкую соматотопиче- скую картину десинхронизации мю-ритма при выполнении различных движений. Показано, что при активации определенной группы мышц, наряду с десинхронизацией мю-ритма над соответствующей областью моторной коры, наблюдается синхронизация этого ритма над другими областями той же коры: так, например, при движении ноги усиливается мю-ритм над областью руки. Мю-подобный ритм записывали также над дополнительной моторной корой - он блокировался во время планирования движений, в том числе мысленных, без ре­ального моторного акта (Pfurtscheller et al., 1997).

Ритмические паттерны при когнитивной деятельности

Множество работ посвящено связи ритмов мозга с когнитивной деятельностью. Исследо­валась ЭЭГ испытуемых при выполнении ими различных заданий. Полученные результаты оказались чрезвычайно разнообразны, что, возможно, связано с разнообразием процессов мозга, вовлеченных в мышление. В частности, память и внимание играют ключевую роль, но не являются единственными процессами при когнитивных актах. Исследовались активация областей мозга методом ERD (Pfurtscheller & Wimesch, 1992) и связь между ними на основе когерентного анализа ЭЭГ (Ливанов & Свидерская, 1984; Свидерская, 1987; Gevins et al., 1995; Petsche et al, 1997; Weiss et al, 2005) и метода внутрикорковых связей (Ivanitsky, 2000; Николаев и др., 2000); роль различных диапазонов ЭЭГ (Petsche et al., 1997; Fink et al, 2005); изменение частотных характеристик ЭЭГ сигнала (Яковенко & Черемушкин, 1996) и многое другое.

А.Р. Николаев, анализируя ритмический рисунок ЭЭГ и используя метод внутрикорко­вых связей, выделил этапы выполнения пространственной и вербальной задач испытуемыми (Николаев и др., 1994). Были найдены специфические изменения внутрикорковых связей, ко­торые соответствовали этапам решения. В тета- и альфа-диапазонах наблюдалось диффузное увеличение числа связей в обоих типах задач. В тета-диапазоне - в начале решения по срав­нению с контролем, а в альфа-диапазоне - в начале решения по сравнению с концом. Автор связывает эти два феномена с опознанием стимула и «первоначальной загрузкой» задания, что подразумевает увеличение внимания. Наиболее интересными, однако, оказались пере­стройки связей в бета-диапазоне частот. Они были локальными и имели характерную для каждого типа мышления топографию, объяснимую с точки зрения известных функций коры мозга. По мнению автора, перестройка связей в бета-диапазоне отражает собственно специ­фические процессы мышления - пространственное вращение и семантическое кодирование. Здесь очень важно отметить, что результат в бета-диапазоне был получен усреднением дан­ных по группе из нескольких десятков человек - при меньшем количестве усреднений дос­товерного результата не получалось. Это говорит о том, что найденные специфические рит­мические признаки типа выполняемых заданий были очень слабы и «тонули» в других рит­мических процессах мозга (выявляясь, однако, на большой статистической выборке). При этом автору удалось найти общие для всех индивидов закономерности изменения связей при разных типах мышления.

А.Я. Каплан и C.B. Борисов (Каплан & Борисов, 2003) исследовали сегментные характе­ристики альфа-ритма в покое и при когнитивной нагрузке. Принцип сегментного анализа ЭЭГ заключается в вы делении кратковременных переходных периодов между относительно однородными соседними участками ЭЭГ (Каплан, 1999). Сравнивались такие характеристи­ки квазистационарных сегментов, как средняя амплитуда огибающей, коэффициент ее внут­рисегментной вариации, продолжительность сегмента и крутизна межсегментного перехода. Найдено, что характер взаимных отношений между сегментными характеристиками (в пре­делах одного отведения) практически не зависит от наличия и типа когнитивной нагрузки. В то же время, обнаружены существенные и статистически достоверные различия в топогра­фическом распределении сегментных характеристик при разных видах когнитивной нагруз­ки. На основании полученных результатов авторы выдвигают гипотезу, что «когнитивная нагрузка сопровождается не разрушением ансамблей нейронной синхронизации, а лишь их преобразованием в совокупность более лабильных микроансамблей локальной синхрониза­ции, реализующих элементарные операции нервной деятельности соответствующего иерар­хического уровня». Здесь также приходится отметить, что в процитированной работе резуль­таты получены усреднением большого массива данных.

Искусственные нейросетн в нейрофизиологических исследованиях

История возникновения методологии искусственных нейронных сетей

Искусственная нейронная сеть (ИНС) представляет собой массив взаимосвязанных эле­ментов, каждый из которых в каждый момент времени обладает некоторой степенью акти­вации. Активный элемент способен влиять на степень активации других (связанных с ним) элементов посредством активирующих или тормозных воздействий. Элементы ИНС являют­ся аналогами нервных клеток естественной нейронной сети, а межэлементные связи - анало­гами возбуждающих и тормозных синапсов. Имея сходное с естественными сетями принци­пиальное строение, ИНС обладают и некоторыми свойствами естественных нейросетей - прежде всего, способностью к обучению и выделению в сигналах информационно емких признаков. Являясь инструментом параллельной взвешенной оценки одновременно многих параметров информационного сигнала, ИНС могут распознавать и классифицировать объек­ты с большой надежностью даже при значительном зашумлении входной информации. При- родоподобные свойства ИНС дают им преимущество над многими традиционными стати­стическими методами обработки и анализа данных.

Идейной платформой для создания концепции ИНС во многом послужили представления Д. Хебба об изменении эффективности синаптической передачи в случаях, когда активация синапса приводит к возникновению потенциала действия (т.н. хеббовское правило), и о роли этого явления в обучении, а также о роли временных нейронных сообществ (neuronal assem­blies) в процессах удержания и переработки информации (Hebb, 1949). Значительное идейное воздействие оказали также представления К. Лэшли о невозможности хранения энграммы в одиночном нейроне и распределенном характере памяти (Lashley, 1950). Построения Хебба и Лэшли были во многом умозрительными; эти ученые не предложили конкретных нейросете- вых алгоритмов.

По-видимому, первым, кто создал реально работающий нейросетевой алгоритм в виде программы для цифрового компьютера, был Ф. Розенблатт (Rosenblatt, 1958,1962). Алго­ритм, названный автором «перцептрон» (Perceptron), был реализован в нескольких вариан­тах. В классическом варианте он представлял собой простую сеть со слоем сенсорных дво­ичных элементов, связанных через передающие веса с одним суммирующим пороговым ре­шающим элементом. Такая сеть способна классифицировать исходную выборку векторов на два класса. Обучение сети происходит итеративно за счет адаптации весов связей. Перцеп­трон относится к сетям с контролируемым обучением (supervised learning). Работа таких се­тей состоит из двух частей - обучения и распознавания, причем во время обучения классы предъявляемых векторов известны, а во время распознавания обученная сеть классифициру­ет новые, не известные ей данные. Таким образом, вся память и все «знания» обученной сети содержатся в весах связей между ее элементами. Перцептрон является сетью с прямыми свя­зями (feed-forward network) и восходящими потоками активации.

Наиболее известные типы искусственных нейросетей

Ныне наиболее популярным алгоритмом ИНС является алгоритм с обратным распро­странением ошибки (error back propagation) при обучении (Rumelhart et al., 1986 а, б). Дан­ный вариант сети возник как результат развития идеи перцептрона. Так же, как и ее предше­ственник, это сеть с восходящими потоками активации и контролируемым обучением. Отли­чия от перцептрона состоят в возможности элементов принимать непрерывные значения ак­тивации, наличии нескольких слоев с любым количеством элементов в каждом слое и, что наиболее важно, в применении специального правила адаптации весов связей между элемен­тами внутренних слоев в процессе обучения. В соответствии с этим правилом веса между элементами выходного (решающего) слоя и первого снаружи внутреннего слоя вычисляются на основе величины рассогласования реального и желаемого выхода сети (так называемой невязки). Веса связей между элементами внутренних слоев вычисляются, в принципе, сход­ным образом, но в качестве невязки берется величина, которая получается путем обратного распространения ошибки рассогласования вниз по слоям с учетом степени активации эле­ментов, через которые проходит распространение. Иначе говоря, через активные элементы корректирующее воздействие распространяется в обратном направлении сильнее. Сеть "back propagation" (в отличие от перцептрона) способна усваивать выборку данных со сложной внутренней структурой, состоящую из объектов нескольких классов. В иных терминах, эта сеть способна в результате обучения найти сложные криволинейные поверхности разделения классов в многомерном пространстве признаков. Этим своим свойством сеть обязана при­сутствию в ней скрытых (внутренних) элементов (hidden units). Аналогом скрытых элемен­тов в реальных нейронных сетях являются вставочные нейроны. К сожалению, при большом числе внутренних слоев и скрытых элементов сети рассматриваемого типа демонстрируют неустойчивое поведение и склонность к попаданиям в локальные минимумы функции ошиб­ки (т.е., склонность к нахождению неоптимальных решений).

Упрощенным двухслойным вариантом сетей "back propagation" является ассоциатор пат­тернов (Pattern Associator - Rumelhart et al., 1986 б). Эта простая сеть чрезвычайно устойчива и в принципе не может попадать в локальные минимумы функции ошибки, что делает ее удобной в практическом применении; однако, она обладает худшими по сравнению с много­слойными сетями классифицирующими и обобщающими свойствами. Именно ассоциатор паттернов использован в качестве классификатора данных в настоящей диссертационной ра­боте.

Другие ИНС способны сами разбивать исходную выборку данных на классы - естествен­но, только в том случае, когда входные вектора их в действительности образуют. Такие сети могут «обучаться без учителя» и относятся к классу сетей с неконтролируемым обучением (unsupervised learning). Примером может служить «самоорганизующаяся карта» Т. Кохонена (Kohonen, 1995). Эта сеть предоставляет возможность проецирования многомерного про­странства признаков на пространство с более низкой размерностью. Сеть Кохонена в процес­се самообучения настраивает внутренние веса так, что схожие вектора, подаваемые на ре- цепторный слой элементов, приводят к активации близких областей двумерного выходного слоя.

Еще одним примером самообучающихся сетей является сеть Хопфилда (Hopfield, 1982). Д. Хопфилд обратил внимание на сходство полносвязной нейронной сети со спиновым стек­лом - физической системой, которая, будучи выведена из состояния равновесия, совершает колебания, а затем переходит (конвергирует) к одному из устойчивых состояний (аттракто­ру), отвечающему минимуму потенциальной энергии. Проведя аналогию между аттрактора­ми спинового стекла и следами памяти, Хопфилд пришел к выводу, что конвергенция явля­ется аналогом ассоциативного поиска информации. Сеть Хопфилда однородна и полносвяз­на, ее элементы по свойствам и архитектуре связей не подразделяются на рецепторы, скры­тые элементы и эффекторы. В ходе обучения сеть Хопфилда определяет и запоминает набор устойчивых эталонных состояний - аттракторов, в своей совокупности покрывающих свой­ства учебной выборки. При подаче в рабочем режиме на элементы сети (которые в этом слу­чае играют роль рецепторов) нового неизвестного паттерна сеть конвергирует к ближайшему аттрактору, тем самым определяя класс входного паттерна и одновременно предлагая обра­зец его типичного (эталонного) представителя. На практике сеть Хопфилда применяется для решения задач классификации или оптимизации. В последнем случае найденные сетью ат­тракторы служат оптимальными решениями в силу их энергетической минимальности.

Отметим, что самообучающиеся сети (например, сеть Кохонена) и перцептроны можно рассматривать с единой точки зрения. Первые являются автоассоциативной памятью, а вто­рые - гетероассоциативной памятью (Фролов & Муравьев, 1988).

Упомянем еще нейросетевую парадигму, применяемую для поиска решений, наилучшим образом удовлетворяющих набору внешних ограничений. Это так называемая «машина Больцмана» (Hinton etal., 1984; Rumelhart etal., 1986 б).

Применение ИНС для анализа ЭЭГиПСС

С ростом производительности компьютеров нейросетевые технологии находят все боль­шее применение в качестве инструмента анализа данных, в том числе научных. Обзор при­менения ИНС в биологии и медицине дан в статье (Miller et al, 1992), в клинической и экс­периментальной энцефалографии - в статье (Robert et al, 2002).

С наибольшим успехом ИНС применяются в клинической практике для распознавания патологических изменений ЭЭГ. Прежде всего, это определение разнообразных признаков эпилепсии, например, эпилептиформных разрядов (Webber et al, 1996; Gabor et al., 1996) или латерализованных вспышек тета-ритма (Walczak & Novak, 2001). Разработаны системы на основе ИНС, способные анализировать одновременно множество энцефалографических при­знаков этого заболевания и различать до 10 форм эпилепсии (Wilson, 2005).

ИНС применялись для определения по ЭЭГ признаков болезни Альцгеймера (Petrosian et al, 2001), депрессии (Mitra et al, 1996), алкоголизма (Klöppel, 1994), рассеянного склероза (Wu et al, 1994), шизофрении (Sveinsson et al., 1997), синдрома дефицита внимания и гипе­рактивности у детей (Heinrich et al, 2001) и многих других патологических состояний.

В сомнологии энцефалография является ключевым методом, и нейросетевые технологии показали свою эффективность в этой области. В экспериментах по разделению трех фаз сна у крысы с помощью ИНС вероятность правильной классификации достигала 95% (Robert et al., 1996). Определению с использованием ИНС и ЭЭГ фаз сна у человека посвящено несколькко работ. Примером успешного применения этой методики на практике может служить работа (Schaltenbrand et al., 1996).

Одной из актуальных областей клинической энцефалографии является определение по параметрам ЭЭГ степени нарушения сознания (от легких нарушений до комы) и выявление прогностически информативных ЭЭГ признаков (Болдырева, 2000; Шарова и др., 2001). В некоторой степени сходной с указанной является задача определения по ЭЭГ стадий и глу­бины наркоза. В обеих этих областях применение нейросетевых технологий может повысить надежность методов и сделать анализ данных более удобным и наглядным. Интенсивные экспериментальные исследования на собаках по определению глубины наркоза по ЭЭГ, в том числе с помощью ИНС и методов нечеткой логики, ведутся в последнее десятилетие в Медицинском колледже Олбани, штат Нью-Йорк, США (Huang et al., 1999; Zhang & Roy, 2001).

Еще одна область электроэнцефалографии, где были применены нейросетевые техноло­гии, это мониторинг уровня бодрствования, степени утомления и способности оператора к безошибочному исполнению производственных обязанностей. Определялась степень (по сравнению с контролем) дремотности у лиц, искусственно лишенных сна (Belenky et al., 1994), утомления у авиадиспетчеров (Gulati et al., 1995), тяжести временных нарушений соз­нания, вызванных острой интоксикацией или усталостью (Gevins & Smith, 1999), нарушения внимания у лиц с хронической интоксикацией, работающих во вредных условиях (Tuulik et al., 1997).

ИНС применялись не только для анализа и классификации ЭЭГ, но и вызванных потен­циалов и потенциалов, связанных с событиями (ПСС). Высокая помехоустойчивость ИНС позволила в экспериментах с парадигмой "oddball" классифицировать единичные кривые ПСС с надежностью 72% (Yylmaz et al., 1998). Как выяснили авторы, невысокая цифра про­цента правильной классификации отражает не столько недостатки метода, сколько реальное физиологическое явление. Усреднив ответы на девиантный стимул, неправильно распознан­ные нейросетью как ответы на стандартный стимул, авторы нашли, что в этих ответах в дей­ствительности отсутствовал компонент РЗОО. Этот пример показывает, как технология ИНС может расширить возможности анализа данных по сравнению с традиционными методами. В данном случае оказалось возможным выявить единичные ответы, в которых физиологиче­ская реакция на отклонение параметра стимула отсутствовала. Вычислив среднее от выбор­ки, очищенной от «неправильных» ответов, авторы получили усредненную кривую, более типичную для ответов на девиантный стимул.

ИНС применялись для отслеживания в реальном времени появления в ЭЭГ определенных графоэлементов, таких как К-комплексы (Bankman et al., 1992) или сонные веретена (Huuponen et al, 2000).

Две области применения ИНС, о которых пойдет речь в следующих параграфах, пред­ставляются нам особенно интересными и многообещающими. Это локализация токовых ис­точников и интерфейс мозг-компьютер.

Чисто математический подход к проблеме локализации источников не может дать адек­ватного решения проблемы, за исключением частного случая локализации высокоамплитуд­ных разрядов. Это обусловлено тем, что обратная задача энцефалографии не является строго математически определенной. Важно и то, что само предположение о существовании фикси­рованного числа точечных диполей является грубым упрощением реальной картины. В дей­ствительности одновременно в мозге существует огромное количество активных токовых диполей, но не все они вносят одинаковый вклад в поверхностно регистрируемый потенциал. Активных областей может быть несколько, каждая из них может иметь различную протя­женность, степень синхронизации нейронов и т.д. По нашему убеждению развитие метода должно идти в направлении поиска наиболее вероятных конфигураций дипольной активно­сти для наблюдаемых распределений поверхностного потенциала на основе обширной экс­периментально полученной базы знаний и априорных предположений о возможной физиоло­гической природе источников потенциала. Иначе говоря, решение проблемы должно лежать в области пересечения точных математических процедур и методов искусственного интел­лекта. Искусственные нейросети с их гибкостью, помехоустойчивостью, способностью обу­чаться на примерах могут стать эффективным инструментом в решении проблемы «интел­лектуальной» локализации источников. Применение ИНС несет с собой еще одно преимуще­ство: заранее обученная нейросеть в рабочем режиме находит решение мгновенно, без ите­раций. Работы в данной области уже ведутся, при этом большинство авторов отмечают, пре­жде всего, высокую эффективность нейросетей при работе с зашумленными сигналами (Abeyratne et al., 1991,2001; Yuasa et al., 1998; Van Hoey et al., 2000; Sun & Sclabassi, 2000).

Интерфейс мозг-компьютер (ИМК) позволяет управлять внешними устройствами «с по­мощью мысли», т.е. минуя моторные акты. Эта новая технология находит применение в двух сферах - медицинской и военной. В первом случае ИМК используется для управления сис­темами жизнеобеспечения (например, инвалидной коляской) обездвиженными пациентами и для связи таких пациентов с внешним миром. Во втором случае речь идет о быстром управ­лении современным оружием военнослужащими, перегруженными экипировкой. Принцип

действия систем ИМК основан на том, что человек учится произвольно управлять парамет­рами собственной ЭЭГ с помощью обратной связи, а аппаратно-программный комплекс от­слеживает эти изменения. В первых экспериментальных ИМК-системах отслеживались из­менения одного параметра, чаще всего амплитуды альфа-ритма (управлять этим параметром испытуемые научаются легче всего). Такая методика позволяет получить лишь одномерное управляющее воздействие, с помощью которого можно производить простейшие действия (например, включить сигнал вызова медсестры). Для управления более сложными устройст­вами необходимо использовать несколько параметров. Во многих системах ИМК их выби­рают произвольно и заранее, например, используют степень латерализации и амплитуду мю- ритма. Научиться управлять такими конкретными величинами могут далеко не все испытуе­мые. Целесообразно было бы выбирать для управления внешними устройствами разные па­раметры для разных людей, в соответствии с их «способностями». Также необходимо иметь в виду, что на практике разделить процесс обучения управлению исполнительными устрой­ствами и собственно их практическое применение сложно. Освоение системы идет в процес­се пользования. Таким образом, в основе программного обеспечения ИМК должны лежать адаптивные, интерактивные, интеллектуальные алгоритмы. Желательно, чтобы они исполь­зовали одновременно несколько параметров ЭЭГ, найденных из множества параметров как наиболее эффективные. Нам кажется, что ИНС максимально отвечают этим требованиям.

Группа исследователей из университета г. Грац, Австрия, под руководством Г. Пфюртшеллера в течение последних 13 лет занимается разработкой систем ИМК. В осно­ву методики положено измерение величины десинхронизации, связанной с событием, (ERD) при выполнении испытуемыми мысленных движений. Для обучения системы и дискримина­ции карт ERD используются ИНС (Pfurtscheller et al., 1992; Peltoranta & Pfurtscheller, 1994; Peters et al. 1998; Peters et al. 2001). Работы по созданию ИМК ведутся и в других лаборато­риях (Kaplan et al, 2005; Anderson et al, 1995; Fukuda et al., 1995; Penny & Roberts, 1999).

Методика

Испытуемые, характер предъявляемых задан и ход эксперимента

Было проведено две серии экспериментов.

В первой серии, проведенной в 1993 г. в Лаборатории функций мозга в Кавасаки, Япония, было поставлено 4 предварительных исследования на 4 испытуемых (для отладки методики) и 5 основных исследований, в которых приняли участие 5 здоровых праворуких испытуемых мужского пола в возрасте от 21 до 42 лет (средний возраст 32 года). Испытуемые были сту­дентами технического университета или инженерами-электриками. Во второй серии, прове­денной в 1997 г. в ИВНД и НФ РАН, было поставлено 11 предварительных исследований на 8 испытуемых и 29 основных исследований на 13 здоровых праворуких испытуемых муж­ского пола в возрасте от 24 до 42 лет (средний возраст 33 года). Испытуемые были испытате­лями Института медико-биологических проблем - участниками многомесячного экспери­мента по влиянию антиортостатической гипокинезии на организм человека. В наших опытах они приняли участие до и после курса гипокинезии.

В первой экспериментальной серии испытуемым предъявляли на экране монитора задачи двух типов - арифметические и пространственные, примеры которых показаны на рис. 2. В арифметической задаче нужно было произвести в уме два умножения, запомнить промежу­точные результаты и затем сложить их; в пространственной - найти из трех фигур ту, кото­рая дополняет заданную фигуру до квадрата, произведя в уме сдвиг, вращение и масштаби­рование фигур. Задачи предъявляли в случайной последовательности с интервалами, равно­мерно случайно распределенными в пределах от 15 до 20 с. Испытуемые сидели в кресле в темном помещении. Экран монитора находился на расстоянии 1,5 м от их глаз, уровень яр­кости изображения был минимальным. Решив задачу, испытуемый произносил вслух ответ (полученное число или цвет найденной фигуры) и после этого нажимал кнопку пальцем пра­вой руки. Задача оставалась на экране во все время ее решения, изображение исчезало после нажатия кнопки; время решения не было ограничено. Систематического контроля правиль­ности решения в ходе эксперимента не вели. Всего в каждом исследовании было предъявле­но по 70 задач каждого типа. Перед началом опыта проводили тренировочную серию, кото­рую продолжали, пока испытуемый не начинал решать задачи достаточно уверенно.

Во второй экспериментальной серии было также два типа задач, примеры которых пока­заны на рис. 3. Вместо арифметических использовались вербально-логические задачи, а про­странственные задачи были несколько изменены. Для каждого из двух типов были составле­ны простые и трудные варианты задач. В вербально-логических задачах нужно было опреде­лить, имеется ли противоречие между двумя фразами, причем в трудных задачах вербально­го типа фразы были более сложными и включали отрицания. Пространственные задачи были принципиально такими же, как и в первой серии экспериментов. Отличие состояло в том, что в простых задачах нужно было сделать выбор из двух фигур, а не из трех, и не нужно было производить масштабирование. В трудных задачах, как и прежде, фигур для выбора было три и требовалось выполнить их масштабирование. Последовательность задач была случай­ной, интервалы меяаду предъявлениями задач также были случайными в пределах от 5 до 9 с. В исследованиях предъявляли либо по 75 простых задач каждого типа, либо по 60 простых и по 20 трудных задач каждого типа (в последнем случае трудные задачи были случайным об­разом включены в поток простых задач). Испытуемые располагались в кресле в темной элек­трически экранированной камере. Экран находился в 2,5 м от них. В ходе всего исследова­ния вели контроль правильности решения задач. Время решения было ограничено 20 с - если в течение этого времени ответа не было, то задание убиралось с экрана. Перед началом ис­следования проводили тренировочную серию из такого числа задач каждого типа, какое бы­ло нужно для уверенного решения их испытуемым (обычно около 20 задач каждого типа).

Во второй серии экспериментов особое внимание было уделено уравниванию физических свойств стимула, сложности задач и характера ответа испытуемых для задач разного типа. Была уравнена средняя яркость изображений с задачами, а также степень заполнения ими экрана; в задачах обоих типов не использовался цвет. Путем подбора сложности задач в ходе предварительных экспериментов было уравнено среднее время их решения для разных ти­пов, причем это было сделано раздельно для простых и трудных задач. В обоих типах задач испытуемый давал ответ без его произнесения, двигая джойстик пальцем правой руки. В ло­гических задачах движение вправо означало отсутствие противоречия между фразами ("все правильно"), движение влево - наличие противоречия. В пространственных задачах направ­ление движения джойстика соответствовало положению нужной фигуры на экране.

Во второй экспериментальной серии 12 из 13 испытуемых приняли участие в одном или нескольких повторных исследованиях. Трое приняли участие в исследовании повторно через несколько дней после первого исследования и затем еще через 3 месяца, один - через не­сколько дней и через 6 месяцев, двое - только через 3 месяца, шестеро - только через 6 меся­цев. Семеро испытуемых решали только простые задачи; для шестерых других испытуемых в поток простых задач в повторных исследованиях были включены трудные задачи.

гн гч .о / / V V.-1 Г »' у V*	4	[
6x4	4

Рис. 2. Примеры заданий двух типов в первой экспериментальной серии. В арифметической задаче нужно произвести в уме два умножения и одно сложение и сказать ответ. В пространственной - най­ти пару к фигуре, цвет которой задан меткой слева, и назвать ее цвет. Парная фигура после ее враще­ния, смещения и масштабирования должна дополнить опорную фигуру до квадрата. Правильные от­веты для данных примеров: 717, зеленый.

Саша старше Васи и младше Пег»

* ^х А

Вася старше Пети ?

Саша младше Пети и не младше Васи

Петя не старше Саши и не старше Васи ?

Рис. 3. Примеры заданий во второй экспериментальной серии. В вербально-логической задаче нужно определить, правильно ли второе утверждение. В пространственной - найти пару к светлой фигуре. Во всех случаях ответ дается движением джойстика. Верхний ряд - стандартные задачи; нижний - задачи повышенной сложности. Правильные ответы для данных примеров: нет, правая; нет, левая.

Регистрация данных

В первой экспериментальной серии на протяжении всего исследования вели запись ЭЭГ от 21 электрода, которые были расположены по системе 10-20 (Fpl, Fp2, F3, F4, СЗ, С4, РЗ, Р4,01,02, F7, F8, ТЗ, Т4, Т5, Т6, Fpz, Fz, Cz, Pz, Oz), с референтным электродом на мочке правого уха и электродом заземлением в вертексе. Использовали хлорсеребряные электроды, которые ставились на электродную пасту под легкую эластичную сетку. Усиление произво­дили с помощью усилителя биоэлектрических потенциалов с цифровым управлением фирмы Biotop, Япония. Помимо биопотенциалов мозга записывали электромиограмму (ЭМГ) мышц рта от пары электродов, расположенных выше и ниже угла рта, электроокулограмму (ЭОГ) от пары электродов, косо расположенных относительно правого глаза, и технические каналы, в которых отмечались время присутствия заданий на экране, их тип и момент нажатия на кнопку. Чувствительность усилителя для каналов ЭЭГ была 100 мкВ, ЭОГ - 500 мкВ, ЭМГ - 500 мкВ; полоса частот усилителя, соответственно, 0,5-50 Гц, 1,5-50 Гц и 5-100 Гц. Данные со всех каналов непрерывно записывали на 32-канальный магнитограф фирмы ТЕАС. В по­следующем их оцифровали с помощью 12-разрядного АЦП L-152 с частотой опроса 200 Гц и поместили на жесткий диск персонального компьютера.

Во второй экспериментальной серии вели запись ЭЭГ от 19 электродов, расположенных по системе 10-20 (Fpl, Fp2, F3, F4, СЗ, С4, РЗ, Р4, Ol, 02, F7, F8, ТЗ, Т4, Т5, Т6, Fz, Cz, Pz), с референтным электродом на мочке левого уха и электродом заземления в вертексе. Исполь­зовали электродную шапочку с залуженными железными электродами и гель фирмы Electro- Cap, США, и усилитель МВА-32 фирмы Medicor, Венгрия. Помимо биопотенциалов мозга записывали два канала ЭОГ от двух пар электродов, расположенных перпендикулярно друг к другу (выше/ниже и справа/слева от левого глаза), и один технический канал, в который по­мещались идентификационный номер задачи и информация о времени предъявления и сня­тия стимула, правильности решения и о том, уложился ли испытуемый в отведенное время. Чувствительность усилителя для каналов ЭЭГ была 100 мкВ, ЭОГ - 500 мкВ; полоса частот 0,3-70 Гц. Данные оцифровывали в реальном времени с помощью АЦП L-152 и непрерывно записывали на жесткий диск персонального компьютера. Частота опроса в первых исследо­ваниях второй серии была 256 Гц. Обработка данных, полученных в этих исследованиях, была проведена с использованием как всех временных отсчетов, так и каждого второго от­счета, что эквивалентно уменьшению тактовой частоты вдвое. При этом разницы в результа­тах обработки не наблюдалось, что, видимо, связано с относительно низкой мощностью сиг­нала в верхней части спектра. В последующих исследованиях, в целях экономии места на жестком диске, использовали частоту опроса 128 Гц.

Отбор данных и отстройка от артефактов

Из непрерывной записи ЭЭГ с помощью специальной полуавтоматической программы вырезали отрезки, соответствовавшие решению задач в уме. В первой серии брали отрезки от момента 0,5 с после предъявления задания до первого движения губы при ответе. Во второй серии это были отрезки от предъявления задания до движения джойстика. В первой серии вырезали также отрезки длиной от 6 до 12 с, предшествовавшие предъявлению стимула и соответствовавшие ожиданию испытуемым нового задания. Все полученные отрезки ЭЭГ визуально проверяли на наличие в них артефактов, отличных от глазодвигательного, напри­мер мускульного или связанного с разрядом поляризованного электрода. Загрязненные арте­фактами отрезки отбраковывались. От глазодвигательного артефакта (ГДА) отстраивались с помощью процедуры, идея которой почерпнута из ((Зтайоп а а!., 1983). В этой процедуре сначала из общего массива записи ЭЭГ выбирают короткие отрезки, содержащие выражен­ные движения глаз и мигательные движения, но не артефакты другого сорта. Совокупность отобранных таким образом данных служит для вычисления коэффициентов линейной рег­рессии между значениями потенциала в каждом из каналов ЭЭГ и в канале ЭОГ. Исходные записи очищают от ГДА путем вычитания из сигнала ЭЭГ сигнала ЭОГ, помноженного на соответствующие канальные коэффициенты. В этой простой форме метод дает хорошую от­стройку от ГДА при простых движениях глаз вдоль одного направления. В случае более сложного движения глаз (например, когда при мигании глаза опускаются по одной траекто­рии, а поднимаются по другой, что встречается у некоторых испытуемых) простой метод не обеспечивает полной отстройки и нужно применять его усложненный вариант с регистраци­ей двух каналов ЭОГ от перпендикулярно расположенных пар электродов. Далее строится двумерная линейная регрессия каждого канала ЭЭГ на два линейно независимых канала ЭОГ. В этом случае в ходе очистки записей из каждого канала ЭЭГ вычитают соответст­вующую данному каналу линейную комбинацию каналов ЭОГ. В простом варианте (одна пара электродов) процедура была применена в первой серии опытов; в более сложном (две пары электродов) - во второй. Подробное описание процедуры отстройки от ГДА дано в Приложении.

Формирование обучающей и контрольной выборок данных для целей классификации

Полученные электроэнцефалографические данные подвергали классификации по типу решаемых задач. Эту процедуру проводили раздельно для разных испытуемых с помощью обучаемого классификатора, описание которого дано в соответствующем разделе. Получен­ные от каждого испытуемого данные разбивали на обучающую и контрольную выборки. В первой экспериментальной серии каждый испытуемый принял участие в одном исследова­нии. Разбиение полученных при этом данных на две выборки проводили двумя способами: 1) отрезки ЭЭГ, соответствовавшие задачам с четными номерами, составляли обучающую вы­борку, а с нечетными - контрольную; 2) отрезки ЭЭГ, полученные в первой половине экспе­римента, составляли обучающую выборку, а во второй половине - контрольную. Во второй серии экспериментов некоторые испытуемые приняли участие в нескольких исследования; некоторым из этих испытуемых были предъявлены для решения задачи повышенной трудно­сти. Разбиение данных на обучающую и контрольную выборки осуществляли одним или не­сколькими из следующих способов: 1) данные одного эксперимента, соответствовавшие ре­шению простых задач, разбивали случайным образом на две половины, одна из которых ста­новилась учебной, а другая - контрольной выборкой; 2) данные, соответствовавшие простым задачам, образовывали учебную выборку, а соответствовавшие сложным задачам из того же эксперимента - контрольную. 3) данные одного эксперимента, соответствовавшие простым задачам, образовывали учебную выборку, а аналогичные данные, полученные в повторном эксперименте, - контрольную; 4) данные одного эксперимента, соответствовавшие простым задачам, образовывали учебную выборку, а данные, соответствовавшие сложным задачам и полученные в повторном эксперименте, - контрольную.

Предобработка

На вход обучаемого классификатора подавали не сами электроэнцефалографические кри­вые, а наборы чисел, полученные в результате предварительной обработки отрезков ЭЭГ и описывающие их свойства. Основным методом предобработки было вычисление спектров мощности единичных реализаций ЭЭГ сигнала (более конкретно - квадратов модуля быст­рого преобразования Фурье, БПФ) для каждого электрода в заданном диапазоне частот. Вре­менное окно БПФ имело длительность 20,48 с (в первой серии исследований) или 16 с (во второй серии). В случае, когда длина окна была больше времени решения задачи, липшие временные отсчеты дополняли нулями, в противном случае отбрасывали начало отрезка ЭЭГ. Полученные спектры сглаживали простым трехточечным фильтром в три прохода. На стадии обработки использовали только 14 каналов ЭЭГ из 21 или 19 первоначально записан­ных - переднелобные электроды Ер1 и Рр2 и электроды вдоль средней линии С г, Ог не использовали. Таким образом, в результате предобработки каждый отрезок ЭЭГ ока­зывался представлен набором из четырнадцати спектров единичных реализаций сигнала в разных каналах. Такой набор описывал распределение ритмов ЭЭГ по поверхности скальпа, характерное для заданного отрезка времени, и состоял из Ы т чисел, где Ы- число каналов, а т - количество спектральных отсчетов в заданном частотном диапазоне. Вектора длиной Ы-т, которые мы называли входными паттернами, служили входами обучаемого классифи- каюра в основном варианте анализа данных. В других вариантах анализа на вход классифи­катора подавались вектора (наборы чисел), полученные в результате дополнительной обра­ботки спектров мощности. В ходе этой дополнительной обработки происходила дальнейшая редукция содержащейся в исходных записях ЭЭГ информации, и, соответственно, вектора получались меньшей длины (чем в случае использования непосредственно спектров). Реду­цированные вектора либо описывали отрезки ЭЭГ в более обобщенном (и, соответственно, менее детализированном) виде, либо отражали лишь их определенные свойства. Методы до­полнительной обработки спектров мощности, примененные в первой серии экспериментов, приведены в табл. 1 (№№ с 1 по 5), а примененные во второй серии - в табл. 2 (№№ с 1 по 3). В качестве №6 в табл. 1 и №4 в табл. 2 дан основной метод предобработки - вычисление квадрата модуля БПФ единичных реализаций ЭЭГ в диапазоне частот 5-20 Гц. Степень ре­дукции исходной информации уменьшается с ростом номера метода, а количество чисел, ко­торыми описывается отрезок ЭЭГ, увеличивается.

Таблица 1. Методы предварительной обработки отрезков сигнала ЭЭГ в первой серии экспери­ментов. №	Описание метода предобработки	Кол-во парамет­ров, описываю­щих отрезок ЭЭГ
1	Общая (суммарная по всем каналам) мощность отрезка ЭЭГ в диапазоне 5-20 Гц.	1
2	Общая мощность отрезка ЭЭГ в диапазонах 9, а, и р (5-8,8-13, 13-20 Гц).	3
3	Распределение мощности по каналам (карта мощности) в диапа­зоне 5-20 Гц.	14
4	Распределения мощности по каналам (карты мощности) в диапа­зонах 8, а, и 3.	42
4'	То же, что №4, но каждая карта нормирована на свое максималь­ное значение.	42
5	Коэффициенты кросс-корреляции между каналами в диапазонах 9, а, и р.	273
6	Квадраты модуля преобразования Фурье от отрезка ЭЭГ (еди­ничные спектры) в диапазоне 5-20 Гц для всех каналов.	4326

Таблица 2. Методы предварительной обработки отрезков сигнала ЭЭГ во второй серии экспери­ментов. №	Описание метода предобработки	Кол-во парамет­ров, описываю­щих отрезок ЭЭГ
1	Мощность в альфа-диапазоне, усредненная по выбранным отве­дениям, в которых при классификации по альфа-диапазону клас­сификационные веса превышают величину их удвоенного стан­дартного отклонения.	1
2	Бинаризованные карты наличия выраженного альфа-пика. В тех каналах, где в спектрах мощности в альфа-диапазоне присутству­ет пик, превосходящий среднее значение спектральной мощности в альфа диапазоне в 1,7 раза, выставляется 1, в остальных кана­лах выставляется 0.	14
3	Бинаризованные и усредненные по отведениям спектры альфа- диапазона. В каждом канале спектральная кривая заменяется на кривую, состоящую из прямоугольного импульса единичной вы­соты и шириной в 1 Гц, центрированного относительного главно­го альфа-пика, и нулевых значений для всех остальных частот (бинаризованный спектр). Затем бинаризованные спектры усред­няются по отведениям, в которых при классификации по альфа- диапазону классификационные веса превышают величину их уд­военного стандартного отклонения.	80
4	Спектры мощности (квадраты модуля БПФ) единичных реализа­ций ЭЭГ в частотном диапазоне 5-20 Гц для всех каналов.	3374

В результате применения метода №1 предварительной обработки сигнала в первой экс­периментальной серии (табл. 1) отрезок ЭЭГ описывается максимально грубо только одним параметром - полной мощностью сигнала в широком частотном диапазоне. Метод №2 дает грубое частотно-мощностное описание отрезка ЭЭГ (с точностью до общепринятых диапа­зонов тета, альфа и бета) без учета топографии. Метод №3 дает описание топографического распределения мощности без учета частотной информации. Метод №4 дает описание топо­графии мощности и (грубо) частотного распределения мощности. Метод №4' исключает влияние мощности на описание отрезка ЭЭГ, переводя его целиком в пространство частота- топография. Метод №5 дает описание коррелированности сигнала ЭЭГ в разных отведениях в грубом частотном приближении. Более коротко, метод №1 описывает сигнал только по мощности, №2 - по мощности и частоте, №3 - по мощности и топографии, №4 - по мощно­сти, топографии и частоте, №4' - по топографии и частоте, №5 по степени коррелированно­сти сигнала в разных отведениях и частоте. При этом во всех вышеперечисленных случаях описание по частоте - грубое (с точностью до диапазонов). Наконец, метод №6 дает полное и детальное описание сигнала по всем параметрам - частоте, мощности и топографии.

Во второй экспериментальной серии метод дополнительной обработки №1 дает описание сигнала ЭЭГ по средней мощности ритмов альфа-диапазона в тех отведениях, где эти ритмы заметно отличаются в двух когнитивных модальностях (без учета топографических и тонких частотных свойств этих ритмов), метод №2 сводит описание сигнала к описанию топографии распределения наиболее выраженных ритмов альфа-диапазона (без учета их частоты и абсо­лютных значений мощности), а метод №3 - к усредненному описанию частоты главного ритма альфа-диапазона (без учета его мощности и топографии). Следует отметить, что в ме­тодах №2 и №3 не просто происходит отсечение информации о параметрах сигнала в двух из трех его основных измерений (мощность, топография или частота), но производится более прицельная редукция исходных данных, а именно свойства сигнала заменяются топографи­ческими или частотными свойствами немногих (или, вообще, одного) наиболее выраженных ритмов в альфа-диапазоне. Основной метод предварительной обработки сигнала (представ­ление отрезка ЭЭГ 14-ю спектрами мощности) дает максимально подробное описание сигна­ла по мощности, частоте и топографии.

Распознавание типа данных с помощью обучаемого классификатора

В представленной работе проводили классификацию паттернов, полученных в результате предварительной обработки отрезков ЭЭГ, по типу мыслительной деятельности испытуемо­го. Классификацию осуществляли с помощью обучаемого классификатора, в качестве кото­рого использовали либо двухслойную нелинейную нейросеть с обучением по дельта- правилу, описанную в (Rumelhart, 1986 б) под названием "The Pattern Associator", либо сис­тему линейных уравнений. Классификатор обучали на учебной выборке данных, после чего проводили распознавание типа выполняемой мыслительной операции по единичным реали­зациям ЭЭГ из контрольной выборки. Обучение классификатора и распознавание новых данных проводили раздельно для каждого испытуемого.

Искусственная нейросеть

Искусственная нейросеть упомянутого типа состоит из двух слоев элементов - нижнего входного и верхнего выходного - и взвешенных связей между ними (рис. 4). На каждом шаге работы сети каждый ее элемент имеет некоторый уровень активации. Элементам нижнего («рецепторного») слоя величины активации назначаются извне при подаче на вход сети пат­терна - эти величины просто полагаются равными значениям координат входного вектора. Размерность последнего должна быть, следовательно, равна числу элементов «рецепторно­го» слоя. Элементы верхнего («эффекторного») слоя, число которых должно быть равно чис­лу классов анализируемых объектов, приходят в активное состояние за счет поступления на

них воздействий от элементов нижнего слоя. Каждый элемент нижнего слоя связан с каждым элементом верхнего слоя посредством связи, сила которой может изменяться. Таким обра­зом, элементы верхнего слоя получают в качестве своих входов взвешенные суммы уровней

активации элементов нижнего слоя: =

/

где 1пру - входное воздействие нау-ый элемент верхнего слоя, - уровень активации /-го элемента нижнего слоя, - сила, или вес, связи между /-ым элементом нижнего слоя и у'-ым элементом верхнего слоя. Вес может принимать любое положительное или отрицательное значение; в первом случае воздействие будет «возбуждающим», во втором - «тормозным». Уровень активации элемента верхнего слоя связан с величиной входа на него нелинейным «сигмоидным» преобразованием:

1

°^]~\ ₊ е-^!пр>

где О] - уровень активации /-го элемента верхнего слоя. Это преобразование обеспечивает при значении активирующего входа равном минус бесконечности уровень активации выход­ного элемента равный нулю; при значении входа равном нулю - уровень активации равный 0,5; а при значении входа равном плюс бесконечности - уровень активации равный 1. Эле­менты верхнего слоя могут принимать, таким образом, значения от 0 до 1. Каждому из них ставится в соответствие определенный класс, и считается, что выход сети должен показывать класс объекта, поданного на ее вход. Так, например, для сети, имеющей три элемента в верх­нем слое (и осуществляющей, соответственно, разделение входных объектов на три класса), ее выход при подаче на вход объекта класса №1 в идеальном случае должен быть (1,0,0), при подаче на вход объекта класса №2 - (0,1,0), а объекта класса №3 - (0,0,1). Задача распознава­ния входных объектов сводится, таким образом, к тому, чтобы научить сеть определять их класс, активируя нужный элемент «эффекторного» слоя. Это достигается путем правильного подбора весов внутренних связей в процессе обучения.

Выходной (эффекторный) слой элементов

Входной (рецепторный) слой элементов

элементы

Рис. 4. Схема двухслойной искусственной нейронной сети "Pattern Associator". Активность эле­ментов нижнего слоя передается элементам верхнего слоя через связи переменной силы. Взвешен­ная сумма активирующих воздействий от нижних элементов связана с уровнем активации верх­них элементов нелинейным образом, в результате чего последние могут принимать значения акти­вации только в пределах от 0 до 1.

Сеть может работать в двух принципиально разных режимах - в режиме обучения пра­вильному распознаванию на учебной выборке, т.е. некотором массиве данных, класс кото­рых заранее известен, и в режиме тестирования контрольной выборки, т.е. новых данных, класс которых неизвестен. Для правильного обучения объекты разных классов должны быть представлены в учебной выборке примерно в равном количестве. На каждом шаге обучения на вход сети подается очередной паттерн из учебной выборки, и элементы верхнего слоя ес­тественным образом активируются в соответствии с текущими значениями весов связей. Ре­альный выход сети затем сравнивается с идеальным выходом для данного входного вектора. В результате этого сравнения веса немного изменяются в направлении того, чтобы при по­вторной подаче на вход сети того же паттерна выход сети был ближе к идеальному. Изменение весов происходит в соответствии с дельта-правилом:е (//-о/)

где Ам>у - изменение веса связи между /-ым входным и /-ым выходным элементами сети на данном шаге обучения, а* - уровень активации /-го элемента входного слоя, Oj - реальный уровень активации /-го элемента выходного слоя, (/ - идеальный уровень активации /-го эле­мента выходного слоя, е - малая величина, определяющая скорость обучения. Очевидно, что если на вход сети подавать все время один и тот же паттерн, то сеть скоро найдет нужные веса, обеспечивающие идеальный выход. В реальной ситуации, однако, на вход сети при обучении подаются разные паттерны, принадлежащие разным классам, которые «дергают» веса в разные стороны. В результате, сеть должна найти такие веса, которые обеспечат пра­вильное определение класса для всех паттернов из учебной выборки. Это возможно лишь то­гда, когда обучающие паттерны в действительности образуют несколько классов и содержат их выраженные признаки.

Представим себе, что сеть распознает два класса объектов и что признаком класса №1 яв­ляются большие значения координаты 1 во входных векторах, а признаком класса №2 - большие значения координаты 2. Тогда в результате обучения сеть найдет следующую ком­бинацию весов:

1. Вес м> 11 будет большим и положительным, что обеспечит активацию нужного выход­ного элемента (1-го) при подаче на вход сети объекта первого класса;

2. Вес м/21 будет большим и отрицательным, что обеспечит подавление активации ненуж­ного выходного элемента (2-го) при подаче на вход сети объекта первого класса;

3. Вес и>22 будет большим и положительным, что обеспечит активацию нужного выход­ного элемента (2-го) при подаче на вход сети объекта второго класса;

4. Вес у/п будет большим и отрицательным, что обеспечит подавление активации ненуж­ного выходного элемента (1-го) при подаче на вход сети объекта второго класса.

Рассмотренный пример является упрощенным. Реальные паттерны содержат, как правило, не один, а несколько признаков класса, и картина установления весов оказывается более слож­ной. В этом случае анализ внутренних весов сети, найденных ею в ходе обучения, позволяет судить о том, какие признаки паттернов наиболее ярко показывают их принадлежность к то­му или иному классу. По мере обучения сеть все более правильно выставляет выходные зна­чения. Однократное предъявление всех паттернов из учебной выборки называют эпохой обучения. Обычно для обучения сети требуется достаточно много эпох. Мерой усвоения се­тью учебной выборки служит суммарная за эпоху квадратичная ошибка распознавания (СКОР), которая определяется следующим образом:

N т

где И- число паттернов в учебной выборке, т - число элементов верхнего слоя, / у и о* - идеальный и реальный уровни активации /-го выходного элемента при подаче на вход сети к- го паттерна. Обычно обучение сети продолжают до достижения СКОР некоторого наперед заданного малого значения или до тех пор, пока СКОР не перестанет уменьшаться, в зависи­мости от того, что наступит раньше.

Необходимо отметить два существенных и взаимосвязанных момента. С одной стороны, в некоторых случаях сеть может оказаться вовсе не в состоянии усвоить учебную выборку. Такая ситуация может возникнуть при наступлении совокупности следующих условий: 1) сеть состоит из небольшого числа элементов (и, следовательно, имеет небольшую внутрен­нюю память); 2) в учебной выборке много паттернов; 3) выборка плохо структурирована по классам, т.е., паттерны не имеют выраженных систематических признаков классов. С другой стороны, в некоторых случаях сеть может усвоить и плохо структурированную учебную вы­борку. Такая ситуация может возникнуть, когда сеть имеет большую внутреннюю память (в ней много элементов), а паттернов в учебной выборке мало. В этом случае сеть просто запо­минает все индивидуальные признаки паттернов, не обобщая их. Таким образом, неусвоение сетью учебной выборки однозначно свидетельствует об отсутствии в паттернах выраженных систематических признаков классов. Усвоение же учебной выборки, вообще говоря, не га­рантирует их наличия, т.к. малая по объему выборка может быть просто запомнена. Наличие в паттернах систематических признаков классов, выделенных и обобщенных сетью, доказы­вается успешным распознаванием контрольной выборки данных - независимо от соотноше­ния числа элементов в сети и размера обучающей выборки.

В наших исследованиях при распознавании контрольной выборки мы считали, что класс паттерна определяется максимально активированным элементом верхнего слоя сети. Показа­телем успешности распознавания служил процент правильно распознанных паттернов. Про­цент правильного распознавания (ППР) сравнивался с пороговой величиной достоверности неслучайного распознавания, которая зависела от объема контрольной выборки и числа классов и определялась следующим образом: вероятность того, что в результате случайной классификации ППР будет выше этой пороговой величины, равна 0,05. Например, для кон­трольной выборки из 70 паттернов и двух классов порог достоверности неслучайной класси­фикации равен 58,6%, для контрольной выборки из 35 паттернов и двух классов он равен 60,0%.

Использование системы линейных уравнений для классификации данных

Обучение нейросети и нахождение ею классификационных весов есть итерационный процесс, при котором веса, медленно изменяясь, сходятся к некоторым оптимальным значе­ниям. Описанная нами в предыдущей секции двухслойная искусственная нейросеть имеет нелинейное преобразование на выходе. Нейросеть, в которой это преобразование отсутству­ет (в этом случае величины активации элементов верхнего слоя просто равны входу на них) является линейной системой. Найденные в ходе обучения такой линейной сетью веса близки к тем, что могут быть найдены обобщенным решением системы линейных уравнений. Неиз­вестные такой системы уравнений эквивалентны весам линейной нейросети, а их нахожде­ние эквивалентно обучению. Коэффициенты системы полагаются равными координатам пат­тернов из учебной выборки, а правая часть кодирует классы. Система может быть точно оп­ределенной, если число паттернов равно их размерности (что встречается редко), недоопре- деленной, если число паттернов меньше их размерности, и переопределенной, если число паттернов больше их размерности. Во втором из перечисленных случаев система может иметь бесконечно много решений и ищется решение, имеющее минимальную норму. В третьем случае система может не иметь точного решения и ищется приближенное решение, дающее минимальное рассогласование с правой частью. Во всех случаях решение может быть найдено с помощью метода разложения матрицы коэффициентов системы по сингуляр­ным значениям (Press et al., 1994). Нами была проведена сравнительная классификация дан­ных с помощью нелинейной искусственной нейросети и системы линейных уравнений. Оче­видно, что единственным принципиальным отличием первой от второй является ее нелиней­ность, наличие которой, как будет показано в разделе «Результата», существенно на них влияет.

Усредненные спектры

По результатам каждого исследования были построены усредненные спектры отрезков ЭЭГ. Усреднение проводилось раздельно для каждого испытуемого и для каждого типа мыс­лительной деятельности.

Результаты

Первая серия экспериментов

Среднее по испытуемым время решения арифметических задач составило 11,0 с, про­странственных - 9,2 с.

Результаты, полученные при применении ИНС в качестве обучаемого классификатора

В табл. 3 приведены значения процента правильного распознавания (ППР) контрольной выборки единичных реализаций ЭЭГ для всех испытуемых, трех типов ментальной модаль­ности и разных методов предобработки ЭЭГ. Из таблицы видно, что ППР выше достоверного наблюдался для всех испытуемых, начиная с метода №3. Однако, хотя распознавание для этого метода оказалось с точки зрения формальной статистики достоверно неслучайным, значения ППР для некоторых испытуемых невелики (меньше 50%) и заметно меньше таковых для остальных методов. Начиная с метода №4, средний ППР остается приблизительно постоянным и выходит на уровень не ниже 83%. Метод №4 предварительной обработки отрезков ЭЭГ уже сохраняет в подаваемых на вход нейросети паттернах (хотя и в огрубленном виде) информацию и о частотных, и о пространственных, и о мощностных характеристиках электрической активности мозга в анализируемом отрезке времени. Метод №3, сохраняя пространственную информацию об анализируем сигнале, скрывает частотную. Это вероятно и объясняет снижение эффективности распознавания. Для метода №2, который нивелирует пространственную часть информации, но сохраняет частотную, ППР был ниже достоверного для трех испытуемых. То же справедливо и для метода №1, в котором теряется информация и о частотных, и о пространственных свойствах сигнала; но абсолютные цифры ППР в этом случае еще ниже. Метод №4', дает почти такой же ППР, что и метод №4. Эти два метода отличаются тем, что метод №4', сохраняя пространственную и частотную компоненты информации в том же объеме, убирает ее мощностную компоненту. Такой результат свидетельствует, что распределение ритмов ЭЭГ по частоте и по поверхности коры головного мозга - без учета мощностных характеристик ритмов - является достаточно яркой характеристикой текущей ментальной модальности, а добавление информации об абсолютной мощности ритмов практически не улучшает распознавания. Наилучшее распознавание дало применение методов №5 и №6. Первый из них оценивает пространственно-корреляционные свойства ЭЭГ раздельно для разных частотных диапазонов, второй дает подробное описание сигнала в пространстве частота- топография-мощность (не учитывая корреляционные свойства сигнала).

Рис. 5 графически отображает данные из таблицы 3 и показывает зависимость среднего по испытуемым ППР и разброса ППР между испытуемыми от метода предобработки. Из ри­сунка так же, как и из таблицы, видно, что хорошее распознавание единичных реализаций ЭЭГ для всех испытуемых (высокий ППР и его относительно малый разброс) начинается с метода №4. Наиболее высокий средний по испытуемым ППР (метод №5) составил 93% для арифметических задач, 87% для пространственных задач и 97% для состояния покоя. Для метода №6 результат оказался лишь ненамного хуже, составив 84%, 90% и 96% соответст­венно.

Интересно отметить, что состояние покоя (ожидания предъявления нового задания) было успешно распознано при всех методах предобработки, включая методы №1 и №4', у всех ис­пытуемых. Успешное распознавание этого состояния при использовании метода №1 говорит о том, что оно характеризуется ярко выраженным признаком - высокой мощностью сигнала ЭЭГ, что связанно, очевидно, с наличием у всех пяти испытуемых выраженного альфа-ритма покоя. Хорошее же распознавание состояния покоя методом №4', исключающем влияние абсолютных значений мощности сигнала ЭЭГ, говорит о том, что альфа-ритм покоя характе­ризуется частотой и топографией, отличными от таковых для ритмов, появляющихся при умственной нагрузке.

На рисунках 6,7,8,9 и 10 показаны усредненные спектры мощности в диапазоне 5-20 Гц для трех ментальных состояний испытуемых №№ 1,2,3,4 и 5 соответственно. На этих рисун­ках также приведены кривые, показывающие значения классификационных весов, получен­ные при применении метода предобработки №6, т.е. при классификации по единичным спек­трам мощности. Анализ кривых позволил выявить признаки трех типов ментальной модаль­ности, характерные для разных испытуемых.

Таблица 3. Процент правильного распознавания типа решаемой задачи по единичным отрезкам ЭЭГ для трех ментальных модальностей в первой серии опытов. Приведены данные для всех пяти испы­туемых, а также средние по испытуемым значения ППР и их разброс. Испыт.	Состо­		Метод	предобработки (см. табл. 1)
№	яние	1	2	3	4	4'	5	6
1	арифм.	0	8*	44	84	84	88	80
1	простр.	15*	37*	82	78	82	89	82
	(ар+пр)/2	8	23	63	81	83	89	81
	ожид.	90	85	92	100	100	96	98
	арифм.	44	61	83	81	75	83	72
2	простр.	71	77	67	78	89	73	78
	(ар+пр)/2	58	69	75	80	82	78	75
	ожид.	96	95	98	96	99	99	100
	арифм.	61	80	98	100	98	98	96
3	простр.	93	89	100	98	98	93	100
	(ар+пр)/2	77	85	99	99	98	96	98
	ожид.	99	99	100	99	100	100	100
	арифм.	0*	27*	50	79	79	97	77
4	простр.	58	81	72	89	89	94	100
	(ар+пр)/2	29	54	61	84	84	96	89
	ожид.	94	75	89	89	88	94	88
	арифм.	0*	0*	79	91	85	97	97
5	простр.	36*	100	64	73	73	85	91
	(ар+пр)/2	18	50	72	82	79	91	94
	ожид.	95	95	94	92	95	97	95
Средн.	арифм.	21*	35*	71	87	84	93	84
по	простр.	55	77	77	83	86	87	90
испыт.	(ар+пр)/2	38	56	74	85	85	90	87
	ожид.	95	90	95	95	96	97	96
Станд.	арифм.	29	34	27	9	9	7	10
откл.	простр.	30	24	15	10	9	8	9
по исп.	(ар+пр)/2	30	29	21	10	9	8	8
	ожид.	3	10	14	5	5	12	4

Средние по испытуемым значения ППР

метод

Арифм. —А—Простр. Ожид.

Разброс по испытуемым значений ППР

метод

Арифм. —А—Простр. -♦—Ожид.

Рис. 5. Средние по испытуемым значения процента правильного распознавания (ППР) в зависимости от метода предобработки (вверху) и разброс (о) этих значений по испытуемым (внизу). Методы пре­добработки описаны в табл. 1 раздела «Методика»

.

ТЗ РЗ Р4 Т4

ЕЭ

В.

_го«сялл

60 p.V/ Hz

Idle

Calculations Spatial task

А. Idle Calculations Spatial task
К	3	fa	•Л.	&	S3	п	-А			и	ЛУ1

На усредненных спектрах испытуемого №1 (рис. 6) видны два выраженных ритма альфа- диапазона на частотах приблизительно 10,3 и 13 Гц (их проявление в отведении, например, F4 показано на рисунке стрелками sl и s2). Первый из них характерен только для состояния покоя, а второй - для всех трех состояний, поэтому состояние покоя легко дискриминируется положительными весами на частоте 10,3 Гц, особенно в отведении 02, где этот ритм особен­но сильно выражен (стрелка wl на графике весов). Ритм частотой 13 Гц отличается в двух типах заданий в основном по амплитуде, и лишь в отведениях СЗ и РЗ он немного отличает­ся по частоте (для арифметических задач она выше), что служит некоторым дискриминаци­онным признаком для двух активных состояний испытуемого (стрелки w2 и w3 в отведении СЗ). Наиболее сильными признаками решения испытуемым арифметической задачи служат ритмы на частоте приблизительно 6 и 7 Гц в затылочных отведениях (стрелки s3 и s4), что следует из больших значений соответствующих весов (стрелки w4 и w5). Эти ритмы мало заметны на усредненных спектрах, но, в силу своей уникальной принадлежности только дан­ному типу задач, играют большую роль в дискриминации состояний.

Испытуемый №2 (рис. 7) обладает альфа-ритмом покоя большой амплитуды, что нахо­дит отражение на усредненных спектрах. Для распознавания состояния покоя достаточно ничтожно малого отклонения весовой функции от нуля на частоте 10 Гц. Спектры двух ак­тивных состояний близки друг к другу. Можно заметить небольшое превышение спектраль­ной мощности при решении арифметической задачи над таковым при решении пространст­венной задачи на частотах 11-12 Гц в С4 (стрелка sl) и, наоборот, повышенную мощность при решении пространственных задач на частоте 10-11 Гц в F7 и ТЗ (стрелки s2 и s3). Эти отличия в спектральной мощности служат признаками, по которым распознаются активные состояния, что видно на графиках весов (стрелки wl, w2 и w3). Несмотря на близость спек­тров, ППР для данного испытуемого был достоверно неслучайным (хотя и наиболее низким из пяти испытуемых).

У испытуемого №3 (рис. 8) альфа-ритм частотой 10 Гц имеет очень высокую амплитуду в состоянии покоя, много меньшую - при решении арифметической задачи, и практически отсутствует при решении пространственной задачи. Судя по весовым функциям, этот ритм выбран нейросетью для дискриминации состояний покоя и решения арифметической задачи только в отведении Ol (стрелка wl), где разница в его амплитуде между состояниями осо­бенно велика. В других отведениях либо превышение одной амплитуды над другой не столь велико, либо альфа-ритм покоя недостаточно сильно выражен. В отведении Р4 ритм той же частоты дискриминирует состояния решения арифметической задачи и пространственной задачи (стрелка w2). Срединный тета-ритм (с частотой приблизительно 6,5 Гц) ярко выражен во всех отведениях при решении арифметической задачи и только в передних отведениях

при решении пространственной задачи (стрелка з1). В состоянии покоя в передних и цен­тральных отведениях наблюдается гомологичный ритм, имеющий частоту на 0,5 Гц выше (стрелка в2). Соответственно, ритм 6,5 Гц является признаком непринадлежности данного отрезка ЭЭГ состоянию покоя в передних отведениях (стрелка а в других отведениях этот ритм нейросеть сочла признаком решения арифметической задачи (например, стрелка \у4). У данного испытуемого имеется выраженный признак решения в уме пространственной задачи - это ритм частотой 12,5 Гц в отведениях ¥4, СЗ и С4 (стрелка бЗ), который отсутст­вует в двух других состояниях и поэтому выбран нейросетью как основной для определения данного состояния (стрелка Наличие ярко выраженных ритмических признаков мен­тальных модальностей и их разнесение по измерениям (частота, топография, мощность) обеспечило данному испытуемому самый высокий из всех пяти человек ПИР.

У испытуемого №4 (рис. 9) и состояние покоя, и решение арифметической задачи харак­теризуются наличием выраженного ритма альфа-диапазона, который проявляется почти во всех отведениях. Отличие между этими двумя состояниями заключается в том, что частота ритма равна 10 Гц для первого из них и 11 Гц - для второго (стрелки в 1 и в2). Для решения пространственной задачи этот ритм не характерен. Соответственно, различие в частоте рит­ма является основным признаком, дискриминирующим два состояния, в которых он присут­ствует (стрелки \у1 и ау2). Весовые функции для пространственной задачи имеют отрица­тельные пики на обеих этих частотах (стрелки луЗ). Собственным признаком, определяющим состояние решения пространственной задачи, если судить по весовым функциям, является характерное для этого состояния некоторое повышение спектральной мощности на частотах 5,5,6,5 и 7,5 Гц в центральных и теменных отведениях по сравнению с другими состояниями (в отведении Р4 - стрелки \у4, ду5 и w6), хотя на усредненных спектрах это превышение вид­но слабо. У данного испытуемого имеется особенность, отсутствующая у остальных испы­туемых: в состоянии покоя спектр мощности повышен по сравнению с обоими активными состояниями в бета-диапазоне (стрелка вЗ), что используется нейросетью как дополнитель­ный признак состояния покоя (стрелка \у7).

Спектры испытуемого №5 (рис. 10) отличаются тем, что имеют широкий пик в альфа диапазоне, наиболее выраженный в центральных отведениях. Пик имеет наибольшую ам­плитуду в состоянии покоя, меньшую - при решении арифметических задач и еще меньшую - при решении пространственных задач. Частота пика увеличивается с уменьшением его ам­плитуды и для трех названных состояний имеет значения 10,2,11,4 и 12,5 Гц (стрелки э2 и вЗ) соответственно. Эти различия в амплитуде и частоте главного альфа-пика и служат ос­новой для классификации (стрелки \у1, \у2 и ауЗ).

Таким образом, на основании анализа усредненных спектров и классификационных ве­сов можно сделать вывод о том, что признаки исследованных нами психических состояний у всех испытуемых оказались разными. У одних испытуемых в определенных психических со­стояниях появились новые ритмы, которых не было при других состояниях (например, тета- ритм в затылочных отведениях у испытуемого №1 при решении арифметической задачи или ритм частотой 12,5 Гц в центральных отведениях у испытуемого №3 при решении простран­ственной задачи). В других случаях у других испытуемых ситуация была больше похожа на то, что генетически один и тот же ритм изменял свою частоту и амплитуду при переходе от одного психического состояния к другому (как, например, в случае главного ритма альфа- диапазона у испытуемого №5). Далее, у одних испытуемых разница в амплитуде ЭЭГ сигна­ла при разных психических состояниях была очень велика (например, у испытуемого №3); у других же она имела одинаковый порядок (например, у испытуемого №5). Для каждого ис­пытуемого классификатор нашел свои наиболее типичные признаки ментальных модально­стей. Этот вывод подтверждается тем, что распознавание данных, полученных у одного ис­пытуемого, нейросетью, обученной на данных другого испытуемого, не было успешным. Очевидно, что классификация основывалась на учете одновременно множества признаков состояний. Для одних испытуемых (например, для испытуемого №3) многие признаки дава­ли соизмеримый вклад в правильное распознавание паттернов; для других один признак (на­пример, для испытуемого №5 - частота главного альфа-пика) давал наибольший вклад, хотя и остальные признаки использовались (что видно из анализа классификационных весов). За­бегая вперед, отметим, что вопрос о том, насколько использование одного наиболее сильного признака вместо всей совокупности признаков влияет на правильность распознавания, был подробно изучен во второй серии экспериментов.

Для каждого данного испытуемого присущие ему электроэнцефалографические призна­ки ментальных модальностей, проявленные в характерных ритмах ЭЭГ, оказались ярко вы­раженными и устойчиво сохранялись на протяжении всего эксперимента (т.е. порядка полу­тора часов). Последнее подтверждается тем, что при разбиении исходной выборки данных на учебную и контрольную выборки вторым из способов, описанных в главе «Методика», ППР оказался очень близким к тому, который был получен при разбиении первым способом. На­помним, что при первом способе разбиения учебную выборку составляли отрезки ЭЭГ, соот­ветствовавшие четным номерам заданий, а контрольную - нечетным; при втором способе учебная выборка создавалась из записей, сделанных в первой половине эксперимента, а кон­трольная - из записей, сделанных во второй его половине.

На рис. 11 приведены нормированные на максимальное значение усредненные карты мощности в тета-, альфа- и бета-диапазонах, а также гистограммы, показывающие значения

классификационных весов, полученных при использовании метода предобработки №4', для испытуемых №3 и №5.

У испытуемого №3 карты покоя отличны от карт активных состояний во всех трех час­тотных диапазонах, в то время как карты двух активных состояний заметно отличны друг от друга только в альфа диапазоне. Соответственно, дискриминация двух активных состояний проводится, главным образом, в альфа-диапазоне. Особенно обращают на себя внимание большие положительные для арифметической задачи и отрицательные для пространственной задачи веса в альфа-диапазоне в отведении Р4. Отличные от нуля веса в других диапазонах говорят о том, что и они используются для распознавания. Различение состояния покоя про­ходит приблизительно в одинаковой степени по всем диапазонам, в том числе по тета- и бе­та-диапазонам в отведениях РЗ и Р4.

Внешний вид усредненных карт испытуемого №5 мало различается между тремя состоя­ниями для всех диапазонов. Имеющихся небольших отличий мощности оказывается, однако, достаточно для успешного распознавания. На рисунке можно проследить соответствие этих небольших отличий особенностям поведения весов.

Результаты, полученные при использовании линейной системы уравнений в качестве обучаемого классификатора

Сравнительные результаты распознавания при использовании в качестве обучаемого классификатора искусственной нейросети и системы линейных уравнений даны в табл. 4. Сравнение двух классификаторов проводили для методов предобработки №4 и №5. Как было отмечено в главе «Методика», наиболее существенным отличием классификатора первого из упомянутых типов является его нелинейность. Судя по среднему по испытуемым ППР и стандартному отклонению этой величины, нелинейность улучшает классификацию, как и следовало ожидать.

Применение обучаемого классификатора для очистки выборки

Классификатор состояний был применен для очистки исходной выборки записей ЭЭГ и извлечения из нее ядра, состоящего из наиболее типичных записей. В ходе процедуры очист­ки классификатор вначале обучается, как обычно, по учебной выборке. После тестирования контрольной выборки неправильно распознанные записи выбрасываются из нее, и она стано­вится обучающей выборкой, а бывшая обучающая - контрольной. После того как из послед­ней будут выброшены неправильно распознанные записи, она вновь становится обучающей и т.д. Этот итеративный процесс продолжается до сходимости, т.е. до того момента, когда при переходе к очередной итерации обучения-тестирования новых плохих записей не обна­руживается. Сумма оставшихся учебной и контрольной выборок и считается ядром исходной выборки. На рис. 12 приведен пример применения очистки выборки. Веса, найденные клас­сификатором при обучении по двум независимым половинам выборки, различаются меньше, если эта выборка очищенная (и, следовательно, более однородная).

Таблица 4. Сравнение результатов классификации при использовании в качестве обучаемого класси­фикатора искусственной нейросети и системы линейных уравнений в первой серии опытов.		Метод предобработки
		№4		№5
Испыт.	Сост.	ИНС	СЛУ	ИНС	СЛУ
	арифм.	84	88	88	100
№1	простр.	78	59	89	96
	ожид.	100	96	96	78
	арифм.	81	83	83	83
№2	простр.	78	78	73	69
	ожид.	96	99	99	94
	арифм.	100	92	98	78
№3	простр.	98	93	93	68
	ожид.	99	100	100	99
	арифм.	79	71	97	79
№4	простр.	89	89	94	86
	ожид.	89	83	94	79
	арифм.	91	94	97	94
№5	простр.	73	70	85	72
	ожид.	92	95	97	92
Средн.	арифм.	87	86	93	87
по	простр.	83	78	87	78
испыт.	ожид.	95	95	97	88
Станд.	арифм.	9	9	7	10
откл. по	простр.	10	14	8	12
испыт.	ожид.	5	7	12	9

Нормированные карты мощности

тах

Веса классификации

III

АПО

ГЗ Г

4