Александров Ю.И., Анохин К.В. - Нейрон. Обработка сигналов. Пластичность. Моделирование_ Фундаментальное руководство (2008)

время каждой из серии потенциалов действия нейрона 1 со все увели- чивающейся продолжительностью (с 1 до 5 тактов подряд) также увеличивается, так как при непрерывном совершении событий медиатор- но-рецепторных соединений в дендрите моделируется фосфорилирование рецепторов и накопление остаточного ВПСП. С этими процессами в модели нейрона «ТАСО-2005» связывается понятие среднесрочных фаз формирования памяти (график 17.4).

График 17.4. Вызванные постсинаптические потенциалы в дендрите ней-

рона 3, образующем синапс с аксоном нейрона 1 в результате получения медиатора от нейрона 1. Если при получении медиатора в результате единичного

ПД нейрона 1 в нейроне 3 образуется ВПСП величиной 5 условных единиц (событие 1), то после получения медиатора из аксона нейрона 1 на протяжении пяти тактов работы сети в данном дендрите нейрона 3 образуется уже ВПСП величиной 13 условных единиц (событие 5). При этом данный ВПСП превышает установленный порог нейрона 3 и приводит к генерации потенциала действия нейроном 3. События 2-4 — ВПСП в дендрите нейрона 3, вызванные выбросом медиатора из нейрона 1, соответственно, на протяжении 2, 3 и 4 тактов работы сети.

После того как в результате синтеза новых АМПА рецепторов в дендрите нейрона 3, имеющего синапс с нейроном 1, данная связь оказывается структурно потенцированной, даже одиночные потенциалы действия нейрона 1 могут вызвать в этом дендрите ВПСП, достаточно высокие (события 6 и 8), чтобы превысить порог и вызвать потенциалы действия нейрона (В. А. Филиппов, ТАСО, 2007 г.).

520

После получения от нейрона 1 медиатора на протяжении 5 тактов работы сети подряд величина ВПСП в нейроне 3 достигает величины в 13 условных единиц и превышает порог нейрона 3, вызывая генерацию первого потенциала действия этого нейрона (график 17.5, событие 5)

График 17.5. Частота потенциалов действия нейрона 3. После полу- чения медиатора из аксона нейрона 1 на протяжении пяти тактов работы сети в дендрите нейрона 3, образующем синапс с аксоном нейрона 1, накопленный ВПСП превышает порог нейрона 3 и приводит к генерации первого единичного потенциала действия нейроном 3 (событие 5). Более слабые ВПСП, сформировавшиеся в дендрите нейрона 3, имеющем синапс с аксоном нейрона 1 в результате получения медиатора из нейрона 1 на протяжении 1-4 тактов работы сети не превышали величину порога нейрона 3 и не приводили к генерации им потенциалов действия, которых, соответственно, нет на графике.

После синтеза рецепторов в дендрите нейрона 3, имеющем синапс с аксоном нейрона 1, даже одиночные ПД нейрона 1 вызывают ПД нейрона 3 (событие 6).

Совместная активация нейронов 1 и 2 вызывает серию ПД нейрона 3 на протяжении 2-х тактов работы системы (событие 8/9).

После структурной потенциации с помощью нейрона 1 дендрита нейрона 3, имеющего синапс с аксоном нейрона 2, одиночный ПД нейрона 2 становится способным привести к генерации потенциала действия (событие 10) нейроном 3 (В. А. Филиппов, ТАСО, 2007 г.).

521

График 17.6. Синтез АМПА-рецепторов в дендрите нейрона 3, имеющем синапс с нейроном 1. После генерации каждого потенциала действия

в нейроне 3 происходит моделируемый синтез новых глутаматных АМПАрецепторов. Так, например, после первого единичного потенциала действия (событие 5) в нейроне 3 синтезируются и встраиваются в постсинаптическую мембрану дендрита нейрона 3, образующего синапс с нейроном 1, новые АМПАрецепторов в количестве 10,82 условных единиц. Синтез и встраивание новых рецепторов происходит всякий раз после генерации нейроном потенциала действия (события 6, 8 и 9). Мы видим, что после синтеза рецепторов начинается более медленный процесс их распада, происходит забывание, но здесь мы эти процессы не рассматриваем (В. А. Филиппов, ТАСО, 2007 г.).

В том случае, если в каком-либо дендрите возникает положительный ВПСП, который приводит к генерации этим нейроном потенциала действия с какой-либо частотой, в модели нейрона «ТАСО-2005» происходит синтез новых молекул-рецепторов медиатора, вызвавшего соответствующий ВПСП, и их встраивание в постсинаптическую мембрану всех тех и только тех дендритов, в которых присутствует положительный ВПСП (О процессе встраивания АМПА рецепторов в постсинапти- ческую мембрану см.: Wang Z. et al., 2008). Подчеркнем, что новые рецепторы встраиваются и в те дендриты данного нейрона, ВПСП в

522

которых слишком мал для самостоятельного вызова ПД, естественно, при условии, что ПД нейрона все же был вызван суммой всех ВПСП в дендритах данного нейрона. В этом случае моделируется синтез новых глутаматных АМПА-рецепторов (график 17.6). В модели нейрона «ТАСО-2005» также моделируется синтез различных рецепторов ГАМК, которая обычно выполняет роль тормозного медиатора, но для иллюстрации правил Хэбба данные процессы не требуется описывать.

Так как количество рецепторов, воспринимающих медиатор, на постсинаптической мембране нейрона 3 после генерации им первого потенциала действия резко возрастает, то теперь уже даже единичного выброса медиатора нейроном 1 (график 17.1, событие 6) без аксонной фасилитации нейрона 1 оказывается достаточным, чтобы обеспечить такой уровень ВПСП в связанном с аксоном нейрона 1 дендрите нейрона 3 (график 17.4, событие 6), который сразу же вызывает потенциал действия нейрона 3 (график 17.5, событие 6). После синтеза рецепторов проведение возбуждения по связи между первым и третьим нейронами существенно облегчилось в результате структурного изменения клетки: увели- чения количества молекул-рецепторов, связывающихся с выбрасываемым медиатором. Таким образом, произошло обучение связи. Â

модели «ТАСО-2005» время жизни АМПА-рецепторов на постсинапти- ческой мембране довольно велико, а структурные изменения клетки рассматриваются в качестве основы долговременной памяти, хотя моделируется и медленный распад рецепторов — забывание.

Покажем теперь, как потенцированная связь между нейроном 1 и 3 может обеспечить достаточное для вызова ПД в нейроне 3 усиление связи от нейрона 2 к нейрону 3 в результате генерации нейроном 2 всего лишь единичного потенциала действия.

В начале обучения и аксон нейрона 2, и образующий с ним синапс дендрит нейрона 3 имеют те же самые параметры, что имела связь от нейрона 1 к нейрону 3 до обучения. Поэтому если мы однократно активируем вводом символа 2 нейрон 2, то выброшенные из аксона этого нейрона 2,6 условные единицы медиатора не приведут к генерации ПД в нейроне 3. Фасилитация при однократном потенциале действия возникать не успевает.

Соответственно, положительный ВПСП в дендрите нейрона 3, имеющем синапс с аксоном нейрона 2, слишком мал, чтобы превысить порог нейрона 3 (график 17.8, событие 7).

523

График 17.7. Выброс медиатора нейроном 2. Так же, как и в начале обучения связи от нейрона 1 к нейрону 3, однократная активация нейрона 2 на 44 такте работы сети приводит к выбросу медиатора из терминали его аксона на уровне 2,6 условных единиц, что недостаточно для вызова ПД в нейроне 3 (событие 7).

В рассматриваемом нами примере нейрон 2 всегда разряжается путем генерации одиночного ПД, без фасилитации, что обусловливает неизменное количество выбрасываемого в синаптическую щель нейромедиатора (события 9 и 10). График выброса медиатора показан в виде прямой в результате экстраполяции одинаковых значений выброса медиатора после одиночных ПД нейрона 2 (В. А. Филиппов, ТАСО, 2007 г.).

Активируем теперь последовательно нейрон 1 на 48 такте работы системы (графики 17.1, 17.3, 17.4, событие 8) и нейрон 2 на 49 такте

(график 7, событие 9). Выброс медиатора нейроном 1 в результате одиночного потенциала действия теперь сразу же приводит к генерации потенциала действия нейроном 3 (графики 17.1, 17.3, 17.4, 17.5, событие 8). Аксон нейрона 2 по-прежнему выбрасывает 2,6 условные единицы медиатора (график 17.7, событие 9) и, как и раньше, вызывает в дендрите нейрона 3, имеющем синапс с нейроном 1, слишком слабый ВПСП для самостоятельного превышения порога нейрона 3 (график 17.8, со-

524

бытие 9). Но ПД в нейроне 3 вызван нейроном 1 (график 5, событие 8). В нейроне 3 происходит синтез молекул рецепторов медиатора (АМПА). Теперь вновь синтезированные молекулы встраиваются как в дендрит нейрона 3, имеющий синапс с нейроном 1, так и в дендрит нейрона 3, имеющий синапс с нейроном 2, так как в нем также присутствует хоть и меньший, но ВПСП. В эти два дендрита нейрона 3 встраивается различное количество рецепторов, пропорционально уровню ВПСП (график 17.6, события 8 и 9 и график 17.9, событие 9).

График 17.8. Вызванные постсинаптические потенциалы в дендрите

нейрона 3, образующем синапс с аксоном нейрона 2 в результате получения медиатора от нейрона 2. Одиночный ПД нейрона 2 на 44 такте

работы сети слишком мал, чтобы сформировать на 45 такте ВПСП, достаточ- ный для преодоления порога нейрона 3.

Таким же остается и ВПСП в этом дендрите нейрона 3 при близковременной последовательной активации нейронов 1 и 2 (событие 9).

После того как в дендрите нейрона 3, имеющем синапс с аксоном нейрона 2, происходит синтез новых АМПА-рецепторов, вызываемый выбросом медиатора из аксона нейрона 2, ВПСП в этом дендрите, даже при отсутствии активности нейрона 1, становится достаточно большим (событие 10), чтобы самостоятельно вызвать генерацию потенциала действия нейроном 3 (В. А. Филиппов, ТАСО, 2007 г.).

525

Ñ

î

á

û

ò

è

å

Ñ

9 î

á

û

ò

è

å

10

График 17.9. Синтез АМПА-рецепторов в дендрите нейроне 3, имеющем синапс с нейроном 2. Событие 9 — синтез рецепторов в результате близ-

ковременной последовательной активации нейронов 1 и 2. После того как при помощи нейрона 1 увеличивается число рецепторов в дендрите нейрона 3, имеющем синапс с аксоном нейрона 2, даже одиночная аткивация нейрона 2 приводит к ПД нейрона 3 и синтезу новых рецепторов (событие 10) в дендрите нейрона 3, имеющем синапс с аксоном нейрона 2 (В. А. Филиппов, ТАСО, 2007 г.).

Теперь встроенных в постсинаптическую мембрану дендрита нейрона 3, имеющего синапс с нейроном 2, рецепторов медиатора оказывается достаточно, чтобы, в том случае, если мы снова активируем на 55 такте работы сети уже только один нейрон 2 (то есть при выбросе медиатора аксоном нейрона 2 в результате его одиночного ПД, без разряда нейрона 1 — график 17.7, событие 10), самостоятельно сформировать такой ВПСП в дендрите нейрона 3, имеющем синапс с аксоном нейрона 2 (график 17.8, событие 10), который вызывает ПД в нейроне 3 (график 17.5, событие 10).

Таким образом, мы продемонстрировали, как два вышеприведенных правила Хэбба могут выполняться в рамках моделей нейронов с биологически правдоподобным моделированием процессов обработки сиг-

526

налов. Биологически реалистичные модели нейронов позволяют строить искусственные нейронные сети с существенно большими способностями к решению ряда задач, например, к обработке естественного языка и моделированию процессов мышления. Но рассмотрение таких сетевых архитектур выходит за рамки анализа моделирования нейрона.

17.2. Моделирование нейрогенеза

Еще одним важным требованием к моделям нейронов является обеспечение на основе таких нейронов структурных изменений разрабатываемых нейросетей.

Дело в том, что следствием использования в сетях афферентно инвариантых «нейронов моей бабушки» (Одна из последних статей об афферентно инвариантных нейронах: Gelbard-Sagiv H. et al., 2008) является довольно большая размерность сетей, когда количество нейронов и их отсеков при решении ряда задач, например, обработки естественного языка, может достигать сотен миллионов единиц и более. «Вручную» такие сети «нарисовать» в программной среде невозможно.

Кроме того, соображения экономии машинных ресурсов обусловливают технологическое решение, согласно которому новые пулы резервных нейронов, которые могут быть использованы для маркировки семантических объектов, с которыми система знакомится впервые, есть смысл создавать по мере необходимости. Такой процесс, по-видимому, напоминает неонейрогенез у взрослых организмов.

И первоначально генерируемые сети, и изменения сетевой структуры формируются как весьма сложноструктурированные объекты с различающейся, но определенным образом упорядоченной сетевой архитектурой различных типов (рис. 17.4).

Решить эти проблемы можно при помощи моделирования нейрогенеза. В модификации модели нейрона «ТАСО-2007» для этого используется технология включения в ее состав программного кода, отвечающего за распознавание необходимости и за собственно обеспечение структурных изменений нейронов и, соответственно, сети в целом. Сюда относится образование новых нейронов, спраутинг как уже существующих, так и вновь образованных нейронов, а также апоптоз нейронов,

становящихся ненужными, прежде всего процедурных.

Функционально такой код напоминает генетический код живых нейронов, а отдельные фрагменты этого кода, отвечающие за отдельные операции структурных перестроек, напоминают отдельные гены. Соответственно, в программной инструменталь-

527

ной среде «ТАСО-Нейроконструктор» такие фрагменты программного кода получили название «кибергены»1.

Ðèñ. 17.4. Сетевые архитектуры различных функциональных локусов могут значительно отличаться друг от друга при сохранении задаваемой разработчи- ком упорядоченности структур. Небольшой фрагмент колонки в составе модуля распознавания текстовых объектов (В. А. Филиппов, ТАСО, 2008 г.)

17.3. Основные требования к организации программной инструментальной среды для разработки биологически правдоподобных моделей обработки сигналов в нейроне

Биологически реалистичные модели обработки сигналов включа- ют в себя большее число уравнений по сравнению с простыми формальными моделями нейронов. Возрастает и ресурсоемкость таких моделей при их реализации на базе компьютерных программно-аппаратных

1 Не путать с «генетическими алгоритмами». Последние правильнее было бы называть «эволюционными алгоритмами».

528

комплексов. При этом сетевые решения на основе афферентно инвариантных нейронов могут требовать включения в состав соответствующих нейросетей десятков и сотен миллионов отсеков нейронов (дендритов, сом и аксонных терминалей).

Соответственно, в качестве основных групп требований к программной среде для создания биологически реалистичных моделей нейронов

èнейросетей на их основе можно назвать:

1.Развитые функциональные способности программной среды, позволяющие исследователю формировать биологически правдоподобные или произвольные модели нейронов с учетом данных нейробиологии.

2.Решение проблемы обеспечения функционирования моделей нейронов и разрабатываемых нейросетей большой размерности на базе существующих аппаратных комплексов.

В качестве примера решения этих двух задач можно привести разработанную российским предприятием «Тюменское ассоциативных систем объединение» программную инструментальную среду разработки динамических моделей нейронных сетей, сложных систем и искусственного интеллекта «ТАСО Нейроконструктор», которая была специально создана для разработки и функционирования искусственных нейронных сетей на основе сложных биологически правдоподобных или произвольных нейроподобных элементов. Программная инструментальная среда «ТАСО-Нейроконструктор» позволяет исследователю формировать модели нейронов, исходя из своих данных о нейробиологии клетки и иных представлений. Данная инструментальная среда может работать как на базе однопроцессорных или многопроцессорных компьютеров, в том числе персональных, так и на базе кластеров с параллельной архитектурой. При этом программа автоматически распознает доступные ей аппаратные ресурсы и берет на себя управление их использованием.

В качестве примера пользовательских интерфейсов программной инструментальной среды «ТАСО Нейроконструктор» ниже приведем изображения нескольких экранных форм программы (рис. 17.5–17.8).

Ðèñ. 17.5. Общий вид программной инструментальной среды разработки динамических моделей нейронных сетей, сложных систем и искусственного интеллекта «ТАСО Нейроконструктор». Рабочая область редактора нейросетей на фоне редактора моделей нейронов (В. А. Филиппов, Ф. В. Лактионов, ТАСО, 2007 г.).

Ðèñ. 17.6. В среде «ТАСО Нейроконструктор» может быть обеспечено создание и функционирование нейросетей, включающих более 100 млн. отсеков нейронов (сом, дендритов и аксонных терминалей) с моделью нейронов «ТАСО2005». Серые точки — сомы. Оранжевым показаны аксоны, а синим — дендриты нейронов (В. А. Филиппов, Ф. В. Лактионов, ТАСО, 2007 г.).

529