Александров Ю.И., Анохин К.В. - Нейрон. Обработка сигналов. Пластичность. Моделирование_ Фундаментальное руководство (2008)

жет быть полезен при интенсивном обучении системы, когда для «захвата» семантических вершин из временно свободного пула резервных нейронов используется аппарат, основанный на нейронах новизны. Часть процедурных нейронов или связей после реализации такого захвата в процессе обучения может подвергаться уничтожению, аналогичному апоптозу.

Выводы

•Первая простая формальная модель нейрона была описана в статье Уоррена С. Мак-Каллока и Уолтера Питтса «Логическое исчисление идей, присущее нервной активности» (1943 г.). Достоинством модели нейрона Мак-Каллока-Питтса явилась возможность реализовать

âискусственных нейронных сетях, построенных на ее основе, всех основных логических функций. Главным недостатком модели нейрона Мак-Каллока-Питтса стало отсутствие в ней появления и сохранения изменений нейрона под влиянием входной стимуляции (памяти и обу- чения).

•На основе модели нейрона Мак-Каллока-Питтса позднее было разработано целое семейство моделей простых формальных нейронов, таких, как сигмоидальный нейрон, нейрон типа «Адалайн», нейрон типа WTA, нейрон с квадратичным сумматором, Сигма-Пи нейрон, стохастический нейрон, кубический нейрон и многие другие. В этих моделях был устранен ряд недостатков, присущих модели Мак-Каллока и Питтса. В частности, в ряде моделей появились изменение весов в ходе обучения и память.

•В то же время из-за чрезмерно упрощенного характера простых формальных моделей нейронов и их слабого соответствия реальному биологическому прототипу — живому нейрону — этим моделям остался присущ ряд существенных недостатков. К основным из них можно отнести отсутствие моделирования цикла явлений, связанных с постепенным формированием следа памяти (каскада фаз формирования памяти), отсутствие различных активирующих и различных тормозящих медиаторов, отсутствие разнообразия видов межклеточных соединений и межклеточного взаимодействия, отсутствие модели генетического регулирования развития клетки. Как представляется, данные недостатки снижают возможности модели нейрона как базового элемента разрабатываемых искусственных нейросетевых интеллектуальных систем.

510

Цитированная литература

Рекомендуемая

1.Мак-Каллок У., Питтс В. Логическое исчисление идей, относящихся к нервной активности // Нейронные сети: история развития теории / Под общ. ред. А. И. Галушкина, Я. З. Цыпкина. М.: ИПРЖР, 2001. С. 5–22.

2.Уидроу Б., Хофф М.Е. Адаптивные переключающие схемы // Нейронные сети: история развития теории / Под общ. ред. А. И. Галушкина, Я. З. Цыпкина. М.: ИПРЖР, 2001. С. 58-73.

3.Хайкин С. Нейронные сети: полный курс. М.: Издательский дом «Вильямс», 2006. 1104 с.

4.Рассел С., Норвиг П. Искусственный интеллект: современный подход. М.: Издательский дом «Вильямс», 2006. 1408 с.

5.Круглов В.В., Борисов В.В, Искусственные нейронные сети. Теория и практика. М.: Горячая линия – Телеком, 2000. 382 с.

6.Головко В.А. Нейронные сети: обучение, организация и применение. М.: ИПРЖР, 2001. 256 с.

7.Омату С., Халид М., Юсоф Р. Нейроуправление и его приложения. М.: ИПРЖР, 2002. 272 с.

8.Калан Р. Основные концепции нейронных сетей. М.: Издательский дом «Вильямс», 2003. 288 с.

9.Оссовский С. Нейронные сети для обработки информации. М.:Финансы

èстатистика, 2004. 344 с.

Дополнительная

1.Тарков М. С. Нейрокомпьютерные системы // http://www.intuit.ru/ department/expert/neuro/2/2.html

2.Тарков М. С. Указ. раб. // http://www.intuit.ru/department/expert/neuro/ 2/3.html

3.Тарков М. С. Указ. раб. // http://www.intuit.ru/department/expert/neuro/ 2/5.html

4.Тарков М. С. Указ. раб. // http://www.intuit.ru/department/expert/neuro/ 2/4.html

5.Галушкин А. И. Нейрокомпьютеры. М.: ИПРЖР, 2000. 528 с.

6.Tseng Kuei Y., O’Donnell Patricio. Dopamine–Glutamate Interactions Controlling Prefrontal Cortical Pyramidal Cell Excitability Involve Multiple Signaling Mechanisms // The Journal of Neuroscience. 2004. June 2. 24(22). P. 5131-5139.

511

Глава 17. БИОЛОГИЧЕСКИ ПРАВДОПОДОБНЫЕ МОДЕЛИ ОБРАБОТКИ СИГНАЛОВ НЕЙРОНОМ

Как представляется, повысить возможности модели нейрона, использующейся в качестве элемента искусственных нейросетевых интеллектуальных систем, можно путем создания биологи- чески правдоподобных моделей, включающих в себя моделирование каскада биохимических реакций, обеспечивающих обработку сигналов нейроном и формирование фаз памяти, моделирование нейрогенеза и развития клетки под управлением ее генетического аппарата, а также другие аспекты.

В главе показаны особенности функционирования одной из биологически правдоподобных моделей нейрона на примере правил обучения Хэбба.

Реализация моделей нейрона как сложной динамической системы возможна на базе программно-аппаратных средств компьютерной техники. Используемые для моделирования нейрона программы должны иметь развитые функциональные способности и создаваться с учетом реальной производительности существующих аппаратных устройств.

17.1. Моделирование каскада биохимических реакций, обеспечивающих обработку сигналов нейроном,

и формирование фаз памяти

Биологически правдоподобные (реалистичные) модели обработки сигналов в нейроне создаются в целях использования моделируемых функциональных способностей нервных клеток для создания искусственных интеллектуальных нейросетевых систем. При этом в таких моделях может опускаться часть других протекающих в клетках процессов, например, обеспечивающих жизнедеятельность клетки. По своей форме такие модели, как правило, представляют собой систему из многих уравнений. Рассмотрим основные свойства таких биологически правдоподобных моделей и особенности организации программной среды для их разработки. В качестве примера для представления таких моделей будем использовать разработанную российским предприятием «Тюменское ассоциативных систем объединение» модель нейрона «ТАСО-2005» (В.А. Филиппов, 2005 г.), функционирующую

512

в программной инструментальной среде разработки динамических моделей нейронных сетей, сложных систем и искусственного интеллекта «ТАСО Нейроконструктор».

Важнейшей особенностью биологически правдоподобного моделирования обработки сигналов нейроном следует признать отражение в модели нейрона биохимического каскада событий, связанных с постепенным формированием следа памяти в клетке. Как известно, в живом нейроне формирование следа памяти (обучение, в данном контексте это идентичные понятия) достигается за счет облегчения (потенциации) связей между нейронами, непосредственно связанными между собой и участвующими в проведении сигнала по образуемому ими пути. Образование следа памяти включает в себя множество последовательных событий, в том числе с обратными связями, имеющих различную природу: от диффузии химических веществ в среде и прохождения различного рода электрических потенциалов вдоль мембраны до синтеза новых белков и структурных изменений клетки под управлением ее генетического аппарата. Все эти события обеспечиваются работой и трансформацией различных сигнальных и структурообразующих молекул в составе нейрона (рис. 17.1).

Ðèñ. 17.1. Одна из возможных иллюстраций последовательности явлений в рамках каскада молекулярных изменений при формировании памяти. На красном фоне показаны краткосрочные события, на зеленом — среднесрочные, на голубом — события, связанные с долговременным запоминанием. Горизонтальная шкала имеет переменный шаг.

513

В модели нейрона «ТАСО-2005» представляется процесс консолидации следа памяти, включающий в себя краткосрочные, среднесроч- ные и долгосрочные фазы формирования памяти, причем более краткосрочные фазы служат основой для формирования более долгосроч- ных. Кроме того, в рамках модели нейрона «ТАСО-2005» принято положение, согласно которому с каждой из фаз формирования памяти связаны важные когнитивные способности нейросетей, элементами которых являются эти нейроподобные элементы. К примеру, с краткосрочными фазами памяти, привязанными, главным образом, к явлениям фасилитации и формирования кальциевого микродомена в аксонной терминали, диффузии медиатора и его взаимодействия с рецепторами постсинаптической мембраны, связано обеспечение перевода активации с одной клетки на другую. Со среднесрочными событиями, такими, как фосфорилирование постсинаптических рецепторов и формирование постсинаптических потенциалов, связаны некоторые способности сетей к логическим выводам, пониманию контекстуальных значений и т.п. Наконец, долгосрочное запоминание обеспечивается моделированием структурных изменений в виде синтеза рецепторов различных медиаторов, а также моделированием структурных изменений в аксонной терминали пресинаптического нейрона. Модель нейрона «ТАСО2005» является отсековой и составляется как совокупность моделей дендритов, сомы и аксонных терминалей, причем все эти отсеки могут иметь разные параметры. В целом модель представляет собой систему из более чем тридцати уравнений. При необходимости модель нейрона «ТАСО 2005» может быть редуцирована до простой формальной модели нейрона путем обнуления ряда коэффициентов.

Рассмотрим на основе модели нейрона «ТАСО-2005» в среде «ТАСО Нейроконструктор» (В. А. Филиппов, Ф. В. Лактионов) (рис. 17.2) моделирование обучения согласно правилам Хэбба. Сами правила были приведены в главе 15.

Вначале проиллюстрируем, каким образом один нейрон (нейрон 1), имеющий первоначально слабую связь с другим нейроном (нейрон 3), прохождение сигнала через которую не может в момент начала обуче- ния и на первых стадиях обучения вызвать потенциал действия (ПД) в нейроне 3, по мере продолжения активности нейрона 1 таким образом усиливает эту связь, что оказывается способен вызвать ПД в нейроне 3 даже после своего одиночного разряда.

Затем покажем, как активация нейрона 1, уже усилившего свою связь с нейроном 3, может помочь нейрону 2, также имеющему сла-

514

бую связь с нейроном 3, активация которой не способна вызвать ПД нейрона 3, всего за одну близковременную последовательную активацию нейронов 1 и 2 таким образом усилить связь между нейронами 2 и 3, что непосредственно после этой единичной совместной активации нейронов 1 и 2 нейрон 2 в одиночку сможет вызвать генерацию ПД в нейроне 3.

Ðèñ. 17.2. Общий вид рабочей области редактора сетей программной инструментальной среды разработки динамических моделей нейронных сетей, сложных систем и искусственного интеллекта «ТАСО Нейроконструктор» (В. А. Филиппов, Ф. В. Лактионов, ТАСО, 2007 г.)

Для иллюстрации правил Хэбба нам достаточно построить сеть из трех нейронов. Нейроны 1 и 2 являются рецепторными нейронами, которые генерируют потенциалы действия в ответ на ввод соответствующего символа (в данном случае цифр 1 и 2) в окне чата диалога с сетью. Оба они имеют связи с нейроном 3. Нейрон 3 является моторным нейроном, выводя, в случае генерации им потенциала действия, в качества ответа сети в окне диалога соответствующий символ (3). Зе-

515

леным цветом обозначены аксоны нейронов 1 и 2. Синим показаны дендриты нейрона 3. На рисунке 17.3 показан момент, когда накопленный в дендрите нейрона 3, имеющем синапс с аксоном нейрона 1, вызванный постсинаптический потенциал приводит к генерации потенциала действия в соме нейрона 3.

Ðèñ. 17.3. Сеть для иллюстрации правила Хэбба.

Перед началом обучения и нейрон 1, и нейрон 2 имеют слабые связи с нейроном 3: аксоны обоих этих нейронов выбрасывают малое количе- ство медиатора; постсинаптические мембраны дендритов нейрона 3 имеют небольшое число глутаматных рецепторов НМДА и вовсе не имеют АМПА-рецепторов; как следствие, ВПСП в дендритах нейрона 3 очень мал и не способен привести к генерации серии разрядов или даже одиночного потенциала действия нейрона 3. Именно поэтому, если мы однократно активируем вводом символа «1» нейрон 1, то, хотя небольшое количество медиатора и выделится в синаптическую щель, мы не полу- чим потенциала действия нейрона 3 (графики 17.1 и 17.5, событие 1; для удобства восприятия все связанные между собой события показаны под одинаковыми номерами на всех графиках).

Попробуем ввести символ 1, активирующий нейрон 1 два, три, четыре и пять раз подряд. При продолжающейся активации нейрона 1 в его аксонной терминали моделируется накопление кальция, который не успевает быть полностью выведен из терминали до подхода нового ПД из сомы нейрона 1 — аксонная фасилитация. Соответственно, уровень фасилитации возрастает в зависимости от продолжительности непрерывной активации нейрона 1 (график 17.2, события 2, 3, 4 и 5). Явления фасилитации не было при однократной активации нейрона 1, так как

516

График 17.1. Выброс медиатора нейроном 1. Однократная активация нейрона 1 приводит к выбросу медиатора из терминали его аксона на уровне 2,6 условных единиц (событие 1). Этого количества медиатора оказывается недостаточно для генерации ВПСП в постсинаптическом нейроне 3, способного, в свою очередь, вызвать ПД в нейроне 3. При неоднократной активации нейрона 1 на протяжении нескольких тактов работы сети количество выбрасываемого из его аксона медиатора возрастает в результате влияния моделируемого накопления кальция в аксонной терминали — аксонной фасилитации. События 2, 3, 4 и 5 — выброс медиатора аксоном нейрона 1 в результате генерации им потенциалов действия на протяжении, соответственно, 2-х, 3-х, 4-х и 5-ти тактов подряд. При активации на протяжении 5 тактов подряд аксон нейрона 1 выбрасывает уже 3,97 условные единицы активирующего медиатора.

События 6 и 8 показывают выброс медиатора после одиночных потенциалов действия нейрона 1 соответственно на 37 и 48 тактах работы системы. Так как без участия фасилитации аксона количество выбрасываемого медиатора постоянно (при используемых параметрах модели - на уровне 2,6 условных единиц), то экстраполируемая программой линия графика показана в виде прямой.

По горизонтальной оси графика показаны такты работы нейрона в сети. По вертикальной оси — условные величины, характеризующие величину явления в условных единицах (В. А. Филиппов, ТАСО, 2007 г.).

517

кальций при перерыве в генерации ПД довольно быстро выводится из аксона. Поэтому на графике 17.2 не было пика в момент первой активации нейрона 1 (события 1 на графике 17.1). Повышение уровня фасилитации, наряду со значением частоты потенциалов действия нейрона в течение такта, обусловливает увеличение выброса медиатора данным нейроном в синаптическую щель (график 17.1, события 2, 3, 4, 5). Аксонная фасилитация в модели «ТАСО-2005» — событие с небольшим временем жизни, одна из основ краткосрочных фаз памяти, но ее значе- ние для проведения сигнала между клетками весьма велико.

График 17.2. Усиление поступления кальция в аксонную терминаль

нейрона 1, способствующее увеличению выброса нейромедиатора в синаптическую щель — аксонная фасилитация. При однократной актива-

ции нейрона фасилитации нет — внутриклеточные механизмы успевают вывести кальций из аксона. При активации нейрона 1 на протяжении 2 тактов подряд кальций не успевает выводиться полностью и начинает накапливаться в терминали — появляется фасилитация на уровне 3 условных единиц (событие 2). При активации нейрона 1 на протяжении 5 тактов работы системы подряд уровень фасилитации достигает уже 6 условных единиц (событие 5). Наряду с частотой потенциалов действия, уровень фасилитации определяет количество медиатора, выбрасываемого из данной терминали в синаптическую щель. (В. А. Филиппов, ТАСО, 2007 г.)

518

Несмотря на увеличение выброса медиатора, количество событий медиаторно-рецепторного соединения в эксордиуме дендрита нейрона 3, образующего синапс с аксоном нейрона 1, вначале остается неизменным, так как неизменно количество НМДА рецепторов на постсинаптической мембране нейрона (график 17.3).

График 17.3. Количество событий медиаторно-рецепторного соеди-

нения на постсинаптической мембране дендрита нейрона 3, образующего синапс с аксоном нейрона 1. Так как до начала обучения в мембрану

встроено малое и не изменяющееся вначале число рецепторов, то и после активации нейрона 1 на протяжении одного такта работы сети (событие 1) и после активации на протяжении 2, 3, 4 и 5-ти тактов (события 2-5) количество событий медиаторно-рецепторного соединения остается неизменным, на уровне одной условной единицы.

После того как в нейроне 3 произошел синтез новых молекул-рецепторов медиатора, возрастает количество событий медиаторно-рецепторного соединения на постсинаптической мембране дендрита, имеющего синапс с аксоном нейрона 1 (события 6 и 8), после выброса медиатора этим аксоном (В. А. Филиппов, ТАСО, 2007 г.).

В то же время, хотя количество событий медиаторно-рецепторного соединения остается неизменным, величина положительных вызванных постсинаптических потенциалов (ВПСП) в дендрите нейрона во

519