Александров Ю.И., Анохин К.В. - Нейрон. Обработка сигналов. Пластичность. Моделирование_ Фундаментальное руководство (2008)

обработки двоичных чисел. Позднее в работах «Математический анализ логики, или очерк исчисления дедуктивного рассуждения» (1847) и «Исследование законов мышления, на которых основаны математи- ческие теории логики и вероятностей» (1854) английский математик и логик Джордж Буль определяет принципы организации операций с множествами на основе двоичной алгебры. В 1936 г. двадцатилетний американский математик и инженер Клод Шеннон высказывает идею о возможности реализации булевой алгебры на основе реальных электрических цепей с реле и переключателями. Наконец, в 1937 г. английский математик Алан Матисон Тьюринг в статье «О вычислимых числах, применительно к проблеме разрешимости» предлагает математи- ческую модель так называемой «Универсальной машины Тьюринга» (UTM), явившейся первой концепцией вычислительной машины с хранимой в памяти программой. Тьюринг построил модель вычислений, в которой каждый алгоритм разбивался на последовательность простых, элементарных шагов, и показал, что его машина за данный большой, но конечный промежуток времени способна справиться с любым вычислением. Поскольку операции UTM на каждом такте зависели, в частности, от результата последнего действия, машина выполняла команду условного перехода. Таким образом, смоделированная Тьюрингом машина могла реализовать практически любой алгоритм (Горбатов В. А. с соавт., 2008). На основе идей Тьюринга и с его участием в 1943 г. в Англии был создан первый в мире электронный компьютер. Работы названных исследователей заложили основы систем вычислений на базе двоичной логики, которая оказала существенное влияние на формирование первых формальных моделей нейронов, а равно сделали возможным создание аппаратно-программных комплексов электронно-вычислительной техники, без которых была бы невозможна реализация динамических моделей сложных систем вообще и нейронов в частности.

В том же 1943 г., когда был запущен первый электронный компьютер, происходит еще одно событие, важнейшее для развития парадигм моделирования нейронов. В американском «Бюллетене математической биофизики» выходит совместная статья американского нейропсихолога Уоррена С. Мак-Каллока и талантливого девятнадцатилетнего логика и математика Уолтера Питтса «Логическое исчисление идей, присущее нервной активности» («A Logical Calculus of the Ideas Immanent in Nervous Activity»). В работе предлагается первая формальная модель нейрона и показывается возможность логических рассуждений сети, состоящих из таких нейронов. Сегодня предложенная этими чи-

480

кагскими исследователями модель нейрона обычно называется нейроном Мак-Каллока и Питтса (MCP). Соавторы так описали свои представления о биологическом нейроне, положенные ими в основу разработанной модели: «Нервная система является сетью нейронов, каждый из которых имеет тело и аксон. Места контакта нейронов, или синапсы, находятся всегда между аксоном одного и телом другого нейрона. В каждый момент времени нейрон имеет известный порог, который должно превзойти раздражение, чтобы вызвать нервный импульс. Все это, если не считать самого факта и момента появления импульса, определено нейроном, а не раздражением. От точки раздражения импульс распространяется по всему нейрону. Скорость распространения импульса по аксону пропорциональна диаметру аксона, тогда как любой нейрон может быть возбужден импульсами, приходящими через достаточное число соседних синапсов в течение латентного периода, который продолжается менее четверти миллисекунды. Наблюдаемая суммация импульсов в более длительных интервалах времени для отдельных нейронов невозможна и эмпирически зависит от структурных свойств сети. Между прибытием импульсов к нейрону и распространением собственного импульса нейрона имеется синаптическая задержка. В начале нервного импульса нейрон абсолютно невозбудим. Затем его возбудимость быстро восстанавливается, достигая в некоторых слу- чаях сверхнормального уровня, после чего она снова становится несколько ниже нормальной, а затем медленно возвращается к нормальному уровню. Частые возбуждения увеличивают понижение порога возбудимости ниже нормального уровня. Торможение есть прекращение или предотвращение активности одной группы нейронов посредством одновременной или предшествующей активности другой группы. Это требует существования синапсов, импульсы через которые тормозят нейрон, возбуждаемый через другие синапсы. Закон нервной активности «все или ничего» достаточен для того, чтобы возбуждение любого нейрона могло быть представлено как некоторое предложение. Физиологические соотношения, существующие при нервной активности, соответствуют, конечно, соотношениям этих предложений. Для каждой реакции любого нейрона имеется соответствующее утверждение некоторого простого предложения. В свою очередь оно влечет или некоторое другое простое предложение, или дизъюнкцию, или конъюнкцию (с отрицанием или без отрицания) аналогичных предложений, согласно с конфигурацией синапсов и порогом данного нейрона» (МакКаллок У., Питтс В., 2001). Авторы доказывают несколько теорем,

481

связанных с реализацией искусственных нейросетей на основе предложенной ими модели нейрона. В частности, они отмечают, что любое временное пропозициональное выражение реализуемо сетью определенного порядка; что облегчение прохождения активности по нейрону (обучение) и временная суммация импульсов могут быть заменены пространственной суммацией (в сети с увеличенным количеством нейронов); что изменяемые синапсы могут быть заменены петлями (обратной связи) и, в частности, нейрон, который становится и остается активным самопроизвольно, может быть аналогичным образом заменен петлей, приводимой в активность посредством одного рецептора в на- чале активности и тормозимой другим при ее прекращении. Авторы указывают, что «в психологии, как бы она ни определялась, описание сети дало бы все, что может быть достигнуто в этой области», и что «математической биофизике эта теория предоставляет способ строгой символической трактовки известных сетей и легкий метод конструирования гипотетических сетей с требуемыми свойствами». Ниже мы еще остановимся на структуре модели Мак-Каллока и Питтса и ее модификациях. Отметим, что, хотя сегодня мы видим в модели этих авторов большие упрощения, не позволяющие реализовать существенно важные способности нейрона как элемента сетевых когнитивных систем, в истории науки и техники работа этих двух соавторов сыграла огромную роль, породив к жизни целое научно-техническое направление: разработку искусственных нейронных сетей и нейрокомпьютеров.

Анализ сетевых архитектур выходит за рамки вопроса о моделировании нейрона, и мы его опустим. Упомянем лишь, что на основе модели нейрона Мак-Каллока и Питтса были выполнены такие прорывные разработки, как способный к распознаванию образов персептрон Фрэнка Розенблатта (1958 г.), созданный им же первый нейрокомпьютер Марк-1 (1959 г.), адаптивные сети Б. Уидроу и М. Е. Хоффа (1960 г.), сети с временной задержкой Е. Р. Кайяньело (1961 г.), многослойный персептрон с алгоритмами обучения с помощью обратного распространения сигнала ошибки Пола Вербоса (1974 г.) и Д. Е. Румельхарта (1986 г.), когнитрон (1975 г.) и неокогнитрон (1980 г.) К. Фукушимы, обучающаяся машина Больцмана, разработанная Г. Е. Хинтоном и Т. Дж. Сейновски (1986 г.), сети с адаптивным резонансом С. Гроссберга (1976 г.), автоассоциативные сети с обратными связями Дж. Хопфилда (1982 г.), самоорганизующиеся карты Тойво Кохонена с нейроном-победителем (1982 г.), сети Б. Коско с двунаправленной ассоциативной памятью, сети Хэмминга, разработанные Р. Липпманом (1987 г.), комбинирован-

482

ные сети встречного распространения Роберта Хехт-Нильсена (1987 г.) и мн. др. Все эти системы нашли свое применение для решения различных научно-исследовательских, технических и народнохозяйственных задач, они реализованы в многочисленных компьютерных программных и программно-аппаратных комплексах, им посвящена обширная литература (см. список дополнит. литературы, 19-38).

Достаточно сказать, что на сегодня имеются сотни прикладных программных пакетов для моделирования нейронов и разработки нейросетей. К основным из них можно отнести: пакет «NeuroSolutions» корпорации NeuroDimension, пакет «NeuralWorks» корпорации NeuralWare, пакет «Process Advisor» корпорации AI Ware, пакет «NeuroShell» фирмы Word Systems Group, пакет «BrainMaker» Pro фирмы California Scientific SoftWare, пакет «Stanistica Neural Networks» корпорации StatSoft, пакет «Нейроимитатор» российской компании Ней- рома-РД, пакет «Нейроконструктор» российской компании ТАСО и мн. др. Укажем, что на протяжении всей истории развития нейросетевых технологий предпринимались попытки аппаратной реализации модели нейрона и нейросетей на их основе. Упомянем в качестве примера, помимо первого нейрокомпьютера Розенблатта, такие разработки, как выпуск японскими фирмами Nihon Denki и Fujitsu первых персональных нейрокомпьютеров Neuro-07 и FMR 50 (1988 г.), разработка первой в мире большой интегральной схемы цифрового нейропроцессора в Таганрогском НИИ МВС под руководством А. В. Каляева (1989 г.), создание М. Маховальд и Р. Дугласом «кремниевого нейрона» (1992 г.), разработка Intel нейрочипа Ni1000, имитирующего работу 1024 нейронов (1994 г.), создание Цюрихским институтом нейроинформатики «кремниевой коры» на основе платы SCX-1, многочисленные реализации моделей нейронов на базе интегральных схем с программируемой логикой (ПЛИС) с помощью языка описания архитектуры (FPGA) и т.д. (Галушкин А. И., 2000).

Âапреле 2008 г. сотрудники корпорации Hewlett-Packard заявили

îсоздании принципиально нового пассивного элемента электротехники – мемристора, или резистора с памятью. Наряду с резистором, конденсатором и индуктором, мемристор стал четвертым элементом электротехнической теории цепей. Разработки Hewlett-Packard основывались на предположении о необходимости существования такого элемента, высказанном в 1971 г. Леоном Чуа из университета в Беркли. Созданный в Hewlett-Packard мемристор представляет собой двухстороннюю и двухслойную структуру. Слои из оксида титана зажаты

483

между двумя металлическими электродами перемычкой. Один слой оксида титана покрыт кислородными вакансиями, что делает его полупроводником, соседний слой этого покрытия не имеет и играет роль изолятора. Сопротивление мемристора постепенно меняется под действием приложенного напряжения, и, таким образом, этот аппаратный элемент приобретает свойство памяти. Компания надеется, что сделанное открытие удастся использовать для создания нового запоминающего устройства — RRAM (resistive random-access memory), имеющего некоторые свойства, напоминающие синаптическую пластичность (Strukov D. B. еt. al., 2008).

В заключение этого небольшого обзора еще раз отметим, что здесь упомянуты лишь некоторые основные результаты, заложившие основы современных парадигм моделирования нейрона, которые в равной степени базируются и на других открытиях многих исследователей в различных областях науки.

15.4. Классы моделей нейрона

Тойво Кохонен, описывая развитие нейромоделирования, выделяет три этапа становления модели нейрона. Первый этап становления моделей нейронов он обозначает как модели без памяти — это формальный нейрон Мак-Каллока-Питтса. В этих моделях могли добавляться обратные связи, могли применяться различные функции активации (начиная с 1967 г., когда Дж. Д. Кован ввел «сигмоидальную» характеристику и гладкую функцию активации для нейронов). Но все же свойства нейрона и сети, связанные с характером передачи сигнала, предполагались фиксированными. На втором этапе появляются адаптивные модели нейронов. В них адаптация и память являются свойствами, которые обусловлены параметрическими изменениями.

Наконец, на третьем этапе, в начале 1980-х годов, ставится вопрос о разработке моделей нейрона с пластичностью. Т. Кохонен был одним из первых авторов, начавших говорить о необходимости пластичности в модели нейрона. Как он пишет в монографии «Самоорганизующиеся карты», «примерно в 1980 г. у автора возникло ощущение, что модель с адаптивными параметрами межэлементных связей, значения которых могли меняться только иногда и в узком диапазоне, не была достаточно удовлетворительной для охвата всех аспектов самоорганизации... Трудно понять, как следы памяти, формирующиеся в течение краткого промежутка времени, могут сохраняться потом неопределенно долго, если память представляет собой просто интеграл от

484

сигналов» (Кохонен Т., 2008). В 1993 г. Кохонен предложил некоторые теоретические соображения, связывающие пластичность нейрона со специальными параметрами включенного управления пластичностью (Kohonen T., 1993). Одной из разновидностей искусственных нейросетей с пластичностью стали растущие нейронные сети, в которых нейрон может образовывать или терять новые связи с другими вершинами или даже формироваться или исчезать целиком (см. список дополнит. литературы, 41-42).

В целом классификация этапов и, соответственно, моделей нейронов (так как появление нового класса моделей не означало исчезновения предыдущего) Т. Кохонена представляется весьма обоснованной. К ней можно добавить лишь несколько замечаний. В принципе, адаптивные модели могут рассматриваться как подкласс моделей пусть и с ограниченной, но с пластичностью. Нейрофизиология выделяет на сегодня, как минимум, несколько видов нейропластичности: (1) формирование нервной системы — дифференцировка нейронов, миграция и спраутинг; (2) неонейрогенез у взрослых организмов, в том числе и такой вид пластичности, как пластичность стволовых клеток, их способность дифференцироваться в различные типы клеток (Гомазков О. А., 2006); (3) синаптическая пластичность; (4) регенерация. Мало сомнений в том, что в будущем будут выделены новые виды пластичности нейронов, например, связанные с генетическим регулированием развития клетки. Также большое значение имеет развитие потенциалов во времени.

Следует заметить, что классификация Т. Кохонена строится с позиции конструктора нейросетей, преследующего задачу наиболее удовлетворительно описать такую функцию нейрона, как обработка сигналов, с тем, чтобы использовать полученный нейроподобный элемент для формирования искусственных нейронных сетей, способных к решению полезных когнитивных задач. Но в последние десятилетия с ростом возможностей электронно-вычислительной техники все более актуальной становится задача создания «портретных» моделей нейронов, описывающих не только процессы обработки нейронами сигналов, но и все другие процессы жизнедеятельности клетки, например, внутриклеточный метаболизм. Такие модели получили условное название «электронная клетка», или клетка in silico. Первым проектом создания единой модели самовоспроизводящейся живой клетки был нача- тый в 1996 г. проект E-CELL, начатый М. Томитой, директором Institute for Advanced Biosciences at Keio University (http://www.e-cell.org/ecell).

485

Наиболее амбициозным проектом «портретного» моделирования нейронов в настоящее время является начатая в 2005 г. совместная работа корпорации IBM и Швейцарского федерального технологического института в Лозанне, получившая название Blue Brain Project. В рамках проекта ученые моделируют организацию и взаимодействие примерно 10 тыс. клеток неокортикальной колонки мозга.

Принимая во внимание назначение моделей и степень приближения к моделируемой предметной области (живому нейрону), представляется возможным выделить два основных класса моделей нейронов:

1.Модели обработки сигналов в нейроне.

2.«Ïортретные» модели нервных клеток.

При этом первый класс моделей отчетливо делится на:

1.1.Простые формальные модели нейрона, берущие свое начало от модели Мак-Каллока и Питтса.

1.2.Биологически правдоподобные модели обработки сигналов

âнейроне.

При таком делении видна вложенность одного класса или подкласса в «вышестоящие» классы. Так, простая формальная модель нейрона как простого интегратора может быть получена в рамках биологически правдоподобных моделей обработки сигналов в нейроне путем обнуления некоторых параметров. И, соответственно, любые сколь угодно точ- ные модели обработки сигналов нейроном являются лишь частью модели нервной клетки в целом.

Заметим также, что не представляется необходимым выделять типы моделей нейронов по способу их реализации: в виде программного обеспечения или в «железе», в виде аппаратных решений.

Выводы

• Актуальность моделирования нейрона проистекает из двух основных обстоятельств. Во-первых, нейрон является сложной гиперсистемой, его структура и динамика протекающих в нем процессов может быть наиболее эффективно отображена лишь в моделях, реализованных на базе компьютерных программно-аппаратных комплексов. Вовторых, модель нейрона (нейроподобный элемент) служит основой для построения искусственных нейросетевых интеллектуальных систем, предназначенных для решения широкого круга задач в таких сферах, как управление техническими устройствами, распознавание образов, экспертно-аналитические системы, прогнозирование, обработка естественного языка и других.

486

•Под моделью нейрона (нейроподобным элементом, искусственным нейроном) понимается представление исходной структуры живого нейрона и протекающих в нем процессов в форме математических объектов и отношений между ними, при котором структура нейрона и протекающие в нем процессы превращаются в истинные предложения

îíèõ.

•Моделирование нейрона развивается в рамках таких междисциплинарных научных направлений, как математическая биология и биоинформатика, вычислительные нейронауки, компьютерные науки и др. И хотя парадигмы моделирования нейрона развиваются часто независимо друг от друга в рамках нейробиологии и компьютерных наук, следует признать ведущую роль нейробиологии в формировании наших представлений о нейроне, служащих совершенствованию вновь создаваемых моделей нейронов, в том числе для их использования в искусственных интеллектуальных системах.

•Принимая во внимание назначение моделей и степень приближения к моделируемой предметной области (живому нейрону), представляется возможным выделить два основных класса моделей нейронов:

(1) модели обработки сигналов в нейроне и (2) «портретные» модели нервных клеток. При этом первый класс моделей отчетливо делится на (1.1.) простые формальные модели нейрона и (1.2.) биологически правдоподобные модели обработки сигналов в нейроне.

Цитированная литература

Рекомендуемая

1.Нейронные сети: история развития теории / Под общ. ред. А. И. Галушкина, Я.З. Цыпкина. М.: ИПРЖР, 2001. 840 с.

2.Кохонен Т. Самоорганизующиеся карты. М.: БИНОМ. Лаборатория знаний, 2008. 655 с.

3.Галушкин А. И. Нейрокомпьютеры. М.: ИПРЖР, 2000. 528 с.

4.Николлс Дж. Г., Мартин А. Р., Валлас Б. Дж., Фукс П. А. От нейрона к мозгу. М.: Едиториал УРСС, 2003. 672 с.

5.Савельев А.В. На пути к общей теории нейросетей. К вопросу о сложности // Нейрокомпьютеры: разработка, применение. 2006. ¹ 4-5. Ñ. 4-14.

Дополнительная

1.Бамбиндра В. П., Брагина Т. А., Ионов И. П., Нуртдинов Н. Р. Структура и модели нейронных комплексов головного мозга. Л.: Наука, 1988. С. 22.

2.Терехов В. А., Ефимов Д. В., Тюкин И. Ю. Нейросетевые системы управления. М.: ИПРЖР, 2002. 480 с.

487

3.Нейроуправлямые конструкции и системы / Под ред. Н. П. Абовского. М.: Радиотехника, 2003. 368 с.

4.Нейрокомпьютеры в системах обработки сигналов / Под ред. Ю. В. Гуляева и А. И. Галушкина. М.: Радиотехника, 2003. 224 с.

5.Нейрокомпьютеры в системах обработки изображений / Под ред.

Þ.В. Гуляева и А. И. Галушкина. М.: Радиотехника, 2003. 192 с.

6.Ширяев В. И. Финансовые рынки и нейронные сети. М.: Издательство ЛКИ, 2007. 224 с.

7.Hebb D. O. The Organisation of Behavior: A Neuropsychological Theory. New York: Wiley, 1949. p. 62-63.

8.Павлов И. П. Условный рефлекс // Мозг и психика. М.: Издательство «Институт практической психологии», Воронеж: НПО «МОДЭК», 1996 С. 245.

9.Роуз С. Устройство памяти. От молекул к сознанию. М.: Мир, 1995. С. 250-252.

10.Хьюбел Д. Глаз, мозг, зрение. М.: Мир, 1990. С. 198-225.

11.An Enriched Environment Stimulates An Increase In The Number Of Nerve Cells In Brains Of Older Mice // Press releases The Salk Institute for Biological Studies, April 24, 1997.

12.Running Boosts Number Of Brain Cells, According To New Salk Study // Press releases The Salk Institute for Biological Studies, February 22, 1999.

13.Exercise Makes Mice Smarter, Salk Scientists Demonstrate // Press releases The Salk Institute for Biological Studies, November 08, 1999.

14.Salk Scientists Demonstrate For The First Time That Newly Born Brain Cells Are Functional In The Adult Brain // Press releases The Salk Institute for Biological Studies, February 27, 2002.

15.Neural Progenitor Cells Recovered From Postmortem And Adult Tissue // Press releases The Salk Institute for Biological Studies, May 02, 2001.

16.«Jumping genes» contribute to the uniqueness of individual brains // Press releases The Salk Institute for Biological Studies, June 14, 2005.

17.Горбатов В. А., Горбатов А. В., Горбатова М. В. Теория автоматов. М.: АСТ:Астрель, 2008. С. 60.

18.Мак-Каллок У., Питтс В. Логическое исчисление идей, относящихся к нервной активности // Нейронные сети: история развития теории / Под общ. ред. А. И. Галушкина, Я. З. Цыпкина. М.: ИПРЖР, 2001. С. 5-22.

19.Хайкин С. Нейронные сети: полный курс. М.: Издательский дом «Вильямс», 2006. 1104 с.

20.Круглов В. В., Борисов В. В, Искусственные нейронные сети. Теория и практика. М.: Горячая линия – Телеком, 2000. 382 с.

21.Головко В. А. Нейронные сети: обучение, организация и применение. М.: ИПРЖР, 2001. 256 с.

22.Омату С., Халид М., Юсоф Р. Нейроуправление и его приложения. М.: ИПРЖР, 2002. 272 с.

23.Галушкин А. И. Нейроматематика. М.: ИПРЖР, 2002. 448 с.

488

24.Медведев В. С., Потемкин В. Г. Нейронные сети. Matlab 6. М.: ДиалогМИФИ, 2002. 496 с.

25.Зозуля Ю. И. Интеллектуальные нейросистемы. М.: Радиотехника, 2003.

144 ñ.

26.Люггер Дж. Ф. Искусственный интеллект: стратегии и методы решения сложных проблем. М.: Издательский дом «Вильямс», 2003. 864 с.

27.Калан Р. Основные концепции нейронных сетей. М.: Издательский дом «Вильямс», 2003. 288 с.

28.Оссовский С. Нейронные сети для обработки информации. М.: Финансы и статистика, 2004. 344 с.

29.Тархов Д. А. Нейронные сети. Модели и алгоритмы. М.: Радиотехника, 2005. 256 с.

30.Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы. М.: Горячая линия – Телеком, 2006. 452 с.

31.Толкачев С. Ф. Нейронное программирование диалоговых систем. СПб.: КОРОНА-Век, 2006. 192 с.

32.Редько В. Г. Эволюция, нейронные сети, интеллект: Модели и концепции эволюционной кибернетики. М.: КомКнига, 2006. 224 с.

33.Чубукова И. А. Data Mining. М.: Интернет-университет информационных технологий; БИНОМ. Лаборатория знаний, 2006. 382 с.

34.Барский А. Б. Логические нейронные сети. М.: Интернет-университет информационных технологий; Бином. Лаборатория знаний, 2007. 352 с.

35.Яхъяева Г. Э. Нечеткие множества и нейронные сети. М.: Интернетуниверситет информационных технологий; Бином. Лаборатория знаний, 2008. 316 с.

36.Комарцова Л. Г., Максимов А. В. Нейрокомпьютеры. М.: Изд-во МГТУ им. Н. Э. Баумана, 2004. 400 с.

37.Кирсанов Э. Ю. Нейрокомпьютеры с параллельной архитектурой. М.: ИПРЖР, 2004. 221 с.

38.Аляутдинов М. А., Галушкин А. И., Казанцев П. А., Остапенко Г. П. Нейрокомпьютеры: от программной к аппаратной реализации. М.: Горячая линия – Телеком, 2008. 152 с.

39.Strukov D. B., Snider G. S., Stewart D. R.,Williams R. S. The missing memristor found // Nature. 453. pp. 80-83.

40.Kohonen T. Neural Networks. 1993. ¹ 6. p. 895.

41.Назаров А. В., Лоскутов А. И. Нейросетевые алгоритмы прогнозирования и оптимизации систем. СПб.: Наука и техника, 2003. С. 241-243.

42.Ященко В. А., Сорокин Д. Ю. Построение и применение экспертной системы реального времени на основе нейроподобных растущих сетей // Искусственный интеллект. 2001. ¹ 2. С. 692-698.

43.Гомазков О. А. Нейротрофическая регуляция и стволовые клетки мозга. М.: Èçä-âî «ÈÊÀл, 2006. Ñ. 110.

44.http://www.e-cell.org/ecell

489