Введение
Одной из задач создателей современной вычислительной техники является разработка принципов построения интеллектуальных средств обработки информации. Широко применяемые в настоящее время системы искусственного интеллекта используют, как правило, алгоритмические методы обработки информации. Однако эти методы не всегда эффективны при решении целого ряда так называемых трудноформализуемых задач искусственного интеллекта.
В то же время, мозг и нервная система живых организмов являются примером систем, построенных на совершенно иных принципах обработки информации, позволяющих эффективно обрабатывать сенсорную информацию и решать задачи управления. Эти возможности явились предпосылкой для попыток достичь аналогичных результатов в искусственных системах, в той или иной степени основанных на принципах построения нейронных систем живого мира.
Исследования и разработки искусственных нейронных сетей (ИНС), тесно связанные с исследованиями в области искусственного интеллекта (ИИ) и биоэлектроники (бионики), насчитывают полувековую историю.
Еще в 40-х годах была предпринята попытка разработать самоорганизующиеся системы, способные обучаться интеллектуальному поведению в процессе взаимодействия с окружающей средой. В 1943 г. У.Маккаллок и У.Питтс положили начало теоретическим исследованиям нейронных систем, опубликовав работу «A Logical Calculus of the Ideas Imminent in Nervous Activity», в которой впервые вводится понятие формального (искусственного) нейрона. Важную роль в развитии представлений о механизмах функционирования нейронных сетей сыграла опубликованная в 1949 г. монография Д.Хебба «The Organization of Behavior», где Д.Хебб высказал предположение о том, что кора головного мозга является структурой активной распределенной памяти, самоорганизующейся и ассоциативной, а не логико-цифровой.
История нейронных сетей распадается на два периода, первый из которых совпадает с периодом жизни лампово-транзисторных ЭВМ (50-60-е годы). Затем наступил период спада и охлаждения интереса, который отчетливо связан с развитием микроэлектроники — технологии ИС и БИС (70-е годы). Начиная с достижения технологического уровня СБИС (80-е годы), наблюдается сильный всплеск интереса к искусственным нейронным сетям, что объясняется реализацией с помощью НС идеи параллельной обработки информации для задач распознавания образов, т.е. задач, требующих весьма большой производительности ЭВМ.
Одним из путей подхода к решению этой задачи является теория перцептронов, основоположником которой был Розенблатт [1]. Он разработал теорию и ввел понятие перцептрона — искусственной нейронной сети специального вида, способной обучаться распознаванию образов. Основная идея Розенблатта сводится к попытке замены детерминированных логических схем на вероятностные системы из произвольно связанных цепей. Оказывается, что в таких системах некоторая определенная система связей обладает большей вероятностью достижения в рамках беспорядочных связей правильного статистического функционирования, т.е. приближается к некоторой идеальной для данной задачи системе связей. Перцептроны существуют и в форме программ, и как специально сконструированные дискретные или непрерывные вычислительные машины. Перцептроны, классифицирующие образы-векторы в n-мерном пространстве, интенсивно исследовались в связи с проблемой ввода зрительной и акустической информации в устройства ИИ [2]. Однако уже на ранней стадии теоретического исследования дискретных перцептронов стало очевидным, что процессы обучения искусственных и биологических НС принципиально отличаются [3]. Предложенная Маккаллоком и Питтсом упрощенная аналогия между структурой и функциями естественных нейронных элементов и цифровых логических схем способствовала созданию современного цифрового компьютера и одновременно привела к появлению упрощенных представлений о работе мозга. Появившиеся в то время компьютеры , в принципе, позволяли исследовать нейроподобные структуры, однако наиболее перспективным казался сформировавшийся обобщенный и независимый формально-логический дедуктивный подход к моделированию интеллекта.
Это расхождение по сути до сих пор не преодолено искусственными НС, которые, тем не менее, вызывают большой оптимизм современных исследователей.
Дело в том, что нейроподобные структуры обладают рядом особенностей, делающих их предпочтительными при решении сложных задач:
параллельностью обработки информации;
ассоциативностью;
способностью к автоматической классификации;
способностью к обучению;
высокой надежностью.
Почему же, в таком случае, на протяжении второй половины 60-х и всех 70-х годов не было интенсивного развития ИНС? Можно указать две главные причины:
ИНС — нелинейная система, трудно поддающаяся анализу. Поэтому подавляющее число исследователей пошли по пути сильного упрощения — линеаризации исследуемых систем, что привело к потере основных преимуществ НС.
Слабое развитие элементной базы и, следовательно, адекватных аппаратных средств.
Однако к концу 70-х годов внутренняя логика развития средств вычислительной техники сама привела к появлению систем со всевозрастающей степенью параллелизации и заставила вновь обратиться к идее моделирования биологических нейронных сетей. Значительный рост активности в области их моделирования обычно связывают с появлением в 1982 г. работ Д.Хопфилда, в которых искусственная нейронная сеть рассматривается как динамическая самоорганизующаяся система.
С середины 80-х годов область вступила в стадию бурного развития, которая характеризуется как “информационный взрыв” в исследованиях по моделированию биологических нейронных сетей. Образовались сотни фирм, связанных с нейросетевой технологией обработки информации, начались серийный выпуск и эксплуатация основанных на нейросетевой технологии обработки информации прикладных систем, которые, как ожидается, окажут большое влияние на многие сферы жизни общества.
Нейрокомпьютеры — это новый класс вычислительной техники, основой которого являются искусственные нейронные сети. По способу реализации они различаются.
Возможна:
программная эмуляция на ПЭВМ и суперЭВМ;
программно-аппаратная эмуляция на цифровых СБИС;
аппаратная реализация на нейрочипах, функционально ориентированная для конкретного алгоритма.
Исчерпывающая библиография (сотни ссылок) по НС до 1970 г. содержится в книгах Розенблатта [1] и Ханта [2], а с 1970г. по настоящее время — в книгах Уоссермена [4] и Кохонена [5], в обзорной статье Галушкина [6]. Зарубежные разработки и внедрения нейрокомпьютеров используют, в основном, алгоритм обратного распространения сигнала ошибки, хотя разработано много других нейросетевых алгоритмов обучения [7]. Каждый алгоритм имеет свои специфические преимущества, однако следует подчеркнуть, что никакая из сегодняшних НС не избавлена от серьезных ограничений в своих возможностях к обучению и распознаванию за конечное время, а также от проблем надежности, устойчивости и информационной емкости [4]. К числу подобных относятся, например, алгоритмы встречного распространения ошибки, Хопфилда, конкурентного обучения, популяционного кодирования, двунаправленной ассоциативной памяти, адаптивного резонанса, вероятностной НС, радиальных базисных функций, линейной квантизации векторов, ограниченной кулоновской энергии и др.
Для улучшения существующих НС требуются, несомненно, новые идеи и технологии. Следует отметить, что зарубежные разработки НС и нейрокомпьютеров опираются на самую современную микроэлектронную элементную базу, включающую как производство разнообразных нейрочипов, так и системы на пластине. Это позволяет зарубежным исследователям разрабатывать универсальные нейрокомпьютеры, в то время как ограниченные финансовые ресурсы и отставание современной России в микроэлектронной элементной базе не позволяют нам конкурировать в этой области.
Очевидно, что в ближайшее время сфера применения НС за рубежом будет значительно расширяться, прежде всего, в интересах военной техники. Это следует из того, что в финансировании работ по нейрокомпьютерам в США участвует Управление перспективного планирования НИР МО США (DARPA), Управление научных исследований ВВС США (AFSOR), Управление Военно-морских исследований (ONR), организация «Стратегическая Оборонная Инициатива» (SDIO). Главная цель МО США - создание нейрокомпьютера с производительностью до 1012 нейропереключений в 1 с. Общая стоимость нейрокомпьютерных программ США, рассчитанных на 7 лет, оценивается в 1 млрд. дол.
Видимо не случайно ONR финансирует работы в области нейронных сетей, начиная с работ Розенблатта 1957 г. В работе [8] содержатся подробный анализ проблем использования нейронных сетей в интересах ВМС, а также некоторые результаты фундаментальных исследований по ONR-программе естественных (биологических) и электронных (искусственных) НС (1989-1993 гг., 20 млн. дол.).
Следует отметить, что цифровые СБИС не являются единственной элементной базой нейрокомпьютеров [9],[13]. Большие перспективы потенциально открываются перед оптоэлектронными и оптическими [10], сверхпроводниковыми [11] и магнитными (ЦМД и ВБЛ - цилиндрические магнитные домены и вертикальные блоховские линии) [12] нейрокомпьютерами. Однако цифровые СБИС до сих пор остаются вне конкуренции по критерию "эффективность/стоимость", поэтому в данном отчете рассматривается только программная эмуляция искусственной цифровой нейронной сети. Заметим, что имеющийся у исполнителей опыт показывает, что современная элементная база позволяет реализовать аппаратуру с быстродействием до 1010 GCUPS (1010 связей, просматриваемых в секунду) при условии адекватного финансирования в течение 1997-2000 гг.
Перед тем, как приступить к рассмотрению основ организации и функционирования искусственных нейронных сетей, приведем краткие сведения об их биологических прототипах.
1.Принципы организации и функционирования искусственных нейронных сетей
1.1. Основные нейрофизиологические данные о биологических нейронных сетях
Человеческий мозг состоит из приблизительно 1011 взаимосвязанных элементов — нейронов, каждый из которых имеет в среднем 104 связей с другими нейронами, называемых синапсами.
Нейронная сеть мозга распределена по всему его объему. Решающим образом высшую нервную деятельность определяет кора головного мозга, называемая неокортексом. При вертикальном сечении в неокортексе можно различить серый и белый слои.
Первый слой образован преимущественно собственно нейронами, а второй слой — это слой аксонов, связывающих нейроны. В общей массе серого слоя приблизительно 4% занимают ядра нейронов, так называемые соматы, а около 80% массы относится к мохнатому веществу, функциональные выходные отростки которого, так называемые дендриты, переплетены друг с другом и сильно разветвлены.
Нервная система обеспечивает связи каждого живого организма с внешней средой. Поэтому организм всегда соответствующим образом отвечает на внешние и внутренние раздражения. Нервная система обеспечивает эти функции за счет регистрации внешних и внутренних раздражающих факторов посредством рецепторов, передачи этих раздражающих импульсов к другим нервным клеткам или их образованиям для соответствующей обработки и перевод этих импульсов на соответствующие исполнительные органы, так называемые эффекторы.
В сером слое неокортекса существуют специальные области, приспособленные для обработки информации, поступающей от отдельных рецепторов, так называемые проекционные области и ассоциативные области, в которых происходит комплексная обработка информации.
Все проекционные пути проходят через подкорковые области мозга, которые обеспечивают целый ряд других, в частности, регулирующих видов деятельности высшей нервной системы и всего организма, и взаимодействуют с подкорковыми областями мозга.
Обработка информации в мозге протекает до уровня той ассоциативной области, которая в данный момент времени управляет деятельностью эффекторов и осуществляется параллельно, т.е. сразу в нескольких ассоциативных областях. Процессы, происходящие в ассоциативных областях, носят последовательный характер.
Основным базовым функциональным элементом неокортекса и нервной системы является нейрон. Нейрон — это специализированная клетка, которая в процессе развития биологического вида приобрела способность передачи, обработки и хранения информации, необходимой для реализации физиологических функций организма. Структура биологического нейрона схематически показана на рис. 1.1.
Рис.1.1.Структура биологического нейрона
Приспособление структуры нейрона для передачи сигналов произошло в результате того, что кроме собственного тела в процессе развития образовались входные и выходные каналы — дендриты и аксоны.
Для хранения информации в нейронах имеются так называемые синапсы. Эти образования представляют собой в большинстве случаев однонаправленные «ворота» между аксонами пресинаптических нейронов и дендритами постсинаптического нейрона. Их основное назначение заключается в хранении информации в течение всего жизненного цикла организма.
С функциональной точки зрения синапсы делят на возбуждающие и ингибирующие. Возбуждающие синапсы позволяют увеличить интенсивность межнейронных взаимодействий в нервной системе, а ингибирующие, наоборот, предопределяют затухание нервных процессов.
В работе [14] показано, что основой всех функций памяти мозга является именно механизм деятельности синапсов, количество которых в головном мозге человека составляет около 1014—1015. След памяти в нервной системе возникает, вероятно, как закодированное изменение синаптических связей на пути между рецептором и эффектором. Закодированная информация о функции, присущей синапсу для данного следа памяти, вероятно, размещается в генетическом механизме нейронов, участвующих в возникновении этого следа. Экспериментально доказано, что след памяти не исчезает при различных повреждениях неокортекса. Поэтому считают, что функция памяти в мозге распределена, по крайней мере, по ассоциативным областям.
Нейрон, в сущности, является элементарным логическим функциональным блоком. Типичные нейроны мозга включают в себя около 104 синапсов и при их помощи принимают информацию от приблизительно 103 близлежащих нейронов. После каждого прохождения сигнала синаптическая проходимость изменяется, что является условием возможности запоминания информации нейроном.
Огромные функциональные возможности мозга обусловлены не только большим количеством нервных клеток, но, в решающей степени, связями между ними.
Нейрон получает информацию от сотен тысяч нейронов и, в свою очередь, передает информацию сотням или тысячам других нейронов. По современным сведениям [14] нейроны с одинаковыми или близкими функциями часто бывают связаны между собой в нейронные ансамбли, которые также могут взаимодействовать друг с другом.
Общая особенность биологических нейронных сетей — естественный параллелизм и коллективизм их работы. Функционирование отдельного нейрона имеет ограниченную значимость: он выполняет сравнительно простую функцию, например, пороговую обработку входных сигналов. Мозг, то есть огромное количество взаимодействующих нейронов, способен выполнять сложнейшие задачи.
Изучением функционирования нервных клеток и головного мозга в целом занимается наука нейрофизиология. Предметом обсуждения в данном пособии являются информационные аспекты их функционирования.