Лекция 1. История развития нейронных сетей. Определение инс, свойства инс, достоинства, недостатки. Типовые постановки задач, решаемых инс, и области их применения. Исторический аспект

Людей всегда интересовало их собственное мышление. Обсуждение этого вопроса, протекавшее в горячих спорах философов и теологов с физиологами и анатомами, принесло мало пользы, так как сам предмет весьма труден для изучения.

Значительного прогресса в этой области достигли нейробиологи и нейроанатомы. В процессе накопления ими знаний выяснилось, что мозг имеет ошеломляющую сложность. Сотни миллиардов нейронов, каждый из которых соединен с сотнями или тысячами дру­гих, образуют систему, далеко превосходящую наши самые смелые мечты о суперкомпьютерах. Лучшее понимание функционирования нейрона и картины его связей позволило исследователям создать математические модели для проверки своих теорий. Эксперименты теперь могут проводиться на цифровых компьютерах без привлечения человека или животных, что решает многие практические и морально-этические проблемы. В первых же работах выяснилось, что эти модели не только повторяют функции мозга, но и способны выполнять функции, имеющие свою собственную ценность. Поэтому возникли и остаются в настоящее время две взаимно обогащающие друг друга цели нейронного моделирования: первая - понять функционирование нервной системы человека на уровне физиологии и психологии и вторая - создать вычислительные системы (искусственные нейронные сети), выполняющие функции, сходные с функциями мозга. Именно эта последняя цель и будет предметом курса лекций.

Параллельно с прогрессом в нейроанатомии и нейрофизиологии психологами были созданы модели человеческого обучения. Одной из таких моделей, оказавшейся наиболее плодотворной, была модель Д.Хэбба, который в 1949г. предложил закон обучения, явившийся стартовой точкой для алгоритмов обучения искусственных нейронных сетей. Дополненный сегодня множеством других методов он продемонстрировал ученым того времени, как сеть нейронов может обучаться.

В пятидесятые и шестидесятые годы группа исследователей, объединив эти биологические и физиологические подходы, создала первые искусственные нейронные сети. Выполненные первоначально как электронные сети, они были позднее перенесены в более гибкую среду компьютерного моделирования, сохранившуюся и в настоящее время. Первые успехи вызвали взрыв активности и оптимизма. Минский. Розенблатт, Уидроу и другие разработали сети, состоящие из одного слоя искусственных нейронов. Часто называемые персептронами, они были использованы для такого широкого класса задач, как предсказание погоды, анализ электрокардиограмм и искусственное зрение. В течение некоторого времени казалось, что ключ к интеллекту найден, и воспроизведение человеческого мозга является лишь вопросом конструирования достаточно большой сети.

Но эта иллюзия скоро рассеялась. Сети не могли решать задачи, внешне весьма сходные с теми, которые они успешно решали. С этих необъяснимых неудач начался период интенсивного анализа. Минский, используя точные математические методы, строго доказал ряд теорем, относящихся к функционированию сетей.

Его исследования привели к написанию книги («Персептроны», Мир, 1971), в которой он вместе с Пейпертом доказал, что используемые в то время однослойные сети теоретически не способны решить многие простые задачи, в том числе реализовать функцию «Исключающее ИЛИ» (на выходе единица, когда только один из входов равен единице). Блеск и строгость аргументации Минского, а также его престиж породили огромное доверие к книге - ее выводы были неуязвимы. Разочарованные исследователи оставили поле исследований ради более обещающих областей, а правительства перераспределили свои субсидии, и искусственные нейронные сети были забыты почти на два десятилетия.

Тем не менее, несколько наиболее настойчивых ученых, таких как Кохонен, Гроссберг, Андерсон продолжили исследования. Наряду с плохим финансированием и недостаточной оценкой ряд исследователей испытывал затруднения с публикациями. Поэтому исследования, опубликован­ные в семидесятые и в начале восьмидесятых годов, разбросаны в массе различных журналов, некоторые из которых малоизвестны. Постепенно появился теоретический фундамент, на основе которого сегодня конструируются наиболее мощные многослойные сети. Оценка Минского оказалась излишне пессимистичной, многие из поставленных в его книге задач решаются сейчас сетями с помощью стандартных процедур.

За последние несколько лет теория стала применяться в прикладных областях, и появились новые корпорации, занимающиеся коммерческим использованием этой технологии. Нарастание научной активности носило взрывной характер. В 1987 г. было проведено четыре крупных совещания по искусственным нейронным сетям и опубликовано свыше 500 научных сообщений - феноменальная скорость роста.

Итак, в 80-х годах наблюдается экспоненциальный рост интереса к нейронным моделям и созданию на их основе нейрокомпьютеров.

Это объясняется следующими факторами:

- нейробиологи стали лучше понимать, каким образом осуществляется обработка информации в природе;

- снижение стоимости компьютеров и расширение доступа к ним позволили детально анализировать модели;

- трудности с реализацией логических систем искусственного интеллекта, создаваемых в рамках японского проекта ЭВМ 5-го поколения;

-появление принципиально новых идей в отношении организации памяти и обучения нейросетей ("Нейропарадигмы");

-заметное отставание темпов роста производительности ЭВМ от стремительного увеличения потребности в высокопроизводительных вычислениях.

Последнее стимулировало интенсификацию исследований в области параллельных вычислений и многопроцессорных систем. ИНС как естественные высокопараллельные системы, способные решать сложные неформализованные задачи, снова оказались в центре внимания ученых. Ключевую роль при этом сыграла работа Д.Хопфилда, сулившая радикальное решение проблемы обучения, бывшей камнем преткновения для персептрона.

- возрос интерес к параллельным вычислениям и аналоговым микросхемам высокой степени интеграции, позволяющим реализовать функции нейроноподобных схем.

В период 1983-86 гг. работы в области ИНС принимают характер настоящего бума. В США, Японии и странах ЕЭС разворачиваются крупные государственные программы исследований, ставящие целью создание к 1995 г. опытных образцов и освоение до 2000 г. массового производства нейрокомпьютеров - ЭВМ нового поколения на основе ИНС. Вот наиболее известные из этих программ:

США - программа DARPA - Управления перспективного планирования НИР военного применения - 1987-1995 гг. - 400 млн. долл.;

Япония - программа Human Frontier (граница) - 1988-1996 гг. - 1 триллион иен (6,6 млрд. долл.);

ЕЭС - программа BRAIN (Basic Research on Adaptive Inteligence - Базовые исследования адаптивного интеллекта) - 1988-1996 гг. - 1,2 млн. долл. ежегодно.

Уже в 1987 г. в США состоялись две международные конференции по нейронным сетям, на одной из которых было представлено около 400, а на второй - более 150 докладов. Проведение таких международных форумов по ИНС становится регулярным, а их число вскоре достигает нескольких десятков в год. На наиболее представительной из последних конференций, ICNN-96 (США), было представлено более 500 докладов. В Европе только за сентябрь 1997 г. на конференциях EUFIT-97 (Германия) и ICIAP (Италия) прочитано около сотни докладов по ИНС.

Атмосферу нейрокомпьютерного бума, охватившую мир в конце 80-х, характеризует высказывание президента США Буша, который в связи с бурным развитием ИНС назвал 90-е годы "десятилетием мозга". Государственная поддержка и обильное финансирование разработок привело к быстрому формированию целой исследовательской индустрии, созданию и организации массового производства необходимого аппаратного и программного оснащения: нейрокомпьютеров и нейроакселераторов для ПЭВМ, нейрочипов и нейропрограмм, учебных курсов на CD-ROM и т.п. Уже к 1992 г. только в США более 150 компаний специализировалось на выпуске различной нейропродукции, раскупаемой университетами и лабораториями, занятыми выполнением исследовательских программ.

По оценкам компании Business Communications Company Inc., в конце 1992 г. объем мирового рынка нейрокомпьютеров составлял $120 млн. (аппаратное обеспечение) и $50 млн. (программное обеспечение). Предсказывалось, что к 2000-му году он вырастет до $790 и $260 млн. соответственно.