примерно одинаковое количество нейронов. Но только мозг взрослого че­ ловека отличается упорядоченностью межнейронных синаптических свя­ зей. По-видимому, обучение мозга и есть процесс изменения архитектуры нейронной сети, сопровождаемый настройкой синапсов.

2.2. Становление и развитие ИНС

Наиболее емким представляется следующее определение ИНС как адаптивной машины, данное в [6]:

Искусственная нейронная сеть — это существенно парал­ лельно распределенный процессор, который обладает способно­ стью к сохранению и репрезентации опытного знания. Она сходна с мозгом в двух аспектах:

1.Знание приобретается сетью в процессе обучения;

2.Для сохранения знания используются силы межнейронных со­ единений, называемые также синоптическими весами.

История ИНС начинается в 1943, когда Маккаллок и Питтс предложи­ ли модель «порогового логического нейрона» и показали, что любая функция, которая может быть вычислена на электронно-вычислительной машине, может быть также вычислена сетью нейронов [7]. Сигналы X/, по­ ступающие на вход нейрона, умножаются на весовые коэффициенты ТУ,- (синаптические веса). Далее они суммируются, и результирующий сигнал, сдвинутый на величину смещения щ>

подается на вход блока, реализующего активационную функцию нейрона.

Щ

х2

X

п

Рис. 8. Модель нейрона

Традиционно активационная функция имеет ступенчатый вид, то есть сигнал на выходе нейрона у появляется лишь тогда, когда суммарное входное воздействие превышает некоторое критическое значение.

29

Рис. 9. Типы активационных функций нейронов

Хебб [8], изучая клеточные механизмы деятельности мозга, сформули­ ровал правило обучения, которое увеличивает силу связи между пре- и постсинаптическим нейронами, если активность обоих совпадает во вре­ мени,

Другая концепция обучения в рамках более развитой архитектуры се­ ти, названной перцептроном, была предложена и успешно применена для моделирования работы зрительного тракта Розенблаттом [9].

В своей самой простой версии многослойный перцептрон (см. рис. 10) представляет собой сеть с одним входным, одним выходным и одним или более внутренними или, как говорят, скрытыми слоями нейронов. Общей чертой для всех многослойных перцептронов является прямонаправленность сети, характеризующаяся передачей информации от входного слоя через вскрытых слоев к выходному слою. В стандартной топологии, узел

/' в слое к, (А=1,...Д+1) соединяется посредством весов щ?' со всеми у уз­ лами предыдущего слоя к-\. Здесь #=0 и к=К+\ обозначают, соответствен­ но, входной и выходной слои.

входной выходной слой скрытые слои слой

Рис. 10. Схема прямонаправленной слойной ИНС

30

Модифицированные версии могут иметь прямые связи между несмеж­ ными слоями, связи в пределах одного слоя, хаотичные связи между слоя­ ми вместо регулярных.

Входной слой перцептрона служит лишь для приема и ретрансляции входных сигналов на нейроны скрытого слоя. В скрытых слоях происхо­ дит основное нелинейное преобразование информации, а выходной слой осуществляет суперпозицию взвешенных сигналов последнего из скрытых слоев. В качестве нелинейности узлы скрытого слоя используют диффе­ ренцируемые сигмоидальные функции

Под обучением перцептрона понимают целенаправленный процесс из­ менения значений весов межслоиных синаптических связей, итеративно повторяемый до тех пор, пока сеть не приобретет необходимые свойства. В основе обучения лежит использование тренировочных данных, объеди­ ненных в шаблоны (см. рис. 11).

Рис. 11. Контролируемое обучение ИНС

31

Каждый шаблон (Х,0) включает в себя вектор известных входных

ИНС последовательно подаются данные из тренировочного набора шаб­ лонов Е=тХ,Б) ,<7 = 1,(?|, после чего вычисляется ошибка между фактиче­ ским V = (У1,У2,...,Уг') и желаемым выходами сети

Здесь под нормой ||| обычно понимают евклидово расстояние между век­

торами V и Б.

Далее, с помощью определенного правила или алгоритма происходит такая модификация настроечных параметров сети, чтобы эта ошибка уменьшалась. Процесс повторяется до достижения сетью способности вы­ полнять желаемый тип преобразования «вход-выход», заданного в неяв­ ном виде тренировочным набором шаблонов Н.

Благодаря обучению сеть приобретает способность правильно реаги­ ровать не только на шаблоны, предъявленные в процессе тренировки, но также хорошо справляться с другими наборами данных из допустимого пространства входов, которые она никогда не «видела» ранее. В этом смысле говорят, что ИНС обладает свойством обобщения (^епегаНгаиоп).

Ошибка в обобщении, всегда имеющая место на выходе сети, имеет две составляющие. Первая из них обусловлена недостаточным качеством аппроксимации, выполняемой сетью конечных размеров. Вторая— вы­ звана неполнотой информации, предъявленной сети в процессе обучения, из-за ограниченного объема обучающей выборки.

У Розенблатта сила межслойных синаптических связей изменялась в зависимости от того, насколько точно выход перцептрона совпадал с вы­ ходным шаблоном, в соответствии со следующим правилом обучения. Ве­ са связей увеличиваются, если выходной сигнал, сформированный прини­ мающим нейроном, слишком слаб, и уменьшаются, если он слишком высо­ кий. Однако, это простое правило минимизации ошибки применимо толь­ ко к прямонаправленным сетям без скрытых слоев.

Несколько позже Минский и Пейперт выполнили глубокий анализ вы­ числительной мощности однослойного перцептрона.

Эффект их совместной книги «Персептроны» [10], предназначенной внести конструктивный вклад в теорию нейронных сетей, был для многих обескураживающим и привел к утрате интереса к нейронным сетям. Каза­ лось, что если сети не могут реализовать даже ХОК-функцию (логическая функция «исключающее ИЛИ», получившая с легкой руки авторов [10] статус теста при исследовании сравнительной эффективности тренировоч-

32