8. Концепция искусственной нейронной сети. Конкретные архитектуры искусственных нейронных сетей.

Согласно определению, искусственная нейронная сеть (ИНС) – это существенно параллельно распределенный процессор, обладающий способностью к приобретению, сохранению и репрезентации опытного знания и сходный с мозгом в двух аспектах:

·  знание приобретается сетью в процессе обучения;

·  для сохранения знания используются силы межнейронных связей (синаптические веса).

Составными элементами ИНС являются спецпроцессоры двух видов:

·  искусственные нейроны (или просто нейроны), суммирующие поступающие на их входы сигналы и преобразующие смещенную на величину порога сумму в соответствии с заданной активационной функцией нейрона;

·  связи между нейронами, реализующие межнейронные взаимодействия в виде сигналов, умножаемых на синаптические веса связей.

Схематическое представление модели нейрона с входными связями изображено на рис. 11, где использованы следующие обозначения:

— сигналы, поступающие на входные связи нейрона;

— синаптические веса входных связей;

— порог срабатывания нейрона;

;

— активационная функция нейрона, реализующая тот или иной вид преобразования суммы взвешенных входных сигналов, смещенной на величину порога активационной функции .

Графические зависимости некоторых из возможных видов активационных функций приведены на рис. 12.

Рис. 12а представляет линейную активационную функцию

.

На рис. 12б изображена линейная с насыщением активационная функция

,

имеющая настроечный параметр .

На рис. 12в представлена ступенчатая активационная функция (ее часто обозначают )

.

Рис. 12 (продолжение). Некоторые из возможных видов активационных функций

 

Сигмоидальная активационная функция, описываемая выражением ,

изображена на рис. 12г. При малых значениях настроечного параметра функция является более пологой, нежели при больших, приближающих ее к единичной ступеньке.

Рис. 12д представляет радиально-симметричную активационную функцию

,

с настроечным параметром .

На рис. 12е приведена пороговая активационная функция

,

имеющая два настроечных параметра: и .

В нейронной сети между нейронами и могут быть установлены направленные связи и , каждой из которых присваиваются, соответственно, веса и (синаптические веса) (рис. 13).

Таким образом, объединяя нейроны между собой направленными связями, можно строить различные топологии (структуры) нейронных сетей и обучать их решению конкретных задач. Обучить ИНС – это значит подобрать такие значения синаптических весов ее межнейронных связей и, возможно, порогов и параметров активационных функций нейронов, при которых сеть приобретает способность выполнять желаемый вид преобразования.

Классификация искусственных нейронных сетей

Конкретные типы архитектур ИНС различаются [12, 19]:

·  характером входных сигналов;

·  структурой сети;

·  типом обучения.

По характеру входных сигналов сети могут быть бинарными или аналоговыми.

Бинарные сети принимают на свои входы сигналы, имеющие значения 0 или 1. Иногда рассматривают (как вариант бинарной сети) биполярные сети, оперирующие с сигналами, принимающими значения 1 или -1.

Аналоговые сети работают с сигналами из непрерывного спектра значений. Например, с нормированными сигналами, принимающими значения на отрезке [-1, 1].

По характеру структуры нейронные сети можно разбить на два больших класса, принципиально отличающихся друг от друга признаком отсутствия или наличия в сети межнейронных обратных связей:

·  нейронные сети прямого распространения;

·  рекуррентные нейронные сети.

Нейронные сети прямого распространения обычно представляются в виде многослойных (в частном случае однослойных) структур, обладающих свойством прямонаправленности: каждый нейрон предыдущего слоя (начиная с входного слоя) может воздействовать только на нейроны последующих слоев и ни на какие другие.

Рекуррентные нейронные сети отличаются от сетей прямого распространения наличием в них обратных связей.

По типу обучения различают нейронные сети:

·  обучаемые с супервизором (с учителем);

·  обучаемые через самоорганизацию.

Обучение с учителем предполагает наличие множества обучающих шаблонов. Каждый шаблон ставит в соответствие конкретному входному воздействию на сеть (из множества возможных воздействий) требуемый от нее (желаемый) отклик. В процессе обучения настроечные параметры сети (синаптические веса межнейронных связей, пороги и, возможно, параметры активационных функций нейронов) подбираются таким образом, чтобы реальные отклики сети на входные воздействия, указанные в шаблонах, совпадали (с определенной степенью точности) с желаемыми. При достаточной мощности нейронной сети (в смысле количества слоев, числа нейронов в них) и множества обучающих шаблонов сеть приобретает способность правильно реагировать не только на входные воздействия из обучающей выборки, но и на другие допустимые незнакомые ей воздействия. В этом состоит свойство нейронной сети обобщать.

Обучение нейронной сети через самоорганизацию осуществляется без контроля со стороны учителя (множества обучающих шаблонов). Обучение осуществляется только по входным образам с использованием независимой от задачи меры качества ее представления, которому должна научиться нейронная сеть.

Рассмотренная классификация проведена только по основным признакам, характеризующим конкретные архитектуры нейронных сетей с точки зрения принципов их обучения и функционирования.