15. Однонаправленные нейронные сети
Нейронная сеть — структура соединенных между собой нейронов, которая характеризуется топологией, свойствами узлов, а также правилами обучения или тренировки для получения желаемого выходного сигнала.
Сеть характеризуется внутренними свойствами образующих ее нейронов, индивидуальной топологией (архитектурой), а также правилами обучения (тренировки).
Однонаправленная нейронная сеть - нейронная сеть, в которой отсутствуют как обратные воздействия сигналов выходных нейронов на вход сети, так и межсоединения между нейронами одного и того же слоя.
Классическим примером однонаправленной нейронной сети является многослойный перцептрон.
Перцептрон — элементарный нейрон, представляющий собой линейный сумматор, каждый из входных сигналов которого умножается на некоторый весовой множитель, а выходной суммарный сигнал является ненулевым, если сумма превышает некоторое пороговое значение.
Рассмотрим многослойный перцептрон на примере трехслойного перцептрона (ни рисунке указан), содержащего лишь один ассоциативный (скрытый) слой, образованный четырьмя нейронами (А), связывающий входной и выходной слои сети. Как видно из рисунка, ассоциативный A-слой (или несколько слоев в случае перцептрона более высокого порядка) не имеет прямых связей с входными сенсорами или выходными датчиками.
Использование скрытого слоя в архитектуре многослойного перцептрона диктуется соображениями достижения более адекватного соответствия множества входных сигналов набору выходных параметров сети.
Число нейронов входного слоя (S слоя) и выходного слоя (R слоя) в многослойном перцептроне соответствует размерностям входного и выходного векторов соответственно. Количество нейронов в ассоциативных (скрытых) слоях определяется эмпирическим образом и является результатом многократного экспериментирования с сетью.
Не все выходы S нейронов могут иметь синаптические соединения со входами A нейронов. Выход каждого нейрона предыдущего слоя соединен с соответствующим входом каждого нейрона последующего слоя, а значения весов подстраиваются на обучающей стадии, что схематически отображено в виде двунаправленной шины.
Создание эффективной архитектуры однонаправленных многослойных сетей с высокой размерностью выходных данных является существенно более трудной задачей по сравнению с конструированием стандартных нейронных классификаторов, содержащих не более трех выходных нейронов. Это объясняется тем обстоятельством, что поверхности, разделяющие подпространства решений, которые формируются в процессе обучения сети, имеют в этом случае сколь угодно сложные формы, что, в свою очередь, отрицательно сказывается на устойчивости и надежности реконструктивной классификации.
Сложность сети должна соответствовать размерности обучающего набора, т.е. добавление нового внутреннего слоя в архитектуру нейронной сети с целью достижения более точной аппроксимации должно сопровождаться увеличением числа обучающих пар. Если обучающий набор останется прежним, в то время как сеть станет более сложной, способность сети к обобщению будет снижаться. И наоборот. Выбор слишком простой для предложенного набора данных структуры сети может сопровождаться утратой ее способности определять основные параметры отображения.
Традиционно нейронные сети используются для задач классификации. В этом случае выходные сигналы преднамеренно представляются в бинарной форме, а целью процедуры является определение принадлежности выходного вектора (образца) некоторому заранее известному множеству.