Временная неустойчивость
Если сеть учится распознавать буквы, то нет смысла учить Б, если при этом забывается А. Процесс обучения должен быть таким, чтобы сеть обучалась на всем обучающем множестве без пропусков того, что уже выучено. Необходимые изменения весов должны вычисляться на всем множестве, а это требует дополнительной памяти; после ряда таких обучающих циклов веса сойдутся к минимальной ошибке. Этот метод может оказаться бесполезным, если сеть находится в постоянно меняющейся внешней среде, так что второй раз один и тот же вектор может уже не повториться. В этом случае процесс обучения может никогда не сойтись.
Сеть встречного распространения
В сети встречного распространения объединены два широко известных алгоритма:
самоорганизующаяся проекция Кохонена;
звезда Гроссберга.
Объединение нейросетевых парадигм может привести к созданию нейронных сетей, более близких по архитектуре к человеческому мозгу, чем однородные структуры.
На рисунке 17 показана упрощенная структура сети встречного распространения.
Рис. 17. Упрощенная структура сети встречного распространения.
Нейроны слоя 0, показанные кружками, служат лишь точками разветвления и не выполняют вычислений. Каждый нейрон слоя 0 соединен с нейронами слоя 1, называемого слоем Кохонена, отдельным весом wmn . Эти веса в целом рассматриваются как матрица весов W. Аналогично, каждый нейрон в слое Кохонена (слое 1) соединен с каждым нейроном в слое Гроссберга (слой 2) весом vnp. Эти веса образуют матрицу весов V.
Как и многие другие сети, встречное распространение функционирует в двух режимах: в режиме функционирования, при котором принимается входной вектор Х и выдается выходной вектор Y, и в режиме обучения, при котором подается входной вектор и веса корректируются, чтобы дать требуемый выходной вектор.
Лекция 6. Сеть встречного распространения. Алгоритмы обучения и функционирования слоя Кохонена и слоя Гроссберга. Полная структура сети встречного применения, достоинства, недостатки, области применения.
Режим функционирования.
Слой Кохонена.
В своей простейшей форме слой Кохонена функционирует следующим образом: для данного входного вектора один и только один нейрон Кохонена выдает на выходе логическую единицу, все остальные выдают ноль.
Ассоциированное с каждым нейроном Кохонена множество весов соединяет его с каждым входом. Например, на рисунке 17 нейрон Кохонена K1 имеет веса w11,w21,...,wm1 , составляющие весовой вектор W1. Они соединяются через входной слой с входными сигналами х1, х2, ...,xm, составляющими входной вектор Х. Подобно нейронам большинства сетей, выход NETj каждого нейрона Кохонена является просто суммой взвешенных входов. Это может быть выражено следующим образом:
NETj=w1j x1+w2l x2+...+wmj xm
или NETj=X*Wj
Нейрон Кохонена с максимальным значением NETj является “победителем”. Его выход равен единице, а у остальных он равен нулю.
Слой Гроссберга.
Слой Гроссберга функционирует в сходной манере. Его выход NET является суммой взвешенных входов k1,k2,....kn слоя Кохонена, образующих вектор K. Вектор соединяющих весов, обозначенный через V1, состоит из весов v11,v21...vnp. Тогда выход каждого нейрона Гроссберга есть
Yj=K*Vj,
Слой Кохонена функционирует таким образом, что лишь у одного нейрона величина NET равна единице, а у остальных - нулю. Поэтому лишь один элемент вектора К отличен от нуля и вычисления очень просты. Фактически каждый нейрон слоя Гроссберга лишь выдает величину веса, который связывает этот нейрон с единственным ненулевым нейроном Кохонена.