10 вопрос
Звезды Гроссберга
Предложены Гроссбергом [4]. Доказано, что являются моделями отдельных участков биологического мозга.
Известны входные звезды Гроссберга (Instar) и выходные звезды Гроссберга (Outstar).
Входная звезда реагирует на определенный входной вектор, которому она обучена.
В процессе обучения модификация весовых коэффициентов производится по формуле:
|
wi(t+1) = wi(t) + η (xi-wi(t)), |
(25) |
где η – коэффициент скорости обучения (в начальный момент равен 0.1, в процессе обучения сокращается до 0).
Обучение по такой формуле приближает весовой вектор к усредненному вектору обучающих образов. При этом звезда обучается реагировать на любой вектор этого определенного класса.
Используется в сетях распознавания образов.
И достоинства и недостатки сети заключены в ее простоте. Вследствие простоты использование звезды для решения сложных задач распознавания ограничено.
Как и входная звезда, выходная звезда используется как хранилище набора весовых коэффициентов. Решает обратную задачу: при наличии возбуждающего сигнала выставляет вектор весов на свои выходы.
Обучение производится итеративной настройкой на требуемой вектор весов по формуле:
|
wi(t+1) = wi(t) + η (yi-wi(t)). |
(26) |
Достоинства и недостатки аналогичны входной звезде.
Нейронные сети встречного распространения
|
|
|
Рисунок 7. Сеть встречного распространения |
Объединение разнотипных нейроструктур способствует возникновению свойств, отсутствующих у этих структур по отдельности.
Сети встречного распространения были разработаны Р. Хехт-Нильсеном в 1986 г. [2].
Сети встречного распространения состоят из входного слоя простых нейронов, слоя нейронов Кохонена и слоя нейронов Гроссберга (входная звезда). Время обучения сети встречного распространения задачам распознавания и кластеризации более чем в сто раз меньше времени обучения этим задачам сети обратного распространения.
Нейрон слоя Кохонена с максимальным значением взвешенной суммы является победителем. На его выходе формируется уровень логической «1», на остальных – логический «0».
Нейроны слоя Гроссберга в результате выдают величины весов vij, которые связывают их с нейроном-победителем.
Обучение сети осуществляется с учителем, но обучение слоя Кохонена фактически проходит без учителя. В процессе обучения сети задается набор входных векторов и соответствующих им выходных. В результате обучения слоя Кохонена каждый его нейрон обучается реагировать на какой-то класс образов. При этом соответствие образа и нейрона не задается учителем, а получается случайным образом. Реакция слоя Гроссберга на случайный вектор выходов слоя Кохонена задается учителем. Особенность обучения нейронов Гроссберга состоит в том, что индивидуально настраивается тот вход каждого нейрона, который подключен к активному нейрону слоя Кохонена:
|
vij(t+1) = vij(t) + η (yj-vij(t))Ki, |
(27) |
где Ki – выход i-го нейрона Кохонена.
Таким образом, настройка весов, к которым подключены неактивные на очередной итерации обучения нейроны Кохонена, просто не производится. Вес каждого входа нейрона Гроссберга настраивается, только когда активен подключенный к этому входу нейрон Кохонена.
Сеть встречного распространения предназначена для построения отображений, т.е. производит отображение одного вектора в другой. При этом группа близких векторов на входе будет давать один и тот же вектор на выходе. Основное применение сетей встречного распространения – быстрая неточная начальная аппроксимация. Они не предназначены для точной аппроксимации.