2. Метод сигнального обучения Хэбба

Как мы видели, выход NETпростого искусственного нейрона является взвешенной суммой его входов. Это может быть выражено следующим образом:

где NET_j– выход NETнейронаj; OUT_i – выход нейрона i;w_ij– вес связи нейронаiс нейрономj.

Можно показать, что в этом случае линейная многослойная сеть не является более мощной, чем однослойная сеть; рассматриваемые возможности сети могут быть улучшены только введением нелинейности в передаточную функцию нейрона. Говорят, что сеть, использующая сигмоидальную функцию активации и метод обучения Хэбба, обучается по сигнальному методу Хэбба. В этом случае уравнение Хэбба модифицируется следующим образом:

w_ij(t+1) =w_ij(t) + OUT_iOUT_j

где w_ij(t) – сила синапса от нейронаiк нейронуjв момент времени t; OUT_i– выходной уровень пресинаптического нейрона равный F(NET_i); OUT_j –выходной уровень постсинаптического нейрона равный F(NET).

3. Метод дифференциального обучения Хэбба

Метод сигнального обучения Хэбба предполагает вычисление свертки предыдущих изменений выходов для определения изменения весов. Настоящий метод, называемый методом дифференциального обучения Хэбба, использует следующее равенство:

w_ij(t+1) =w_ij(t) + [OUT_i(t) – OUT_i(t–1)][ OUT_j(t) – OUT_j(t–1)],

где w_ij(t) – сила синапса от нейронаiк нейронуjв момент времени t; OUT_i(t) – выходной уровень пресинаптического нейрона в момент времени t; OUT_j(t)–выходной уровень постсинаптического нейрона в момент времени t.

Рис. Б.1. Сеть «Инстар» Гроссберга

3. Входные и выходные звезды

Много общих идей, используемых в искусственных нейронных сетях, прослеживаются в работах Гроссберга; в качестве примера можно указать конфигурации входных и выходных звезд [I], используемые во многих сетевых парадигмах. Входная звезда, как показано на рис. Б.1, состоит из нейрона, на который подается группа входов через синапсические веса. Выходная звезда, показанная на рис. Б.2, является нейроном, управляющим группой весов. Входные и выходные звезды могут быть взаимно соединены в сети любой сложности; Гроссберг рассматривает их как модель определенных биологических функций. Вид звезды определяет ее название, однако звезды обычно изображаются в сети иначе.

Рис. Б.2. Сеть «Аутстар» Гроссберга

1. Обучение входной звезды

Входная звезда выполняет распознавание образов, т. е. она обучается реагировать на определенный входной вектор Хи ни на какой другой. Это обучение реализуется путем настройки весов таким образом, чтобы они соответствовали входному вектору. Выход входной звезды определяется как взвешенная сумма ее входов, как это описано в предыдущих разделах. С другой точки зрения, выход можно рассматривать как свертку входного вектора с весовым вектором, меру сходства нормализованных векторов. Следовательно, нейрон должен реагировать наиболее сильно на входной образ, которому был обучен.

Процесс обучения выражается следующим образом:

w_i(t+1) =w_i(t) +[x_i–w_i(t)],

где w_i– вес входах_i;х_i–i–й вход;– нормирующий коэффициент обучения, который имеет начальное значение 0,1 и постепенно уменьшается в процессе обучения.

После завершения обучения предъявление входного вектора Хбудет активизировать обученный входной нейрон. Это можно рассматривать как единый обучающий цикл, еслиустановлен в 1, однако в этом случае исключается способность входной звезды к обобщению. Хорошо обученная входная звезда будет реагировать не только на определенный единичный вектор, но также и на незначительные изменения этого вектора. Это достигается постепенной настройкой нейронных весов при предъявлении в процессе обучения векторов, представляющих нормальные вариации входного вектора. Веса настраиваются таким образом, чтобы усреднить величины обучающих векторов, и нейроны получают способность реагировать на любой вектор этого класса.