Обучение неокогнитрона
Переменными весами обладают только нейроны S-слоев. Набор весов общий для всего слоя, таким образом достаточно изменить веса только для одной клетки каждой из K плоскостей слоя.
Выбор «зерна» (seed), то есть клетки, для которой будут рассчитываться значения весов, может быть разным. Для обучений неокогнитрона может использоваться как обучение с учителем, так и без.
Формула, по которой изменяются веса связей:
Здесь:
n̂ – координата зерна на нейронной плоскости слоя;
k̂ – плоскость, где находится зерно;
ν, κ, k̂ – модифицируемая связь (входной нейрон связи расположен на κ-плоскости слоя UCl-1, со сдвигом ν относительно центра области связей);
ql – скорость обучения слоя USl;
cSl – матрица константных весов, зависящих от величины смещения ν.
Веса тормозящих нейронов также переменные. Они могут изменяться по различным формулам, в данной работе используется следующая формула:
Здесь вес связи тормозящего нейрона полностью определяется весами прочих связей этой нейронной плоскости. Таким образом тормозящий сигнал будет возрастать со скоростью, соответствующей скорости роста возбуждающего сигнала и выход сети не будет непрерывно увеличиваться в ходе обучения, независимо от роста весов.
Обучение неокогнитрона производится поэтапно. В начале полностью обучается первый S-слой, затем с использованием его выходных сигналов обучается следующий слой, и так до последнего слоя. Пороговые коэффициенты (θ) могут различаться для этапа обучения и этапа работы обученного слоя.
Обучение с учителем
На вход поступают образцы, которые должны выделяться плоскостями слоя. Например, при использовании на слое S1, который должен выделять границы на изображении, образцами являются прямые линии, повернутые под разными углами. Зерном становится клетка слоя, соответствующая (с учетом смещения между входным слоем, слоем C0 и S1) любой клетке, лежащей на линии образца. При обучении с учителем число плоскостей K равно числу образцов, и на каждой плоскости слоя веса изменяются в соответствии со входными данными одного образца. Тогда эта плоскость будет реагировать на элементы, соответствующие такому образцу (в данном случае – границы, параллельные линии образца).
Число обучающих образцов (и плоскостей на слое) определяет точность соответствия образцу входного изображения. Чем больше различных образцов используется, тем более точно будут различаться элементы изображения, однако тем больше ресурсов потребует сеть.
Скорость обучения q – параметр обучающей функции. Рекомендуется брать такое значение, при котором входной образец будет настраивать веса соответствующей плоскости за одну итерацию. Обучение с учителем используется для первого слоя, выделяющего простые паттерны (границы).
Обучение без учителя промежуточных слоев
При обучении без учителя используется метод конкурентной борьбы. Веса всех связей в начале работы устанавливаются случайными, таким образом выходные значения клеток немного различны. Наиболее возбужденные клетки, дающие максимальную реакцию на образец, используются для модификации весов плоскости для закрепления такой реакции.
У каждой клетки слоя есть область конкуренции, охватывающая несколько соседних с ней клеток по координатам i, j, находящихся на всех нейронных плоскостях слоя. То есть сравниваются клетки внутри некого «цилиндра», чьи «сечения» лежат на нейронных плоскостях, а «ось» проходит через проверяемую клетку. Если значение проверяемой клетки больше, чем у всех клеток в конкурентной области, она заносится в список кандидатов в избранные клетки. Когда проверка произведена для всего слоя, для каждой плоскости выбирается клетка, входящая в список кандидатов и имеющая максимальное значение на своей плоскости. Все выбранные таким образом клетки становятся зерном для модификации весов своих плоскостей. Если на плоскости не было выбрано ни одной клетки-кандидата, зерном становится любая клетка (например центральная), но константа скорости обучения берется маленькая. Также можно исключить обучение плоскостей, не имеющих подходящих клеток.
Обучение без учителя используется для всех слоев выше US1.