Алгоритм wta и сети Кохонена

WTA (Winner Takes All, победитель забирает все) – алгоритм обучения сетей на основе конкуренции для задачи кодирования. При подаче обучающего вектора x рассчитывается активность всех нейронов сети. Победителем становится нейрон с самым сильным выходным сигналом (что по сути равнозначно минимальному расстоянию между входным вектором x и вектором весов этого нейрона w). Победитель уточняет свои веса в направлении вектора x по правилу:

Здесь w_i – вектор весов победившего нейрона, q – скорость обучения.

Остальные веса в сети не изменяются. В этом методе применяются также механизмы утомления для повышения шансов на победу у менее активных нейронов. Также есть модификация этого подхода WTM (Winner Takes Most, победитель получает больше): обучается победивший нейрон и его ближайшее окружение, причем при удалении от центра прирост весов падает. Существуют разные варианты функции уменьшения прироста от степени удаленности нейрона от победителя.

Алгоритм Кохонена – один из самых старых алгоритмов обучения самоорганизующихся сетей – использует подход WTM. В нем часто используется прямоугольное либо гауссовское соседство. В прямоугольном функция близости к победителю G(i,x) одинакова для всех нейронов в окрестности заданного расстояния и равна 0 для остальных. Для гауссового типа соседства она считается по формуле:

Здесь d(i,w) – расстояние между нейроном i и нейроном-победителем w, λ – уровень соседства. Такое соседство как правило дает более хороший результат обучения.

Сети, решающие задачу распознавания образов

Для задачи распознавания образов существует класс нейронных сетей, основанных на имитации процессов распознавания образов человеком. Моделируется функционирование зрительной коры головного мозга.

Исследования зрительной коры мозга человека выявили последовательность распознавания образов, поступающих от органов зрения. В первых слоях нервные узлы реагируют на простые образы: углы и линии, затем более глубокие слои получают их сигналы и выделяют все более сложные формы. На определенном уровне появляются нервные узлы, распознающие лица, а еще глубже – так называемая «grandmother cell». Название происходит от утверждения, что у человека есть конкретный нейрон, отвечающий за узнавание лица его бабушки. Глубокие уровни зрительной коры все менее зависимы от искажений изображения и изменения его позиции.

В искусственной нейронной сети создается аналогичная архитектура. Входной слой получает входное изображение (имитация связи с глазом), затем сигнал передается во все более глубокие слои, и наконец, последний слой содержит клетки, каждая из которых реагирует на какой-либо образ целиком. Слои обучаются таким образом, что клетки первого слоя выделяют простые элементы изображения, а более глубокие слои – более сложные и специфичные детали.

Когнитрон Архитектура

Архитектура когнитрона состоит, как и описано выше, из нескольких нейронных слоев. В каждом слое находятся возбуждающие и тормозящие нейроны. Уровень возбуждения нейрона является взвешенной суммой его возбуждающих и тормозящих входов.

Нейроны обладают локальной областью связей. В качестве входных данных к нейрону поступают выходные сигналы предыдущего слоя из «центрального», находящегося непосредственно над ним, нейрона и некоторой его окрестности. Области связей соседних нейронов таким образом перекрываются. Следствием из этого является расширяющийся с глубиной слоя конус воздействия входного значения на нейроны сети. Необходимым условием распознавания образа является такой размер областей связей, который обеспечивает воздействие на клетки последнего слоя всех входных значений. При этом этого можно достигнуть путем добавления новых слоев либо путем расширения области связей. При добавлении новых слоев увеличивается сложность сети и ее ресурсоемкость, а при расширении областей связей выходные значения могут перестать различаться. Это может быть исправлено путем расширения области конкуренции в ходе обучения.

Рис. 1.7. Структура когнитрона

Рис. 1 .7 изображает взаимодействие нейронов соседних слоев когнитрона. Выходной сигнал нейрона складывается из возбуждающих и тормозящих сигналов. Возбуждающая часть суммы считается по формуле:

,

где u_j – входные сигналы с предыдущего слоя с весами a_j. u_j соответствует выходному сигналу нейрона j предыдущего слоя.

Тормозящий сигнал считается по формуле:

,

где v_j – входные сигналы, весами b_j – их веса.

Сигнал v_j рассчитывается как взвешенная сумма сигналов из той же области связей, что и у нейрона i, с весами, заданными константно:

Сумма константных всех весов нейрона равна 1.

Значение сигнала нейрона i считается по формуле:

Формула является частным, а не разностью возбуждающего и тормозящего сигнала, что предохраняет от чрезмерного роста выходного сигнала вместе с ростом весов. Выход нейрона при бесконечном обучении будет стремиться к значению E/I, а не к бесконечности.