4.1. Традиционный способ

Корректируются только веса нейрона-победителя по следующему правилу:

Где - желаемый, а - фактический.

- определяет скорость обучения.

Довольно распространено обучение с “расписанием”, где является функцией от времени и является монотонно убывающей.

Эффект, получаемый в результате: веса корректируются таким образом, что вектор весов постепенно приближается к входному вектору. Сначала с большой скоростью, потом медленнее и останавливается тогда, когда веса перестают изменяться.

Лекция 9.

4.2. Метод выпуклой комбинации

Правильно распределить плотность ядер в соответствии с плотностью входных векторов в n- мерном пространстве признаков.

Шаг 1: всем весам нейронов(координаты ядер кластеров) присваиваются одинаковые начальные значения

Шаг 2: обучение производится модифицированными обучающими векторами . Модификация каждого вектора производится по формуле:

1. 

2. 

Геометрическая интерпретация первого и второго подходов обучения:

4.1 Традиционный способ

Недостатки:

1. Существуют нейроны, которые никогда не побеждают

2. Для группы, в которой существует большое количество объектов,

желательно инициировать несколько ядер кластеров, чтобы внести какие-либо различия в эту группу.

4.2. Метод выпуклой комбинации

Достоинства:

1. не остается необученных векторов

2. плотность векторов ядер-кластеров соответствует плотности векторов

обучающего множества.

Недостатки:

Длительность времени обучения увеличена

4.3. Модифицированные алгоритмы

Чувство справедливости:

Его идея: в случае, если какой-либо нейрон побеждает чаще некоторого порога m, значение его на выходе искусственно уменьшают для того, чтобы дать выиграть другим нейронам.

Применяется при построении самоорганизующихся карт Кохонэна.

Корректируются веса не только выигравшего нейрона, но и всех остальных, пропорционально их нормированному выходу.

Алгоритм обучения Хобба(без учителя)

Сущность: если нейроны с обеих сторон синопсиса возбуждаются одновременно и регулярно, то сила этой синоптической связи возрастает.

Алгоритм:

Шаг 1: инициализация случайными малыми значениями.

Шаг 2: подается на вход текущий вектор

Шаг 3:

шаги 2,3 повторяются в цикле до стабилизации весов.

Самоорганизующиеся карты на основе сети Кохонэна

Self-organizing maps (SOM)

Это самоорганизующиеся структуры, основанные на нейросетях Кохонэна, которые представлены в виде двумерной сетки, в узлах которой находятся нейроны.

Карты имеют следующие особенности обучения:

1. все нейроны будто бы взаимодействуют друг с другом. Величина

взаимодействия определяется расстоянием между нейронами на карте, которое учитывается в алгоритме обучения.

2. модифицируются при обучении не только веса нейрона- победителя,

но и его соседей.

Для этого выбирается некоторый радиус R, и все соседи нейрона- победителя, попавшие в окружность этого радиуса тоже корректируются, но в меньшей степени.

Сам радиус на первых итерациях обучения очень большой, но со временем уменьшается до нуля. Чем ближе конец обучения, тем точнее определяются нейроны, отвечающие каждому классу образов.

Формула модификации весов:

- функция соседства(невозрастающая функция времени), разбивается на 2 части:

1. собственно функция расстояния.

2. Функция скорости обучения во времени

Где d- расстояние между текущим объектом, поданным на вход и нейроном- победителем.

убывающая функция времени, называемая радиусом обучения

Построение карт

Карт строится столько, сколько признаков(m). Каждая карта имеет определенную раскраску, которая соответствует значениям соответствующего признака объекта. Положение объектов на каждой карте строго фиксировано.

Лекция 10.