Алгоритм обучения «победитель забирает все»

Задача кластеризации подразумевает решение следующих подзадач:

1. Множество объектов задаётся своими атрибутами.

2. Объекты разбиваются на группы или кластеры по принципу подобия.

3. Система кластеров образует систему классов или понятий.

Формирование системы классов является задачей кластеризации и успешно решается НС особого вида – ассоциативными картами Т. Кохонена.

Задача кластеризации решается алгоритмом «без учителя» «победитель забирает всё».

Кластерами называют группы объектов, объединённые по степени похожести.

Задача кластеризации в нейронных сетях строится следующим образом: для каждого объекта, признаки которого подаются на вход, осуществляется сравнение с вектором весов, в результате определяется нейрон, веса которого максимально похожи на данный вход. Такой нейрон объявляется победителем, его веса корректируются, а в результате разные нейроны настраиваются на разные группы входных векторов. В результате входные данные распределяются между нейронами в соответствии с мерой похожести.

Рассмотрим однослойную нейронную сеть. Пусть необходимо выделить m кластеров. Решая задачу кластеризации, используют нормализованные вектора, т.е.

W_i = W_i / ||W||.

Затем расстояния между векторами ||X - W_i|| сравниваются и ищется минимальное. Найденный минимальный выход объявляется победителем. Обозначим его W_r. В дальнейшем модифицируются только веса нейрона-победителя:

W_r = W_r + || X-W_r||,

W_r = W_r / || W_r||, а веса остальных нейронов остаются постоянными:

W_i = W_i, o_i = 0, i 0.

Таким образом, входные данные сортируются по классам с помощью меры похожести, в качестве которой выступает расстояние между векторами:

W_r = W_r + || X-W_r ||.

Финалом работы алгоритма «победитель забирает все» является набор векторов, каждый из которых указывает на центр гравитации кластера.

14. Дельта-правило в машинном обучении

Дельта-правило – метод обучения перцептрона по принципу градиентного спуска по поверхности ошибки.

Алгоритм обучения нейронных сетей по дельта-правилам является итерационным, т.е. результат достигается за несколько прогонов, итераций алгоритма. Каждый прогон называют эпохой.

Условие окончания алгоритма – либо достижение качества решения, либо выполнение заданного количества эпох.

Дельтой в алгоритме называют коэффициент приращения весов, который для однослойной сети представляет собой разницу между желаемым значением выхода и вычисленным.

Рассмотрим алгоритм обучения НС. Структура обучающей выборки:

X = (X₁, X₂, …, X_n), O = (O₁, O₂, … , O_m)

Пусть для обучения нам представлена выборка

X^K, Y^K, K = 1, …, K, O {1, 0}

1. Введём k = 1; k – номер образца.

2. Случайным образом инициализируем матрицу весов W_ij; E = 0, где E – ошибка.

3. Начнём обучение (на модели), для чего посчитаем все выходы (для любого O_i)

4. Рассчитаем разницу между текущим и желаемым значениями выходов, т.е. вычислим δ (Y_i – O_i), для каждого i. Y_i – желаемый выход, O_i – полученный выход.

5. Изменим веса по правилу для каждого W_i, Y_i., где – некоторый уровень обучения, шаг изменения.

6. Вычислим накопленную по всем эпохам ошибку , выберем следующий образец из обучающей выборки k = k + 1.

7. Проанализируем текущий результат. Если k ≥ K, то следует учесть ошибку. Если значение ошибки E меньше заданного уровня ξ, то достигнуто окончание обучения. Если накопленная ошибка больше ξ, то установим k = 1, E = 0 и вернёмся к шагу 3, т.е. продолжим обучение.