Конкурентное обучение

Конкурентное обучение (competitive learning) НС – наиболее популярная схема реализации процедуры кластеризации без учителя. Данный метод основан на том, что нейроны конкурируют за право «стать победителем».

На рисунке представлен пример НС, имеющей три входа и четыре выхода. Все входы НС соединяются со всеми её выходами посредством связей с весовыми коэффициентами .

Число входов НС соответствует размерности входных векторов, а число выходов задаёт количество кластеров, на которое должно быть разделено входное пространство. Расположение центра каждого кластера определяется весовым вектором, соединённым с соответствующим выходом.

Трёхмерное входное пространство разделяется на четыре кластера. Кластерные центры, описываемые векторами, изменяются во время процедуры кластеризации на основе правил конкурентного обучения.

Входной вектор X и весовой вектор W_j, соответствующий выходу, должны быть нормализованными. Нормализация осуществляется следующим образом:

; .

Основная проблема при организации процедуры кластеризации – выбор метрики для определения меры схожести (меры различия) между векторами.

1. В качестве меры схожести выберем скалярное произведение .

Тогда величина нейронной активности выхода будет определяется по формуле: .

Весовой вектор W_ij старается повернуться на угол α, чтобы его направление совпало с направлением X_i (α0).

Таким образом, между выходами НС осуществляется конкуренция: . Нейрон – победитель определяется по наибольшему значению нейронной активности.

Предположим, что наибольшая нейронная активность соответствует выходу . Тогда весовые коэффициенты связей выхода с входами НС будут изменяться в соответствии с правилом конкуренции (или правилом "победитель забирает всё", winner take all) по следующей формуле:

,

где - скорость обучения.

В данной формуле используются нормализованные вектора, и при предъявлении очередного входного вектора обновляются только веса нейрона – победителя, а остальные веса не изменяются. Таким образом, в качестве нейрона – победителя выбирается такой нейрон, весовой вектор которого наиболее близок к входному вектору, именно поэтому весовые векторы выходных нейронов на каждом шаге обучения будут перемещаться в направлении кластеров входных образов.

2. В качестве меры схожести выберем евклидово расстояние, тогда активность выходных нейронов определяется по формуле:

.

Определяется нейрон – победитель с номером , который будет соответствовать минимальному евклидову расстоянию между входным образом и весовым вектором этого нейрона.

Среднеквадратическая ошибка для -го нейрона – победителя равна:

,

где - нейрон – победитель;

- входной вектор;

- центр кластера, которому принадлежит .

Для сжатия данных используется векторный квантователь (learning vector quantization), который обеспечивает преобразование векторов к некоторому эталонному вектору. Эталонный вектор (кодовый вектор) является центром кластера. Совокупность кодовых векторов – векторная книга.

При подаче входного вектора определяется кодовый вектор, который наилучшим способом аппроксимирует входной. В качестве метрики используется евклидово расстояние.