5.10. Выбор центров и радиусов в rbf-сетях

Опорные точки - это точки, через которые должна пройти аппроксимирующая функция. В простейшим случае, как было отмечено выше, можно использовать все образы обучающей последовательности для формирования соответствующего нейрона скрытого слоя. Однако это сопряжено со значительными затратами.

Для их снижения часто в качестве центров RBF- и HBF-сетей используется подмножество образов обучающей последовательности. При этом иногда предусматривается незначительная модификация входных образов и весов соединений ("шум"). Подобный "шум" необходим, например, в тех случаях, когда число K скрытых нейронов превышает число N образов обучающей последовательности. До сих пор мы обычно преполагали, что K  N. Принципиально, однако, способ применим и в случае K > N.

Для наиболее целесообразного использования данных обучающей последовательности в RBF-сетях следует принять во внимание, что в обучающей последовательности определенные векторы представлены в слабо измененной форме. Для выявления таких векторов могут быть использованы различные методы кластер-анализа. Они позволяют выявить кластеры подобных (близких) векторов и предствить эти кластеры лишь одним вектором (прототипом, стереотипом, типичным представителем). Достигаемое при этом значительное сокращение (сжатие) данных - достоинство, весьма существенное для RBF-сетей. В настоящее время разработано большое число алгоритмов кластеризации.

Рассмотрим один из примеров простых алгоритмов кластеризации. На сонове следующей стратегии (ab-hoc-Methode) выявления кластеров.

Выбирается (произвольно) 1-й образ обучающей последовательности. Он объявляется в качестве прототипа (стереотипа) 1-го кластера. Затем все векторы обучающей последовательности, расстояние от которых до выбранного вектора не превышает некоторого порога, включаются в 1-й кластер.

При появлении вектора обучающей последовательности, который не может быть включен в 1-й кластер, он объявляется прототипом (стереотипом) 2-го кластера. Процедура далее повторяется с оставшимися образами обучающей последовательности до тех пор, пока все ее образы не будут разделены на кластеры.

5.10.1. Итеративный алгоритм кластеризации

Рассмотрим пример итеративных алгоритмов кластеризации. Вначале выбирается K различных опорных векторов u_i, i = 1, 2, … , K. Затем векторы X_i обучающей последовательности последовательно предъявляются сети. После каждого такого предъявления опорные векторы u_i модернизируются в направлении X_i:

Инициализация

Выбери K опорных векторов u_i

i:=1

Правило итерации

REPEAT

:=1

i

SELECT X_j  T

|| u_i - X_j ||  || u_k - X_j || для i=1, 2, … , K, 1  k  i  K

u_i (t+1) : = u_i (t) +  ( || u_i - X_j || )

i : = i + 1

UNTIL  1  j  K : u_j (t+1) = u_j (t)

Коэффициент коррекции  уменьшается с увеличением номера итерации.

Алгоритм сходится тогда, когда прототипы u_i становятся сталильными. При применении алгоритмов кластеризации следует в формуле (4) учесть числа m_i векторов в тех или иных кластерах. Модифицированные выходы рассчитываются при этом следующим образом:

K

 m_i h_i c_ij

i=1

y_j =  (31)

K

 m_i c_ij

i=1