Глава 5. Сети радиальных базисных функций

Сети радиальных базисных функций (radial basis functions networks, RBF - Netze) представляют собой специальный тип нейросетей с прямыми связями. Основное их назначение - аппроксимация многомерных функций. Они предложены в 1985 г. Повеллом (Powell, 1985).

Их математическую основу составляет теория аппроксимации многомерных функций. Сколь угодно точная аппроксимация функций достигается при этом путем комбинации радиально симметричных функций.

RBF-сети обладают следующими свойствами:

Архитектура их - это архитектура сетей с прямыми связями 1-го порядка (FF-сети);

Быстрое обучение;

Отсутствие “патологий” сходимости. В отличие от Backpropagation-сетей не возникает проблемы локальных минимумов;

Более длительное время их подготовки и настройки из-за необходимости вычисления более сложных расчетов;

Хорошие аппроксиматоры функций.

5.1. Архитектура сетей

RBF-сети имеют только один слой скрытых нейронов (рис. 1).

Рис. 1. Структура RBF-сетей.

Структура RBF-сетей содержит один входной слой, один скрытый слой нейронов, число которых обычно соответствует числу элементов обучающей последовательности, и один выходной слой из одного (на рис. 1 представлен именно этот случай) или нескольких нейронов. На рис. 1 единственный выходной нейрон выдает значение функции

y = R (X) = f (x₁, x₂, … ,x_n).

Т.о. по своему построению RBF-сети - это двухслойные FF-сети 1-го порядка, причем оба слоя соединены весовой матрицей C.

Входной вектор X передается на нейроны скрытого слоя. При этом каждый нейрон скрытого слоя получает полную информацию о входном векторе X.

Каждый нейрон i скрытого слоя рассчитывает значение одномерной функции h_i (например, “колокол” Гаусса):

h_i (X) = exp [- (||X-X_i||)² / 2b_i²], (1)

где X - входной вектор, X_i - i-я опорная точка, b_i - параметр рассеяния для h. В качестве метрики || . || обычно используется эвклидово расстояние:

_________________________

|| x-y || =  (x₁-y₁)² + (x₂-y₂)² + … + (x_n-y_n)², (2)

Радиальные базисные функции h_i (1) выполняют предварительную обработку входных векторов, определяя их близость (подобие) к центрам X_i. Выходные значения h_i(X) - это степени сходства между входным вектором X и отдельными центрами X_i. На основе значений h_i(X) определяется взвешенная сумма.

На рис. 2 представлен принцип работы нейрона скрытого слоя.

Рис. 2. Принцип работы нейрона скрытого слоя.

Центры X_i определяются на основе обучающей последовательности и имеют ту же размерность n, что и входной вектор. Параметр b_i определяется экспериментально. Рис. 2 иллюстрирует принцип работы нейрона скрытого слоя.

Из (1) следует: выход нейрона i скрытого слоя тем больше, чем ближе текущий вход X к центру X_i. Выход f RBF-сети определяется в виде взвешенной суммы

K

f(X) = y = c_i h_i (X), (3)

i=1

Нейроны выходного слоя образуют, следовательно, линейную комбинацию выходов нейронов скрытого слоя (hidden layer). Их функция активации или выхода - это радиальная базисная функция (1).

Одновременно RBF-сети просто могут быть обобщены на многомерные функции. В этом случае в выходном слое размещаются m нейронов, и значение на выходе j-го нейрона выходного слоя определяется так:

k k

y_j = (  c_ij h_i ) / (  h_i ) (4)

i=1 i=1

В RBF-сетях в качестве опорных точек в простейшем случае могут быть использованы образы обучающей последовательности. Отметим два преимущества RBF-сетей по сравнению с другими нейросетями:

• функция активации или выхода скрытых нейронов принимает большие значения лишь в тех случаях, когда входной образ находится вблизи от опорной точки. Для входов вне области, "покрытой" образами обучающей последовательности, сеть формирует лишь небольшие значения на своих выходах, причем для сетей с сигмоидными функциями активации или выхода (например, в многослойных персептронах) эти выходы могут быть вообще не предсказуемы,

• простая структура RBF-сетей, содержащих только один слой скрытых нейронов, делает возможным другой (не итеративный) расчет весов сети. В этом их большое преимущество по сравнению с другими типами нейросетей, которые в большинстве случаев используют трудоемкие рекуррентные алгоритмы обучения. Заслуживает также внимания возможность инициализации RBF-сетей на основе прямого расчета весов с последующим их дообучением на основе алгоритмов обучения с поощрением (например, алгоритма с обратным распространением ошибки = Backpropagation).

Ниже сначала рассматриваются математические основы, затем архитектура сети, расширения в виде обобщенных RBF-сетей, специальные алгоритмы определения опорных точек и, наконец, некоторые приложения.