54. Нейронная сеть с радиальными базисными функциями

Нейронные сети с радиальными базисными (активационными) функциями (РБФ сети) обеспечивают альтернативный подход в противоположность популярному многослойному персептрону. Подобно другим архитектурам нейронных сетей РБФ сети являются универсальными аппроксиматорами.

Cтруктура нейронной сети с радиально базисными функциями (РБФ сети)

РБФ сеть содержит три слоя (рис. 9). Входной слой распределяет входные сигналы по нейронам скрытого слоя посредством невзвешенных связей. Скрытый слой является композицией нейронов с локальными базисными функциями (РБФ-функциями). Обычно используются гауссовская базисная функция, которая осуществляет нелинейное преобразование

где x вектор входа, c_i центр i-й базисной функции и характеризует ширину (радиус) i-й базисной функции (см. рис.10 для скалярной базисной функции).

Н орма означает евклидову норму, Гауссовская базисная функция является локальной, т. к. когда

Е сли число входов больше единицы, то РБФ-функция является функцией всех переменных входа. На рис. ниже показан вид РБФ-функций для трех нейронов при двух входах x₁ и x₂. Чтобы покрыть все значения x₁ и следует увеличить число нейронов, размещая их, например, в каждой точке пересечения линий масштабной сетки. Для заданных значений входа (при двух входах значений x₁ и x₂) определяется расстояние от точки с координатами, определяемыми этими значениями, до центра соответствующей РБФ-функции как евклидово расстояние. РБФ-функция применяется для того, чтобы для этого расстояния вычислить вес (влияние) соответствующего нейрона. Радиальная базовая функция названа этим именем, т.к. расстояние по радиусу (см. рис. ниже) является ее аргументом,

вес= РБФ(расстояние).

Выходной слой обычно комбинирует линейно выходные сигналы скрытого слоя (см. рис. ниже для одного входа и трех нейронов).РБФ сеть может быть описана двумя путями. В первом случае РБФ сеть описывается как взвешенная сумма выходных сигналов скрытого слоя , где m число нейронов скрытого слоя. Здесь соответствие с подлежащей аппроксимации нелинейной функцией выражено более явно. Альтернативная форма описания представляет собой нормализованную реакцию

Следующие параметры определяются с помощью процесса обучения:

1.Число нейронов скрытого слоя.

2. Координаты центров каждой РБФ-функции скрытого слоя.

3. Радиусы (ширина каждой РБФ-функции скрытого слоя по каждой переменной (по каждому направлению).

4. Весовые коэффициенты, которые используются для взвешенного суммирования выходов РБФ-функций, когда они проходят через слой суммирования.

Методы обучения РБФ сети

Несколько методов могут быть предложены для настройки параметров РБФ сети, когда она используется для аппроксимации функций. Эти методы могут быть распределены на четыре группы:

1. Центры базисных функций устанавливаются равномерно в пространстве входов.

2. Центры выбираются с помощью набора обучающих данных.

3. Центры выбираются с помощью алгоритмов кластеризации.

4. Центры рассматриваются как параметры в процедуре оптимизации.

При использовании первой технологии центры c_i располагают равномерно в области входов, так что центры образуют решетчатую структуру. Веса настраиваются после того, как выбрано местоположение центров. Центры неявно фигурируют как свободные параметры при минимизации функции стоимости. Этот метод приводит к очень большому числу параметров (к параметризации), особенно тогда, когда имеет место большое число входов. Центры могут быть выбраны непосредственно из примеров множества обучающих данных. Этот выбор может быть сделан совершенно случайно, но лучше использовать ортогональный метод наименьших квадратов. Основная идея этого метода выбирать центры итеративно один за другим из множества обучающих данных так, чтобы в результате минимизировать квадратичную функцию стоимости. В третьем методе центры базисных функций находят путем кластеризации векторов обучающих данных. Используют как методы жесткой, так и нечеткой кластеризации. Расположение центров зависит от распределения векторов данных в пространстве входов. Веса настраиваются после того, как выбрано местоположение центров. Этот метод прост, но не гарантирует в общем случае оптимального решения, так как расположение центров базируется на данных входа, а не на минимизации функции стоимости. Все параметры РБФ-сети могут быть определены также путем минимизации функции стоимости . При этом часто используется градиентный метод наискорейшего спуска. Рассмотрим этот метод.

Учитывая, что ,

(здесь есть координаты центра i-й базисной функции) находим

Для сети с одним выходным сигналом и линейным выходным слоем (n=1) имеем y=f

имеем .

Обновление центров

Генетические алгоритмы также могут быть применены как методы оценки параметров.

55. Пример для ф-ции приспособленности 1+sinα

Пусть система имеет функцию приспособленности , (12) как показано на рис. 5.

П редположим, что область решений включает 31 значение и что каждое решение может быть представлено пятиразрядными двоичными числами в диапазоне от 00000 до 11111. Поэтому значение a в уравнении (12) равно (0.203 рад). Если популяция включает четыре гена, то путем подбрасывания монеты (орел=1, решка=0) создаем начальную популяцию

00101 11110 00001 00011

Найдем потомков из начального и последующих поколений.Из рис. 5 видно, что оптимальное решение имеет место тогда, когда ( индекс 10 указывает на десятичное число), или (индекс 2 указывает на двоичное число).

Таблица 1 показывает, как происходит отбор родителей для спаривания (размножения) из начальной популяции. Родители (хромосомы) отбираются, используя метод рулетки, как показано на рис. 4. Каждому родителю может быть сопоставлен сектор колеса рулетки, величина которого устанавливается пропорциональной степени приспособленности J=f(x_i) данного родителя (данной хромосомы x_i). Поэтому, чем больше степень приспособленности, тем больше сектор на колесе рулетки. Все колесо рулетки соответствует 1, т.е. накопленной сумме вероятностей отбора всех родителей (всех хромосом) рассматриваемой популяции . Каждому i-му родителю соответствует сектор колеса, определяемый в данном случае как ,где - степень приспособленности i-го родителя, - вероятность отбора (селекции) i-го родителя, - обозначение i-ой хромосомы. Здесь сумму называют полной приспособленностью рассматриваемой популяции. Отбор родителя может быть представлен как результат поворота колеса рулетки, если «выигравший», т.е. выбранный родитель относится к выпавшему сектору этого колеса. Очевидно, чем больше сектор, тем больше вероятность победы соответствующего родителя (соответствующей хромосомы). Поэтому вероятность выбора данного родителя оказывается пропорциональной степени его приспособленности. Если всю окружность колеса рулетки представить в виде цифрового интервала [0,1], то выбор родителя можно отождествить с выбором числа из интервала [a,b], где a и b обозначают соответственно начало и окончание фрагмента окружности, соответствующей этому сектору колеса; очевидно, что . В этом случае выбор с помощью колеса рулетки сводится к выбору числа из интервала [0,1], которое соответствует конкретной точке на окружности колеса. Так в таблице 1 есть четыре кандидата P1, P2, P3 и P4 на выбор в качестве родителей, имеющих вероятность отбора, полученную с помощью степени приспособленности, 0.342, 0.146, 0.222 и 0.290 соответственно. Эти значения определяют секторы колеса рулетки (рис. 5).

Розыгрыш с помощью колеса рулетки сводится к случайному выбору числа из интервала [0,1], указывающего на соответствующий сектор на колесе, т.е. на конкретного родителя.

При этом значение накопленной (совокупной) вероятности в Таблице 1 используется, как изложено ниже:

Значения между 0 и 0.342 приводят к отбору Родителя 1,

Значения между 0.343 и 0.488 приводят к отбору Родителя 2,

Значения между 0.489 и 0.710 приводят к отбору Родителя 3,

Значения между 0.710 и 1.000 приводят к отбору Родителя 4.

Допустим, что разыграны следующие числа:

0.326. 0.412. 0.862 и 0.067.

Это означает выбор родителей Р1 Р2 Р4 Р1.

Отсюда Родитель 1 был выбран дважды, Родители 2 и 4 один раз и Родитель 3 ни разу. Отобранные родители были спарены случайным образом с помощью случайного выбора точек скрещивания. Степень приспособленности первого поколении потомков приведена в Таблице 2.

Из Таблиц 1 и 2 следует, что полная приспособленность начальной популяции была 5.412, в то время, как полная приспособленность их потомков составила 5.956, т.е. увеличилась на 10%. Заметим, что если каждый из потомков давал идеальное решение, они бы привели к значению полной приспособленности или , т.е максимальная приспособленность, которую может дать любая популяция определяется как .

Следующий поворот колеса рулетки (генератора случайных чисел) создает значения: 0.814, 0.236, 0.481 и 0.712, определяемые по правилам рулетки и показанные в таблице 2.

Вторая генерация потомков показана в таблице 3. Из нее видно, что полная приспособленность второго поколения рана 7.204 или на 33% выше, чем у начальной популяции. Т.к. два самых значимых бита у каждого потомка второго поколения равны 00, то последующие размножения путем скрещивания не приведут к появлению двоичных чисел, больших, чем 00111 или . Если все четыре потомка имеют эти значения 00111, то полная приспособленность для популяции составляет 7.953, которая близка, но не равна идеальной полной приспособленности 8.0, как пояснено ранее. Однако, если с помощью мутации изменить в конкретном потомке одну из самых значимых бит с 0 на 1, то можно постепенно достигнуть идеального значения. Следует обратить внимание на небольшое число популяций, использованных в этом примере.