Лекция 9 Рекуррентный метод наименьших квадратов

9.1 Применение рекуррентного метода наименьших квадратов для обучения нейронных сетей (rls)

Обучение сети с использованием изложенного в Теме 8 алгоритма обратного распространения ошибки требует большого количества итераций. Поэтому в литературных источниках приводятся сведения о различных попытках создания более быстрых алгоритмов.

Для обучения нейронных сетей рассмотрим рекуррентный метод наименьших квадратов (Recursive Least Squares - RLS). В качестве меры погрешности использовалось выражение

(9.1)

где - так называемый коэффициент забывания, значение которого выбирается из интервала . Обратим внимание на то, что степень влияния членов выражения (9.1) на его значение возрастает с увеличением номера члена. В ходе дальнейших рассуждений будем использовать обозначения, введенные в теме 8, с учетом особенностей, показанных на рисунке 9.1, т.е.

(9.2)

а также

(9.3)

где - обратимая функция, , , .

Если рассчитать градиент меры погрешности и приравнять его к нулю, то получим уравнение

(9.4)

Рисунок 9.1 – Структура нейрона, применяемого для реализации алгоритма RLS

При использовании зависимостей (8.5) и (8.6) уравнение (9.4) принимает вид

(9.5)

где

(9.6)

Выражение (1.59) задает способ последовательного определения погрешностей в каждом слое, начиная с последнего. При дальнейших преобразованиях получаем последовательность равенств вида

((9.7)

где

При использовании аппроксимации

(9.8)

получаем нормальное уравнение

(9.9)

векторная форма которого имеет вид

(9.10)

где

	(9.11)
	(9.12)

Уравнение (9.12) можно решить рекуррентным способом, без инвертирования матрицы . Это требует использования алгоритма RLS, согласно которому адаптивная коррекция всех весов производится согласно правилам

	(9.13)
	(9.14)
	(9.15)
	(9.16)

где , .

Начальные значения в алгоритме RLS, как правило, устанавливаются следующим образом:

, где ,	(9.17)
,	(9.18)

Начальные значения весов нейронной сети могут также выбираться случайным способом из заранее установленного диапазона.

Библиографический список

1. Вагнер, Г. Основы исследования операций. Т.1 / Г.Вагнер; пер. с анг. - М. : Мир, 2002. - 335 с.

2. Михайлов, А. С. Решение задач линейного программирования: методические указания для студентов спец. 230105 «Программное обеспечение вычислительной техники автоматизированных систем» / А. С. Михайлов, - Красноярск : 2007. - 16 с.

3. Михайлов, А. С. Методы оптимизации: лабораторный практикум по одномерным и многомерным методам минимизации для студентов спец. 230105 «Программное обеспечение вычислительной техники автоматизированных систем» / А. С. Михайлов. – Красноярск : СибГТУ, 2007. - 36с.

4. Михайлов, А.С. Линейное программирование: учебное пособие для студентов всех форм обучения направления 230100 «Информатика и вычислительная техника», специальности «Программное обеспечение вычислительной техники автоматизированных систем», а также специальности 230401 «Информационные системы и технологии в промышленности» / А. С. Михайлов. – Красноярск : СибГТУ, 2011. - 58с.

5. Рубан, А. И. Методы оптимизации : учебное пособие. - Изд. 2-е, исправленное и дополненное / А. И. Рубан. -  Красноярск: НИИ ИПУ, 2001. - 528 с.

6. Рутковская, Д. Нейронные сети, генетические алгоритмы и нечеткие системы [Текст] / Д. Рутковская, М. Пилиньский, Л. Рутковский. – М. : Горячая линия – Телеком, 2006. - 452 c.

7. Таха, Х. А. Введение в исследование операций. - Изд. 6-е /  Х. Таха, А. Хэмбди; пер. с анг. – М : Издательский дом «Вильямс», 2004 - 912 с.