3.2. Персептронный алгоритм получения линейных решающих правил

Простейший методы получения линейных решающих функций на основе персептронных алгоритма обучения основывается на рекуррентном построении решающего правила путем коррекции ошибок.

Требуется найти ^T, W_n+1 для построения решающего правила d()=^T + W_n+1 на основе использования конечных обучающих выборок .

Введем понятие расширенных векторов . Перейдем от размерности n к n+1 следующим образом:

=		W1		=		X1
		..				..
		Wn				Xn
		Wn+1				1

Тогда наша система неравенств сводится к более простой задаче:

(*) d(X) = ^T > 0 (или <) x  X₁ (x  X₂)

Персептронный алгоритм основан на последовательном просмотре обучающей выборки:

X₁, ... X_N1……….X_N

X₁ X₂

N = N₁ + N₂

Процесс обучения заключается в том, что мы циклически просматриваем выборку и подставляем получаемое значение в Wв (*), и на каждом шаге просмотра производим или не производим коррекцию весового вектора.

1. n+1 = n, если		x  X1,	nT> 0
		x  X2,	nT< 0

В этом случае получен правильный ответ при классификации текущего вектора

2. _n+1 = _n + С, если _n^T < 0, x  X₁

_n+1 = _n - С, если _n^T > 0, x  X₂

Этот случай соответствует ошибочной классификации и соответственно производится коррекция весового вектора (должно быть С>0)

Эта процедура и является процедурой обучения персептронного типа.

Пусть мы имеем величину весового вектора после коррекции:

_n+1 = _n + С,

Подставим новый весовой вектор в выражение для решающей функции:

= (_n + С)^T = _n^T + С^T = _n^T + C║║² ,

Видно, что значение весовой функции увеличилось на положительную величину C║║² , то есть мы продвинулись к правильному решению.

Показано, что если решение существует, то алгоритм сходится за конечное число шагов.

Различные варианты выбора коэффициента C позволяют улучшить данный алгоритм:

1. С – константа . Скорость сходимости может быть мала.

2. С = C_n = var(n)

Попробуем менять C на каждом шагу так .чтобы сразу получить на текущем векторе правильное решение. Здесь можно использовать такой выбор С _n^T + C_n║║² > 0 , отсюда следует

C_n >

Рассмотренный алгоритм появился на основе интуитивных соображений при разработке моделей работы головного мозга человека при решении задач обучения. Дальше мы рассмотрим более формальный подход .

3.3. Правила поиска решения, основанные на минимизации градиента функции качества

3.3.1. Формальный вывод персептронного алгоритма

Y(,) – функция качества.

Определить функцию качества можно по-разному.

_n+1 = _n – С {} = _n –

- градиент по функции .

Возьмем X  X₂.

Возьмем новое X’ = -X, в этом случае мы имеем правило решения, которое имеет вид:

^T > 0

Неплохая функция качества имеет следующий вид:

Y(,) = ( |^T| - ^T)

= [sgn(^T) -]

sgn(X) =		1, X>0
		-1, x<0

Тогда правило коррекции имеет вид:

_n+1 = _n – [_n sgn(_n^T_n) - ] =

= _n + [- sgn(_n^T_n)]

Если x  X1, тогда		n+1 = n ,	n> 0
		n+1 = n + С ,	n< 0

Для всей обучающей выборки запишем следующее:

{_j}_j=1..N

Рассмотрим задачу в следующем виде: ^T_j = b_j , j=1..N

=		W1		=		X1
		..				..
		Wn				Xn
		Wn+1				1

Для каждого класса мы введем обозначение:

I класс: b_j = 1

II класс: b_j = 2

То есть для каждого элемента мы ищем номер класса.

Мы получаем переопределенную систему уравнений N>(n+1).

Матрица будет иметь следующий вид:

=		x11 x12 ... x1n 1				X1T
		..		=		..
		xN1 xN2 ... xNn 1				XNT

=		b1				W1		= (*)
		..		=		..
		bN				WN
						1

Решение переопределенной системы (*) мы можем найти с некоторой ошибкой.

Далее мы строим функционал качества:

J(,,) = = ║ε║² = ║- ║²

Это функционал качества. Мы его должны минимизировать. Один из подходов – это градиентный метод:

Рассмотрим , что собой представляет матрица : ее размерность (n+1)x(n+1)

=

Если матрица невырождена, решение получается достаточно просто:

- псевдообращение матрицы Х (Матрица Мура-Пенроуза)

Если матрица является вырожденной , то в этом случае задачу можно решать с помощью метода градиентного спуска.

Можно предположить и другой вариант: Видора-Хоффа

- вектора из последовательности {x_j}_j . Градиент строится на каждом отдельном управлении . Процедуру мы можем повторять до тех пор , пока не будет наблюдаться сходимость . Признаком сходимости является то, что искомый параметр перестает меняться или меняется очень мало.