42. Алгоритм обучения перцептрона как реализация спец. Стратегии совместной минимизации нескольких ф-ий с помощью градиентных методов.
Стратегия совместной минимизации:
Берём начальную точку (0), прим. алг. гр. спуска к F( ,z1). Получим (1).
(1) - в кач. нач. и прим. алг. гр. спуска к F( ,z2), имеем точку (2) и т.д.
Если все grad=0, то это – точка совместного минимума.
Схема останавливается, когда найдётся , в кот. grad F( ,zi), i=1,…,N будут равны нулю, иначе – с самого начала, вместо (0) берём (N) и т.д.
Покажем, что применение этой стратегии при нек. F даёт алгоритм обучения перцептрона:
Z=(z1,…,zn)
y=(y1,…,yn1,yn1+1);
w1,
w2
;
=(
1,…,
k)
w=(w1,…,wn1,wn1+1)
f(
,z)>0,
если z
w1,
wTy
f( ,z)<0, если z w2.
Выберем F(w, )=0,5(|wT |- wT ), i=1,…,N Cв-ва: а). F(w, )>=0
б). F(w, )>0 wT <=0.
Выбираем w(1)
и с. w(k+1)=w(k)-c*grad
F(w,
)|w=w(k)=
F(w,
)=0,5(|wT
|-
-wT
)=0,5(|
|-
)
=0,5(sign(wT
)
-
)
F(w, )=0,5(|wT |- wT ), i=1,…,N (3) а). F(w, )>=0, i=1,…,N
б). F(w, )=0 wT >0, i=1,…,N
при усл., что в спрям. пр-ве сущ. раздел. гиперпл-ть; wk+1=wk-c* F(w, )
grad F(w,
)=
=0,5(sign(wT
)
-
);
=0,5(sign(wT
)
-
)
и
т.д.
wk-c*0,5( - ), wT >0 wk, wT >0
wk+1=
wk-c*0,5(- - ), wT <=0 wk+c* , wT <=0
Т.о. выглядит алг.
гр. спуска для конкрет. ф-ии F(w,
).
Пусть теперь для поиска совмест. мин.
набора ф-ий (3) исп-с описанная ранее
стратегия, когда очеред. шаг исп-ся для
след. послед-ти ф-ий F(w,
),
а wk
(зн-ие в-ра весов) – получен. для предшест.
ф-ии, тогда обозначим ч/з
то зн-ие
,
кот.будет исп-ся на данном шаге. Алг.
поиска совмест. мин. – в виде:
wk(k), wT(k) >0 При w(1)=0 и с=1 получаем не
wk+1= что иное, как алг. обуч. перцеп.,
wk(k)+c* , wT(k) <=0 сход-ть которого гарантир-ся
43. Физическая интерпретация метода потенциальных ф-ий.
Допустим, что необходимо разделить два класса ω1 и ω2 . Выборочные образы, принадлежащие обоим классам, представлены векторами или точками в n-мерном пространстве образов.
Если ввести аналогию между точками, представляющими выборочные образы, и некоторым источником энергии, то в любой из этих точек потенциал достигает максимального значения и быстро уменьшается при переходе во всякую точку, отстоящую от точки, представляющей выборочный образ xk.
На основе этой аналогии можно допустить существование эквипотенциальных контуров, которые описываются потенциальной функцией K(x, xk). Можно считать, что кластер, образованный выборочными образами, принадлежащими классу ω1, образует «плато», причем выборочные образы размещаются на вершинах некоторой группы холмов. Подобную геометрическую интерпретацию можно ввести и для образов класса ω2. Эти два «плато» разделены «долиной», в которой, как считается, потенциал падает до нуля. На основе таких интуитивных доводов создан метод потенциальных функций, позволяющий при проведении классификации определять решающие функции.