39. Сходимость алгоритма обучения перцептрона. Теорема Новикова.
1). Есть беск. преобраз. обуч. посл., её эл-ты принадлеж. и классу w1 и w2.
={
,
…,
,…}
2). В спрям. пр-ве
сущ. разделяющ. гиперплоскость, т.е.
имеется единич. в-р, кот.
>
, для любого i.
3). D<
Тогда при началь.
w(1)=0,
c=1
(корректир. приращ.) алг. обуч. перцеп.
сход-ся, причём кол-во исправлений в-ра
весов k<=
40. Итеративные процедуры распознав. На основе градиентных методов: минимизация одной ф-ии.
Z=(Z1,..,Zn) – вектор признаков. Даны 2 класса: W1 и W2 (m=2). Функ-я f(α,Z)>0, если Z€W1, <0- Z€W2, α=(α1,…,αk)-вектор нек-х параметров. ОП Z=(Z1,.., ZN). Найти вектор α*, для кот-го ∆: f(α*,Zi)>0, если Zi €W1, для i=1..N; <0- Zi €W2 для i=1..N. Возможна ситуация: одна функция Ф(α; Z1,.., ZN ) такая, что Ф(α*; Z1,.., ZN )=minпоα Ф(α; Z1,.., ZN ) ∆. Алгоритм поиска min одной функции: α(K)-значение вектора α на к-том шаге работы алгоритма. α(K+1)= α(K)-сgrad f(α)|по α= α(K), C-величина шага grad. Зададим α(0). Его сходимость зависит от вида функции f, величины шага с. Далее решить задачу мин-и с помощью подходящей модификации метода град-го спуска, т.е. решить задачу ∆.
41. Итеративные процедуры распознав. На основе градиентных методов: совместная минимизация нескольких ф-ий.
N
ф-ий F(
,zi),
i=1,…,N
таких что точка
явл. точкой совместного минимума всех
этих ф-ий, т.е. F(
,zi)=
(1).Если
имеет место такая ситуация, то необходимо
определить стратегию применения
алгоритма градиентного спуска к набору
ф-ий F(
,zi).
Стратегия совместной минимизации:
Берём начальную точку 0, применим алгоритм гр. спуска к F( ,z1). Находим соот. точку минимума 1. Берём 1 в качестве начальной и применяем алг. гр. спуска к F( ,z2), действуя так, чтобы не выходить за обл. экстр. предыд. ф-ии F( ,z1); получаем точку 2 – совместный экстремум и т.д.
N-1 – точка совмест. экстремума предыдущих ф-ий. - решение всей задачи.
Другая стратегия совместной минимизации:
Берём начальную точку (0), применим алгоритм гр. спуска к F( ,z1). Получим (1). Берём (1) в качестве начальной и применяем алг. гр. спуска к F( ,z2), получаем точку (2) и т.д.Если все grad=0, то это – точка совместного минимума.
Схема останавливается, когда найдётся , в кот. grad F( ,zi), i=1,…,N будут равны нулю, иначе – с самого начала, вместо (0) берём (N) и т.д.
Недостаток:Отыскание не гарантировано, но для нек. видов ф-ий F применение этой стратегии оказывается успешным.
42. Алгоритм обучения перцептрона как реализация спец. Стратегии совместной минимизации нескольких ф-ий с помощью градиентных методов.
Стратегия совместной минимизации:
Берём начальную точку (0), прим. алг. гр. спуска к F( ,z1). Получим (1).
(1) - в кач. нач. и прим. алг. гр. спуска к F( ,z2), имеем точку (2) и т.д.
Если все grad=0, то это – точка совместного минимума.
Схема останавливается, когда найдётся , в кот. grad F( ,zi), i=1,…,N будут равны нулю, иначе – с самого начала, вместо (0) берём (N) и т.д.
Покажем, что применение этой стратегии при нек. F даёт алгоритм обучения перцептрона:
Z=(z1,…,zn)
y=(y1,…,yn1,yn1+1);
w1,
w2
;
=(
1,…,
k)
w=(w1,…,wn1,wn1+1)
f(
,z)>0,
если z
w1,
wTy
f( ,z)<0, если z w2.
Выберем F(w, )=0,5(|wT |- wT ), i=1,…,N Cв-ва: а). F(w, )>=0
б). F(w, )>0 wT <=0.
Выбираем w(1)
и с. w(k+1)=w(k)-c*grad
F(w,
)|w=w(k)=
F(w,
)=0,5(|wT
|-
-wT
)=0,5(|
|-
)
=0,5(sign(wT
)
-
)
F(w, )=0,5(|wT |- wT ), i=1,…,N (3) а). F(w, )>=0, i=1,…,N
б). F(w, )=0 wT >0, i=1,…,N
при усл., что в спрям. пр-ве сущ. раздел. гиперпл-ть; wk+1=wk-c* F(w, )
grad F(w,
)=
=0,5(sign(wT
)
-
);
=0,5(sign(wT
)
-
)
и
т.д.
wk-c*0,5( - ), wT >0 wk, wT >0
wk+1=
wk-c*0,5(- - ), wT <=0 wk+c* , wT <=0
Т.о. выглядит алг.
гр. спуска для конкрет. ф-ии F(w,
).
Пусть теперь для поиска совмест. мин.
набора ф-ий (3) исп-с описанная ранее
стратегия, когда очеред. шаг исп-ся для
след. послед-ти ф-ий F(w,
),
а wk
(зн-ие в-ра весов) – получен. для предшест.
ф-ии, тогда обозначим ч/з
то зн-ие
,
кот.будет исп-ся на данном шаге. Алг.
поиска совмест. мин. – в виде:
wk(k), wT(k) >0 При w(1)=0 и с=1 получаем не
wk+1= что иное, как алг. обуч. перцеп.,
wk(k)+c* , wT(k) <=0 сход-ть которого гарантир-ся