книги из ГПНТБ / Галушкин, А. И. Синтез многослойных систем распознавания образов
.pdfЗдесь и в дальнейшем при рассмотрении функционалов, связанных со вторым моментом распределения дискретной ошибки, эта величина также условно называется оценкой вектора градиента, хотя в принципе представляет собой псевдоградиент, полученный заменой производной dxk!dai на знак производной.
В данном случае нет возможности построения алгоритма настройки по замкнутому циклу с удовлетворением крите рия минимума | a lg | при произвольном значении памяти тп фильтра оценки градиента. Чтобы показать это, пред ставим измеренные значения градиента функционала вто ричной оптимизации в виде некоторого случайного про цесса. В общем случае (включающем и критерий минимума a 2g) измеренное в текущий момент времени значение гра диента может быть условно представлено в виде произве дения двух сомножителей, а именно х г (п) х 2 (п). Величину одного из сомножителей, например д [sign g (п) ]!даь нельзя вычислить непосредственно через сигналы в СР. Можно определить таким образом только знак этого сомножителя. Замена в выражении для градиента при произвольном зна чении тп при этом приводит к невозможности определения знака оценки градиента, так как в общем случае
Отсюда следует, что построение аналитических алго ритмов настройки СР с двумя решениями по замкнутому циклу при рассмотрении функционалов вторичной оптими зации, связанных с дискретной ошибкой, возможно только при тп — 1. При тп^> 1 и прочих равных условиях необ ходимо построение поисковой процедуры настройки. Не-' обходимо отметить, что в любом случае поисковая проце дура настройки должна быть введена для оценки одного из множителей в выражении для реализации градиента вторичной оптимизации, а именно дхк1да.
Выражение (7-2) служит основой для построения соот
ветствующей замкнутой |
СР. Для СР |
с минимизацией a 2g |
•тП |
--------------------- тп |
|
д x2g (п) |
||
дас |
—2xg(ti) sign |
(п) |
|
|
|
Достаточно очевидной является идентичность алгорит мов настройки по критериям минимума | a lg | и a 2g в слу чае тп — 1.
170
В случае ЛПЭ с континуумом решений (гл. 4)
Ч (п) = F [g («)] = F |
N |
( п) |
У а д |
||
|
1=0 |
|
N |
|
|
xg (п) = е (я) F 2 а д (л) |
||
1 = 0 |
|
|
В случае минимизации^ | a lg | |
и a 2g |
соответственно |
dx2g(п) |
dF(g) Xi (п). |
-2хЛп) |
|
да; |
|
Рекуррентные алгоритмы, являющиеся основой для по строения замкнутой СР, в рассматриваемых случаях будут иметь вид:
а ( я + 1 ) = а(л) + /С* sign [ (n) " ] |
х (п) |
|
dg |
а (я + 1) = а (я) + 2/Ci xg (я) dF (g) х (я)
|
dg |
|
В частном случае |
2 |
|
при F (g) = — arctg Bg |
||
.(л + l) ^ a ( n ) + |
2В |
х (л) |
K*sign [ ^ ( л ) "j^ r |
1+ в V (л) |
|
|
|
|
а(я + 1) = а(я) + К\ 45 х. ( п ) X g ( п )
1+ B*g* (л)
7-3. Двухслойные СР
Рассмотрим построение СР, настраивающихся по замк нутому циклу и представляющих собой двухслойную сеть из ЛПЭ с полными связями. В данном случае (гл. 4)
|
|
я, |
|
|
X k(n ) = F{g(n)] = F 2 |
а д у (л) |
|
||
|
|
L/=o |
|
|
F 2 |
|
' я, |
' я |
|
J |
= F |
2 |
(”) |
|
L/=о |
./=0 |
.i=0 |
J _ |
|
171
-v)
ю
Ф ункционал вторичной оптимизации
|
-т„ |
|
-т„ -------- тг |
|
I “la I. |*а(л)1 |
■sign [ха (n)] xkj (я) |
|||
а 2а> |
Ха2 (Я) |
— 2ха (я) xkj (я) |
||
|
тп |
... |
mn dF (g) |
|
K g 1. |
I*g(«)l |
|||
— Sign [*g (/l)] |
----J ^ - Xkj{n) |
|||
|
|
|
dg |
|
|
|
|
nin |
|
1«2g | . X\ («) |
2 xg (n) |
^ xkj (я) |
||
|
|
|
dg |
|
|
|
Т а б л и ц а 7-1 |
д(-) |
|
|
дач |
|
|
-------- тп |
dF (g,) |
|
sign [ха (/г)] а; |
--------— xi (я) |
|
|
d8j |
|
dF (£,.) |
~тп |
|
|
||
• 2а;-дг0 (я)-------- |
— xi (я) |
|
|
7 |
|
mn |
dF (e) |
mn |
dF (g.) |
||
sign [*g (я)] aj |
dg |
х^ (я) |
|
dgj |
|
|
|
mn |
— 2a/Xg (я) dF} 8^ d |
(gj) xi (я) |
|
dg |
dgj |
|
Функционал вторичной оптимизации
тп
1 « ю 1 . \ха (п)\
тп
« 2 а. *1 (п)
l« l g l > \Xg(n) 1
д(-)
да
тп тп
—sign [ха (п)\ xkj (п)
тп
—2xa (n)xkj(n)
—sign [xg (n)]xkj(n)
Т а б л и ц а 7-?
d (•) daH
mn |
mn |
—aj sign [xa (n)] sign |
x{ (n) |
mn —2dj xa (n) sign xi (n)
—sign lxg (n)] sign a,- sign xt (n)
«2g. |
(п) |
—2xg (n) xkj (n) |
—2 sign ajXg (n) sign xi(n) |
4^
Функционал
вторичной оптимизации
I аю |> \ха(п) |
2а’ ^(п)
l«ig|. I*g(«) I
a 2 g ’ x g ( n )
д( .)
dai
—sign [ха (л)] xkj (я)
-2ха (я) xkj (я)
-sign [xg (я)] —---- Bxkj (я)
я П +52£2(п)]
-2xg (я) |
2 |
Г |
Bxkj (я) 1 |
Я |
. 1 |
+ В^Цп) _ |
Т а б л и ц а 7-3
Э ( - )
даи
п 2
-sign [ха (я)] а/ —
—2ау— ха (я)
Вх; (я)
+ B*g*(n)
S a.'j (я)
• S 2g2 (я)
|
л |
4 |
а/ X |
|
|
sign [xg (я)] |
|
||
•X |
S 2X( (я) |
|
||
[l “Ь B2g2 (я)] [l |
+ |
S 2gy(/j)J |
||
|
||||
8 |
S 2xt- (я) Xg (я) |
|||
л-* |
ai _[l + В У (я)] |
[ l + B 2g?(n)]_ |
||
Здесь
ха (п) = е (и) —g (п); xg(n) = е (п) —хк(я).
Основной задачей в данном случае является вывод вы ражений для оценок градиента функционала вторичной оптимизации через выходные и промежуточные сигналы СР. В табл. 7-1 приведены указанные выражения соответст венно для настраиваемых коэффициентов ЛПЭ первого и
второго слоя. |
|
|
|
для |
градиен |
В табл. 7-2 и 7-3 приведены выражения |
|||||
тов функционалов |
вторичной |
оптимизации |
для |
случаев |
|
F (g) = sign (g) |
и F(g) = -^- arctg Bg. |
|
|
||
Несколько |
слов |
о методах |
обучения двухслойной СР |
||
со слоем нелинейно-случайных |
связей. Структура подоб |
||||
ной СР, которая Розенблаттом была названа трехслойным
персептроном |
(первый слой — элементы ретины), описана |
в гл. 4. Это |
своеобразная структура, в которой за счет |
резкого уменьшения числа входов ЛПЭ первого слоя и за
счет |
введения |
случайности |
связей этих ЛПЭ с входным |
|
пространством |
СР возникает |
необходимость в увеличении |
||
числа ЛПЭ первого слоя. |
|
|
||
В |
данном случае |
|
|
|
|
|
" я, |
^ N, |
~ |
|
xk (n) = F H i a-jF |
2 |
a i,x ii И |
|
|
|
1=0 |
ij—O |
1 1 |
Случайные связи являются неизменными на этапе на стройки. Настраиваться должны лишь коэффициенты свя зей. Алгоритм настройки коэффициентов ЛПЭ первого слоя получается в следующем виде (например, для критерия минимума a2g):
dx2g (и) |
dF(g) |
dF (gj) Xi.(n). |
-2a,jXg (п) |
||
да. |
dg |
dgj |
7-4. Многослойные CP из ЛПЭ с континуумом решений
В данном случае рассматриваемая многослойная СР имеет по Я ;- ЛПЭ в каждом /-м (/ — 1, . . . , W) слое. Выражение для выходного сигнала подобной СР имеет вид
175
сг>
I а1ЯI
I a i g I
*2g
|
|
|
|
|
T а б л и ц а 7-4 |
Я |
w -1 |
H w_ jt _з |
, , dF |
„W—‘V /„ч |
|
-----"‘П |
Shw_v(n) |
|
|||
|
х'1 |
J "г1__ |
|
XT~L (") |
|
-sign [ха (л)] |
|
w-v |
|||
^ 1 = 1 ' " |
hw ± l +3= 1 4=0 “^ - 4 ' ^ - 4 - 1 |
Д |
nW-j |
||
d g * ~ v v |
|
||||
"w -i , v
hW-l=i
-------- т п у
-sign [Xg (я)] ^
ЯГ—1
-2 2
hW '-l=1
HW-j+Z |
/+2 |
|
|
|
/-И dF |
h Д+ 3 - 1 |
4 = 0 ^ |
^ 4 ' |
ft^ - 4 |
x_ (л) П |
|
- l *« ^ |
|
||||
"U7-/+3 |
/+2 |
|
. |
/+i df |
|
|
_ |
П а . |
П |
||
h V ^ + S = l n = 0 ^ - 4 - h ^ - 4 - l “ 0 |
|||||
я W~i+ з |
/+2 |
|
|
|
dF |
* * ^ + 3 = 1 |
4=0 a^ - 4 - |
h^ - 4 - l Xg (W) |
v5 0 |
||
С < П)
d g « ^ v
C - Vv ^
U?—v 4*"W—v
C - v W
«/—v
dg%
W — V
xF~! (n) hw—j v '
* К , <»>
v»'-/ "W -/; («)
1а 1а |
l “ l«l
ач
|
|
|
|
|
|
|
|
|
|
|
|
|
Т а б л и ц а 7-5 |
-------- тп |
Hw~ l |
h |
|
Sign |
7—1 я U/—n |
|
|
||||||
-S ig n [* a (n)] |
2 |
ah |
|
й |
|
|
(ra) |
||||||
|
|
|
|
1=1 |
W W |
|
|
|
|
|
|||
|
|
HW-l |
|
|
|
|
|
|
/—1 H W—t\ |
|
|
V |
|
|
|
|
|
|
|
|
|
|
|
|
|||
—2 |
h |
2 |
ah |
h |
x„ (n) sign |
П |
2 |
% |
h |
(„) |
|||
|
'“ —I |
hW’ hW- 1 |
a v |
' |
& |
|
|||||||
|
V - i ~ ‘ |
|
|
|
|
|
|
п ^ г ^ - т Г 1 |
v r -n + i-V -n w~ ‘ |
||||
|
|
|
|
|
|
Г /'—1 |
|
ЯИ7—ц |
|
|
|
||
|
|
—sign [x |
(я)] sign |
П |
|
2 |
«т, |
, ft |
|
(») |
|||
|
|
|
|
fi |
|
L n = iV - n= i |
|
ir-т, V - / |
|||||
|
|
|
|
|
Г 7—1 |
Hw —-П |
|
h |
|
|
|||
|
|
—2л: (л )sign n |
|
2 |
ah |
x%~> |
(n) |
||||||
|
|
|
g |
|
L T ,= iv _ tr i |
b7_ii+i |
^ _ ti u7_/ |
|
|||||
4-8). Предварительно найдем значения частных производ ных хк (п) и g (п) по коэффициентам Ohw_j+l.hw_ ‘-
дхк (п) |
H w — 1 |
H w — i + з |
/+: |
|
|||
-2 |
- 2 |
n |
hW— r\ hw—ц— 1 X |
||||
да,, |
|||||||
V -/+ 1'*^1,W-! |
|
||||||
|
h W |
|
-1 |
h W - i + з=1 4= |
|
||
|
|
-1 = |
|
|
|
||
х |
П |
|
|
|
|
||
|
/+1 |
d F |
K |
~ v (л)1 |
|
|
|
|
11 |
1 |
W — V |
|
(7-3) |
||
|
|
|
W - V \ x w - i |
||||
V=0
H W — 1 |
H W - i + 3 /+ |
dg(n)
даПw—i+Г. hw-i ■2
h w - r l
/!1 d F
11n
V=1
V2- / + 3 — I1Лг= |
||
h |
|
|
\ g h ~ V |
(n)l |
- i |
\ W - V |
1 x w |
|
d g f ~ v |
'h w |
- l |
W — v |
|
|
й |
X |
W — i\ W—r\—i |
|
(7-4)
В табл. 7-4 и 7-5 приведены выражения для оценок гра диентов функционалов вторичной оптимизации соответст
венно для произвольной F и F = sign (g). |
(n) |
В этом случае F (g) = sign (g), sign xF~l (n) = |
|
w-i |
w-i |
для всех j ^f=W, что значительно упрощает запись выра жений для градиентов.
7-5. Построение СР, настраивающихся по замкнутому циклу при ограничениях на переменные
В книге рассматриваются ограничения на настраивае мые коэффициенты многослойных СР типа равенств и не равенств, представленные в гл. 6. Для многослойных СР характерны в свою очередь ограничения на совокупность коэффициентов всех СР, ограничения на совокупности ко эффициентов каждого слоя в отдельности, ограничения на совокупности каждого ЛПЭ СР в отдельности.
178
Соответственно данным типам ограничений для двух
слойной СР имеем:
Я, / N \
|
S |
а/ + 2 а'/ ) = а; |
|
(7-5а) |
||
|
/=о V |
i=o |
/ |
|
|
|
Я , |
Я |
a,7 - |
a i ; |
я , |
« 2; |
(7-56) |
V |
V |
= |
||||
/=о i=o |
|
|
у=о |
— |
|
|
JV |
|
Я 1 |
|
|
|
|
2 а»у—“ / = 0; ^ f l / - a = 0, / = 0, . . ., Я х. (7-5в) t—о /—о
Ограничения типа неравенств на настраиваемые коэффи циенты многослойных СР в основном имеют вид, представ ленный в § 6-4,6.
СР в виде ЛПЭ. В случае критерия минимума | а 1а| при наличии ограничения типа равенств (7-5а) система соотно шений (7-1) преобразуется следующим образом:
а (я + |
1) |
а (я)' |
Д ( я + |
1) |
Д (я ) + |
—sign[xa («)] |
х ( п )+ Щ п ) |
|
+ К* |
N |
|
Vat (я) —а
i= 0
Для критерия |
минимума | a lg \ рекуррентное соотноше |
ние, являющееся |
основой для построения замкнутой СР, |
в случае ограничений типа неравенств (см. гл. 6) на настраи ваемые коэффициенты будет иметь следующий вид:
а (n + |
1) = а (я) + |
K aa(n ) | —sign [xg(я)] sign х (я) + |
|||
+ |
^0 |
^N+1 |
■+ K k(n) |
а (^0 |
^макс |
|
|
||||
|
|
а мин |
^ (^0 |
||
|
|
^ 2 ( Я + 1). |
|||
|
|
|
|
||
А,(яф- 1) = |
тах ОД (я) +/Схо(я) -sign [xg(я)] sign х(я) + |
||||
А |
|
А-И |
Ч ' К Ц п ) |
а (я) |
-а» |
+ .................... |
|
—а (я) |
|||
\ XN |
— X2(Ян |
|
|
||
|
|
|
|||
179