Цифровая обработка сигналов (сборник книг) / Граничин О.Н. Введения в методы стохастической оптимизации и оценивания, 2003
.pdfБол точно: м то м ксимум пр опо о ия мо но слу- ч н исимых н лю ний р ссм три ть к к сп ци льныйри нт м то эмпирич ско о функцион л ля ср н о рис- к f(X); котором роль эмпирич ско о функцион л и р т функция LN (X): Если плотность p(yj ) ó î ë ò îðÿ ò óñëî-
èþ
Z
и функцион л f(X) им т инст нный минимум, то посл -
^
о т льность оц нок ММП f ng, миними ирующих соот т- ст ующи функции LN (X), состоят льн я.
Истинно н ч ни ост ля т минимум функцион л ср н о риск , т к к к силу ыпуклости ло рифмич ской функции и н р нст И нс н (см. р . П.1.2) ля лю о о X им м
f(X) |
|
f( ) = |
|
E |
|
ln p(yjX) |
Y |
|
ln E |
p(yjX) |
Y |
|
= |
|
|
|
|
|
p(yj ) j |
|
|
p(yj ) j |
|
|
= ln Z p(yj )dy = 0:
Р нст о сь ости тся только т х случ ях, ко
p(yjX) = p(yj )
ля почти с х y.
При нны соо р ния по ск ы ют путь иссл о - ния с ойст оц нок ММП ол о щ м случ . Д йст ит льно, сли функцион л f(X) ифф р нциру м, то истинно н - ч ни п р м тр ол но н хо иться ср и р ш ний ур н - ния р р ссии
Z rx[ln p(yjX)]p(yj )dy = 0:
Для о р ш ния мо но осполь о ться, н прим р, проц у- рой Ро инс Монро
^ ^ |
|
n |
ln p(yn |
^ |
|
; |
n = n 1 |
|
n 1) |
||||
|
r |
f j |
|
g |
|
|
91
n по хо ящим о р ом ы ир м я посл о т льность н отриц т льных чис л и yn случ йны личины с плотностью р спр л ния p(yj ).
Ïðèì ð. В рн мся к ч о оц ни нии личины постоянно о ск лярно о си н л , н лю мо о н фон н и- симых ц нтриро нных пом х р . 1.1, котором у р ссм три лись оц нки м то м ксим льно о пр опо о-ия случ уссо ских пом х. К ко и оц нок при ру их р спр л ниях пом х?
Если пом хи р спр л ны р ном рно н симм тричном инт р л [ 1=2; 1=2], то функция пр опо о ия им т и
|
N |
|
N |
|
|
|
|
|
L(Y; X) = |
Y |
p(ykjX) = |
Y |
1fX2[yk |
1 |
;yk+ |
1 |
]g |
k=1 |
k=1 |
2 |
2 |
и к ч ст оц нки м то м ксим льно о пр опо о ия мо но ы р ть лю о число и инт р л
^ |
1 |
|
1 |
||
|
2 hmaxfy1; y2; : : : ; yN g 2 |
; minfy1; y2; : : : ; yN g + |
2i: |
||
Åñëè ð ñïð ë íè ïîì õ ïî ÷èíÿ òñÿ êîíó ð ñïð - |
|||||
ë íèÿ Ë ïë ñ , òî |
|
|
|||
|
L(Y; X) = |
1 |
|
N e jyk Xj |
|
|
|
|
|||
|
|
2N |
Y |
|
|
|
|
|
|
k=1 |
|
и ло рифм функции пр опо о ия с минусом р н
N
ln L(Y; X) = N ln 2 + X jyk Xj:
k=1
ту функцию м ксими иру т оц нк , р н я ì è í мно - ст н лю ний. Н ум ляя о щности мо но счит ть, что посл о т льность н лю ний упоря оч н :
y1 y2 : : : yN :
92
 ð ññì òðè ìîì ñëó÷ îö íêîé ì òî ì êñèì ëüíî î ïð -îïî î èÿ ÿ ëÿ òñÿ
^ |
= yk+1; ñëè |
N = 2k + 1; |
|
и лю о число и инт р л
^ |
[yk; yk+1]; ñëèN = 2k: |
2 |
5.4.Дости им я точность оц ни ния
Р ссмотрим о ин и о мо ных спосо о опр л ния к - ч ст оц ни ния по м то у м ксим льно о пр опо о ия т рмин х исп рсии и ко ри ционных м триц. Пусть L(Y; )функция пр опо о ия, ост точно л к я по , прич м
Ñë î ò ëüíî,
èëè
Z
Z
L(Y; )dY = 1:
r L(Y; )dY 0
Z (r [ln L(Y; )])TL(Y; )dY = Efr ln Lg 0:
Про ифф р нциро щ р по , мо но получить м трич- но то ст о:
Z (r [(r ln L)T]L + (r ln L)(r ln L)TL)dY 0;
и которо о сл у т
EY fr [(r ln L)T]g = EY f(r ln L)(r ln L)Tg:
93
^ |
= |
^ |
|
Пусть |
(Y ) н котор я оц нк ктор . О о н чим |
||
÷ ð d( ) î ìî íî ñì ù íè îö íêè: |
|||
|
|
^ |
^ |
|
|
EY f g = Z |
(Y )L(Y; )dY = + d( ): |
Про ифф р нциро посл нюю формулу, мо но ы сти, что
Z |
^ |
T |
|
T |
(Y )[r ln L(Y; )] |
|
L(Y; )dY = I + r[d( )] |
|
ñ ì òðèö é r[d( )]T, сост л нной и р и нто компон нтктор-строки d( )T. С уч том пр ы ущих соотнош ний ито получ м
^ |
^ |
T |
|
T |
|
Z ( (Y ) EY f g)[r ln L] |
|
LdY = I + r[d( )] |
|
: |
|
Îïð ëèì информ ционную м трицу Фиш р
A( ) = EY f(r ln L)(r ln L)Tg = EY fr [(r ln L)T]g:
Ïðè ííû ð ññó íèÿ ô êòè÷ ñêè îê û þò ñë -óþù íî óò ð íè î ости имой точности оц - ни ния:
Ò îð ì . Если функция пр опо о ия L(Y; ) т ко , что сущ ст у т информ ционн я м триц Фиш р A( ) и он о р тим , то ля м трицы ко ри ций лю ой оц нки
^= ^( )
Y êòîð ñïð ëè î í ð íñò î Êð ì ð -Ð î:
^ |
^ ^ |
|
|
^ |
T |
o |
|
|
|
|
|
|
||
En( (Y ) EY f g)( (Y ) EY f g) |
|
|
|
|
|
T |
|
|||||||
|
|
|
I + |
[d( )]T)A 1( )(I + |
|
[d( )]T |
|
: |
||||||
|
|
|
r |
|
|
|
|
^ |
^ |
|
|
|||
|
|
|
|
|
|
|
|
r |
|
|
|
|
||
В ч стности, ля н см щ нной оц нки = (Y ) (ïðè |
||||||||||||||
d( ) = 0) èñï ðñèÿ ó î ë ò îðÿ ò í ð íñò ó |
|
|
|
|
||||||||||
|
^ |
|
|
2 |
g Tr[A |
1 |
|
|
|
|
|
|
||
|
EY fk (Y ) k |
|
( )]: |
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
94 |
^ |
= |
^ |
Í ñì ù íí ÿ îö íê |
(Y ) í û òñÿ ýôô êòè íîé, |
сли н р нст о Кр м р Р о ля н пр р щ тся р н- ст о. то им т м сто только при ыполн нии соотнош ния
ln ( ) = ( )(^( ) ) r L Y; Y
ñн которой ск лярной функци й ( ), í èñÿù é îò y.
Âтом случ , ко ктор н лю ний Y состоит и н - ч ний н исимых и о ин ко о р спр л нных случ йных
личин y1; y2; : : : ; yN с плотностью р спр л ния py( j ), информ ционн я м триц Фиш р им т и
AN ( ) = N EY fr [r ln py(yj )]Tg = N A1( ):
Åñëè ì òðèö A1 1( ) о р тим , то ля корр ляционной м - трицы эфф кти ной оц нки мо но получить симптотич с-
кую формулу при N ! 1 |
|
|
1 |
|
|
|
^ |
^ |
T |
|
1 |
|
|
g = |
N A1 |
|
||||
EY f( N )( N ) |
|
( ); |
||||
и которой сл у т состоят льность посл о т льности, со-
^
ñò ë ííîé è ýôô êòè íûõ îö íîê f N g.
 î ù ì ñëó÷ , ñëè ì òðèö N 1AN ( ) ïð ëüíî í û- ðî í , ò. .
то симптотич ски эфф кти н я оц нк я ля тся состоят льной.
Ïðèì ð. Р ссмотрим чу и р . 1.2 о о н ру нии н лю мо о н фон пом х fvng и стно о ск лярно о си-н л f'ng, пр ст ляющ о со ой р ли цию посл о - т льности н исимых о ин ко о р спр л нных случ йных
личин с о р нич нным ср ним н ч ни м M' è êîí ÷íîé
èñï ðñè é '2 0. Пусть при n = 1; 2; : : : ; N н лю ются ск лярны случ йны личины
yn = 'n + vn:
95
З ч состоит оц ни нии н и стно о н ч ния , р но-о нулю или иниц . Если пр поло ить, что пом хи fvng
уссо ски о ин ко о р спр л нны с плотностью р спр -
ë íèÿ pv( ) è ï ð ì òð ìè N(0; v2); v > 0, то информ - ционн я м триц Фиш р
A |
|
( ) = |
|
N E |
[ |
|
ln p (y |
|
')] |
|
2 |
+ M2 |
|
|
r |
|
g |
= N ' |
' |
||||||
|
N |
|
|
y;'fr |
v |
|
|
2 |
||||
|
|
|
|
|
|
|
|
|
|
|
|
v |
и, к к и но, н исит я но от . В нном случ н тру - но у иться, что оц нк , получ нн я м то ом м ксим льно-о пр опо о ия со п т с соот тст ующ й м рко ской оц нкой (см. р . 2.2), о р щ ни информ ционной м трицы Фиш р со п т со ср ним н ч ни м усло ной ко - ри ции м рко ской оц нки. Для м рко ской оц нки, силун см щ нности, н р нст о Кр м р Р о пр р щ тся р нст о. Р н у упомин л сь эфф кти ность м рко - ских оц нок ( смысл минимум исп рсии) кл сс лин й- ных оц нок. Н р нст о Кр м р Р о пок ы т, что приуссо ской пом х н лю ния м рко ски оц нки эфф к- ти ны ол широком кл сс н см щ нных оц нок, я ляющихся прои ольными функциями нных н лю ния.
В сл ующ м р л этот прим р у т р ссмотр н слу- ч н и стных о р нич нных пом х, мых т рминиро нной функци й.
96
6.З чи оц ни нии и оптими ции при о р нич нных, ост льном прои ольных пом х х
Поняти почти прои ольны пом хи, к к пр ило, т к- ст посо ия стро о форм льно н опр ля тся, по р ум я широкий кл сс с о мо ных пом х: к к случ йных с р ной ст п нью имной исимости, т к и н случ йных. Н смотря н отсутст и ч тко о опр л ния о с х случ ях пр по- л тся, что к н му относятся пом хи, поро мы т р- миниро нными, н и стными, но о р нич нными функциями.
6.1.Ñëó÷ éíûé ñè í ë, í ëþ ìûé í ôîí î ð íè÷ ííûõ ïîì õ
Р ссмотрим чу о оц ни нии коэффици нт усил ния и стно о ск лярно о си н л f'ng, пр ст ляющ о со ой р ли цию посл о т льности н исимых о ин ко о р с- пр л нных случ йных личин с о р нич нным и стным
ñð íèì í ÷ íè ì M' и кон чной поло ит льной исп р- си й '2 > 0, н лю мо о н фон н и стных о р нич н- ных пом х fvng. Бол точно: по н лю ниям при n =
1; 2; : : : ск лярных случ йных личин
yn = 'n + vn;
jvnj Cv;
òð ó òñÿ посл о т льно оц ни ть н и стно н ч ни . В лит р тур при опис нии спосо о р ш ния ч т ко о тип : при о р нич нных, ост льном прои ольных пом -
х х, ч сто при о ится сл ующий л оритм.
Пусть н н который инт р л = 0 = [a0; b0], р н- тиро нно со р щий н ч ни . Н к ом ш , получи
97
íî î í ëþ íè yn, мо но уточнить р ницы мно ст , со р щ о , по сл ующ му пр илу:
n = [an; bn] = n 1 \ fX : jyn 'nXj Cvg:
Åñëè an ! bn ïðè n ! 1, ò. . èíò ð ëû n стя и ются точку, то оч и но, что хорош й оц нкой личины н ш
ñ íîì ðîì n ìî ò ûòü ëþ îé è ýë ì íòî ìíî ñò n,
^ = ( + ) 2
í ïðèì ð n an bn = : Состоят льность посл о т льности оц нок у т р нтиро н .
Hо, к со л нию, сущ ст нных осно ний н яться н то, что an ! bn ïðè n ! 1, н т. В этой ситу ции мо ноо орить только о получ нии пр льно о мно ст 1, которо р нтиро нно со р ит н и стно искомо н ч ни: Историч ски т к сло илось, что р ульт том т ко о тип о ычно у о л т оряются, счит я н о мо ным при р ш нии этой чи получить лучший от т. В [7] пок но, что и этой ч о мо но получ ни посл о т льности состоя- т льных оц нок.
Д л при м н сколько прим ро л оритмо постро - ния мно ст , р нтиро нно со р щих ктор н и стных п р м тро .
6.2.М то р курр нтных ц л ых н р нст . Кон чно-схо ящи ся л оритмы
К к и прим р пр ы ущ о р л , т к и о мно ихру их случ ях чи оц ни ния, оптими ции, пти но-о упр л ния и т.п. мо ут ыть сформулиро ны сл ую- щ м и (см. [11, 58, 59, 72]).
Для н которой функции ( ; ), ííîé í W , í éòè ýë ì íò 2 (н о я т льно инст нный), ля которо о при лю ом w 2 W ыполняются н р нст
(w; ) 0;
98
которы о ычно н ы ют ö ë ûìè í ð íñò ìè. Åñëè ìíî ñò î W í êîí ÷íî , òî í îð è ö ë ûõ í ð íñò ïð ñò ëÿ ò ñî îé ñêîí ÷íîì ðíóþ ñèñò ìó í ð íñò .
В ря пр ктич ских ч р споря нии эксп рим нт - тор сть н котор я тр ниро очн я (о уч ющ я) посл о - т льность точ к w1; w2; : : : è ìíî ñò W , ля которой и -стны н ч ния функции (wk; ); k = 1; 2; : : :, и, получ нн я т ким о р ом по сист м н р нст
(wk; ) 0;
k = 1; 2; : : : ; мо т ыть исполь о н ля отыск ния ну но о ктор . Кон чно, по л ит сп ци льному иссл -о нию опрос о том, к ких случ ях р ш ния этой по сис- т мы я ляются и р ш ниями исхо ной. От т н н о мо ноть, с л н которы пр поло ния о х р кт ристик х функции ( ; ) и о ст тистич ских с ойст х посл о т льности w1; w2; : : : : Â èíò ð ñóþù é í ñ ñèòó öèè î÷ ð íî í ð íñò î ìîì íò ð ì íè n^формиру тся лишь посл н - хо ния пр ы ущ й оц нки n 1. Â ýòîì êîíò êñò ïî -
ñèñò ìó í ð íñò (wk; ) 0; k = 1; 2; : : : ; í û þò р - курр нтными ц л ыми н р нст ми.
Р ссмотрим посл о т льность мно ст
0 = ; n = n 1 \ f : (wn; ) 0g;
n = 1; 2; : : : ; 0 1 : : : : Äëÿ ëþ î î n ìî íî óò ð òü, ÷òî ëÿ ñÿêî î , ÿ ëÿþù îñÿ ð ø íè ì èñõî íîé ñèñò ìû
ц л ых н р нст , ыполн но усло и 2 n: Ино при о осно нии схо имости л оритмо стох стич ской ппроксим ции с про ктиро ни м но н ть, что р курр нтный спосо постро ния посл о т льности мно ст f ng êî- í ÷íî-ñõî ящийся том смысл , что н чин я с н которо о n, мно ст n п р ст ют и м няться:
n = n?; n n?:
99
Кон чно-схо ящийся л оритм (КСА) кон чно число ш -о ост ля т р ш ни скон чно о числ р н н и стных р курр нтных н р нст .
Сформулиру м усло ия, при ыполн нии которых мо но н н чит льно и ои м нить опис нный спосо р кур- р нтно о постро ния посл о т льности мно ст f ng т к, что ы он ст л кон чно-схо ящимся.
Ïðè ê îì n = 1; 2; : : : ìíî ñò î f : (wn; ) 0gыпукло .
Ср и р ш ний с х р курр нтных ц л ых н р нстсть н пустой открытый ш р, т. . сущ ст у т 2 и н которо Ж > 0, ò êî , ÷òî ëÿ ëþ î î n = 1; 2; : : : è ëþ î î X :
kX k2 Ж ыполн но усло и |
(wn; X) |
0. |
|
|
|
|
|
||||||
При ыполн нии этих усло ий опр лим посл о т ль- |
|||||||||||||
^ |
|
|
|
|
|
|
|
|
|
|
|
|
|
ности точ к f ng è ìíî ñò f ng ïî ñë óþù ìó ïð èëó: |
|||||||||||||
ïðè n = 0 ïîë ì |
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
^ |
|
|
|
|
|
|
|
|
|
|
|
|
|
0 2 ; 0 |
= ; |
|
|
|
|
|
|
|||
ïðè n = 1; 2^; : : :, |
|
|
|
|
|
|
|
|
|
|
|
|
|
ñëè (wn; n 1) 0, òî |
|
|
|
|
|
|
|
|
|
|
|||
|
|
^ |
^ |
|
= n 1; |
|
|
|
|
|
|
||
|
|
n |
= n 1; n |
|
|
|
|
|
|
||||
|
|
|
|
|
^ |
|
û èð ì ëè éøèé ê |
||||||
^ проти ном случ к ч ст n |
|||||||||||||
n 1 ýë ì íò è |
|
|
|
|
|
|
|
|
|
|
|
|
|
n = n 1 |
\ f |
: (wn; X) |
|
0 |
8 |
X : X |
|
k |
2 |
|
Æ : |
||
|
|
|
|
k |
|
|
|
g |
|||||
Для получ нной посл о т льности им м 0 |
1 : : : : |
||||||||||||
В р ульт т постро ния этой посл о т льности мно ст мо м пот рять н которы р ш ния исхо ной сист мы ц л -ых н р нст , но по кр йн й м р о но и них, р но ,
ïðèí ë èò ñ ì ìíî ñò ì: 2 \n n. П р о усло и сущ ст нно о р ничи т кру ч, р ш мых с помощью
кон чно-схо ящ ося л оритм , но о мно их пр ктич ских
100