Цифровая обработка сигналов (сборник книг) / Граничин О.Н. Введения в методы стохастической оптимизации и оценивания, 2003
.pdf
М то ы оц ни ния и оптими ции
И ло ни м т ри л посо ия мы н чн м с формулиро ки н скольких мо льных прим ро , иллюстрирующих о л сть прим н ния о су мых м то о .
1. Ïðèì ðû
÷ îö íè íèÿ
Р ссм три мы прим ры н пр ст ляют со ой конкр т- ны пр ктич ски чи. Мно и и них ны ост точно о щ й мо льной форм , но, по мн нию тор , ля пр ктико н сост ит тру при н о хо имости конкр ти иро ть лю ой и них.
1.1.Оц ни ни личины постоянно о си н л , н лю мо о н фон пом хи
Пр поло им, что н лю мый (р истриру мый и м - рит льным при ором) си н л fyng èì ò è
yn = + vn;
сь н и стн я постоянн я личин (ïîë íûé ñè í ë);
fvng í è ñòí ÿ ïîì õ í ëþ íèÿ, è ì íÿþù ÿñÿ îð ì íè, n = 1; 2; : : : : Èíò ð ë ð ì íè í ëþ íèÿ ìî ò
ыть ли о н о р нич нным, ли о кон чным. При р ссмотр - нии торо о случ я мы у м пис ть: n = 1; 2; : : : ; N:
Òð ó òñÿ по н ору личин y1; : : : ; yN , состоящ му и н лю ний, получ нных к мом нту р м ни N, оц нить н - ч ни личины .
21
В т кой о щ й пост но к н т о мо ности получить к ко - ни у ь у о л т орит льно р ш ни чи. Для ольш й со р т льности пост но ку чи носят уточняющиополн ния. Н прим р, при ст тистич ском по хо л ют т или ины пр поло ния о роятностных с ойст х пом х fvng. Дост точно х р кт рным я ля тся пр поло ни о ц нтриро нности (ñð í í ÷ íè ð íî íóëþ) è н исимости ( упрощ нном смысл , н т исимости м у н ч - ниями р ны мом нты р м ни) пом хи. В этой ситу ции, просуммиро и уср ни N н ч ний н лю ний, получим
1 |
N |
1 |
N |
|
||
|
X |
|
|
X |
|
|
N |
yn = + N |
vn: |
||||
n=1 |
n=1 |
|||||
В исимости от с л нных ст тистич ских пр поло нийсилу кон ольших чис л (см. р . П.1.3) личины
PN=1 vn=N мо ут схо ится н котором роятностном смысл
n
ê íóëþ. Òî îö íêè f^N g н и стно о н ч ния , ычисл н-
ны по формул
^ |
1 |
N |
|
|
|
X |
|
||
N = |
N |
yn; |
||
n=1 |
||||
|
|
|
у ут схо иться том роятностном смысл к н ч нию н и стной личины .
С пр ктич ской точки р ния ля у о ст р ли циил оритм оц ни ния н ВМ о ц л соо р но п р пис тьр курр нтной форм , исполь ующ й н к ом ш êîí ÷-
íóþ ï ìÿòü (фиксиро нно колич ст о н ч ний). Пусть |
|||||||||||
^ |
= 0. Ïðîè ÿ í ñëî íû ïð î ð î íèÿ: |
|
|||||||||
0 |
|
||||||||||
|
^ |
1 n |
n |
1 1 |
|
n 1 |
|
1 |
|
||
|
n = |
X |
yk = |
|
|
|
|
X |
yk + |
|
yn; |
|
|
|
|
|
|
||||||
|
|
n k=1 |
n |
|
n |
|
1 k=1 |
|
n |
|
|
получим р курр нтный ри нт л оритм ля ычисл ния оц нок:
^ ^ |
1 |
^ |
n = n 1 n |
( n 1 yn): |
|
22
О р тим ним ни н то, что ля ычисл ния оч р ной оц н- ки исполь у тся только но о н лю ни и пр ы ущ я оц н- к .
Кром ычисл ния ср н рифм тич ско о н ч ния н- ных н лю ния широко исполь у тся м то м ксим льно о пр опо о ия. О о н чим
0 y1 1
y2
Y = B ... C :
@yN A
В том случ , ко пом хи случ йны личины, ктор н лю ний Y им т случ йную приро у. Если сущ ст у т плотность у о функции р спр л ния, то о ычно н ы-ют функци й пр опо о ия è î î í ÷ þò L(Y; ), по ч р- ки я исимость от . В т кой ситу ции о ним и ст ст н- ных спосо о ы ор оц нки я ля тся опр л ни той точки,которой функция пр опо о ия ости т м ксим льно он ч ния. Н прим р, пусть пом хи н лю ния н иси-
ìû óññî ñêè ñ íóë ûì ñð íèì è í ûðî ííîé èñï ð- ñè é n2 > 0: vn N(0; n2 ). Ò ê ê ê yn N( ; n2), то этом прим р функция пр опо о ия им т и
|
|
|
1 |
|
|
|
|
|
|
N |
(y |
)2 |
|||
|
|
|
|
|
|
|
|
|
|
k |
|
||||
L(Y; ) = |
|
|
|
|
|
|
e Pk=1 |
|
2 k2 : |
||||||
(2 )N=2 |
|
N |
|
|
|
|
|||||||||
|
|
|
|
Q |
|
|
|
|
k |
|
|
|
|
|
|
|
|
|
|
k=1 |
|
|
|
|
|
|
|
||||
У о н р ш ть чу м ксими ции по функции |
|||||||||||||||
|
|
N ln 2 |
|
|
N |
|
|
|
|
|
N |
|
(y )2 |
||
ln L(Y; ) = |
2 |
|
|
X |
ln k |
|
X |
|
k |
||||||
|
|
|
|
|
|
|
|
|
|
|
2 2 |
||||
|
|
|
|
|
k=1 |
|
|
|
|
k=1 |
|
k |
|||
|
|
|
|
|
|
|
|
|
|
|
|||||
(ëî ðèôì ïð îïî î èÿ). Ïðèð íè ÿ ê íóëþ ð óëüò ò |
|||
|
|
^ |
|
ифф р нциро ния по , получ м ур н ни ля N : |
|||
N |
|
^ |
|
|
yk |
N |
= 0; |
|
2 |
|
|
k=1 |
k |
|
|
X |
23 |
р ш ни м которо о я ля тся оц нк , н ы м я óñð í íè ì
ñ ñ ìè:
N 2 Pk=1 yk k :
N 2
Pk=1 k
Посл няя формул л ко о осно ы тся и н интуити ном уро н : формиро ни оц нки н и ольший кл носят т н лю ния, которы л лись с н им ньшими оши к - ми. Если ополнит льно пр поло ить о ин ко ую р спр -л нность пом х н лю ний fvng, то, к к и ыш , получ м ср н рифм тич ско н ч ни нных н лю ния:
|
v 2 |
|
N |
|
1 |
N |
|
^ |
|
k=1 yk |
|
|
|||
N = |
|
P |
|
= N |
X |
yn: |
|
N v 2 |
n=1 |
||||||
Для р ш ния пост л нной чи мо но ы р ть и к койни у ь ру ой спосо постро ния оц нок искомой личины
, но с и стны со р т льны л оритмы опир ются н сущ ст нны пр поло ния о ст тистич ских с ойст х пом х н лю ния. О ычно, к к и р ссмотр нном прим р , пр пол ются их ц нтриро нность и н корр лиро нность. Д л , р . 5, р ир ются щ н сколько прим ро т ко отип . Инт р сн пост но к чи о ы ор н илучших
том или ином смысл оц нок. И стно, что при нный п р ым л оритм я ля тся оптим льным случ н исимых о ин ко о р спр л нных уссо ских пом х н лю - ниях. Для р спр л ний ст тистич ских пом х ру их типо оптим льным мо т ыть иной м то постро ния оц нок. При иссл о нии ы р нно о л оритм ст р ются ополнит льно получить от т н опрос о скорости схо имости ост ля - мых им оц нок, сли они схо ятся к н ч нию н и стной
личины , т. . ^и уч ют скорость схо имости к нулю посл -о т льности f N g.
Êсо л нию, при прои ольных пом х х н лю нии при нны р ссу ния н по оляют получить у о л т о-
24
рит льно о р ш ния чи. Хорошо оц нить личину постоянно о си н л н фон т рминиро нной (н случ йной) н и стной пом хи принципи льно н о мо но.
1.2.Ç ÷ î î í ðó íèè ñè í ë
Р ссмотрим чу о н ру ния ( т ктиро ния) си н - л f'ng, который мо т поп ть, мо т и н поп тьшумл нный к н л н лю ния (и м р ния прои о ятся с пом х ми). З сь ля простоты у м счит ть си н л f'ng ск лярным. В ч х о н ру ния си н л оц ни м я - личин о ычно приним т кон чно число н ч ний и ч сто пр ст ля т со ой х р кт ристику тип " н т". Бу м счит ть, что случ й f = 1g соот тст у т н личию си н лпри мник , случ й f = 0g о отсутст ию. С уч том это о ля н лю мых личин fyng мо но пис ть соотнош ния
yn = 'n + vn;
n = 1; 2; : : : : В историч ском сп кт эт ч я ля т- ся кл ссич ской. Большинст о м то о т ории оц ни ния пр с о про иро лись н н й, поэтому н ор о мо - ных спосо о р ш ния при р личных пр поло ниях о ст тистич ских с ойст х си н л f'ng и "хороших" пом х х fvng ост точно о шир н (см., н прим р, [45]).
При р ш нии но н ть: и стны н ч ния личин f'ng к ый мом нт р м ни или н т. Бу м р ссм три ть случ й, ко к ый мом нт р м ни n н ч ни о н ру-и мо о си н л и стно. Помимо это о пусть пол ный си н л о р нич нный и им т ст тистич скую приро у, пр ст ляя со ой посл о т льность н исимых м у со ой случ йных личин с и стным н нул ым ср ним
í ÷ íè ì M = 0 и поло ит льной о р нич нной исп рси й
2 > 0 ' 6 n
' . К к и р н , просуммиро и уср ни посл о -
25
т льных нных н лю ния, ля ср н рифм тич ско он ч ния нных н лю ния получим
1 |
n |
|
|
|
1 |
n |
|
1 |
n |
|
|
|
X |
y |
k |
= |
|
X |
' + |
|
X |
v |
: |
n k=1 |
|
|
n k=1 |
k |
n k=1 |
k |
|
||||
|
|
|
|
|
|
||||||
В силу усил нно о кон ольших чис л (см. р . П.1.3),
посл о т льность личин |
|
1 |
|
n |
' |
|
стр мится к ср н му |
||
n |
k=1 |
k |
|||||||
|
|
|
|
|
|||||
|
|
^ |
|
|
|
|
|
||
í ÷ íèþ M'. Åñëè ÿòü 0P= 0 è ê ÷ ñò î÷ ð íîé |
|||||||||
îö íêè û ð òü |
|
|
|
|
|
|
|
|
|
|
|
1 |
n |
|
|
|
|||
^ |
|
X |
|
|
|
||||
|
|
|
|
|
|
|
|||
n = |
|
|
|
|
yk; |
|
|||
nM' k=1 |
|
||||||||
|
|
|
|
||||||
то, пр пол я н исимость пом х н лю ния, их о ин - ко ую р спр л нность и о р нич нность торых ст тисти- ч ских мом нто , мо но ок ть схо ^имость с роятностьюиниц посл о т льности оц нок f ng ê í ÷ íèþ
+ Mv ; M'
ñü Mv ср н н ч ни пом хи. В мом нт р м ни n при ы ор ипот ы о н личии пол но о си н л к н л
н лю ния или о о отсутст ии р умно ять оп р цию
^
ср н ния личины т кущ й оц нки n с н которым ïîðî-
^
î ûì í ÷ íè ì Æ. Åñëè n < Ж, то приним тся ипот
ñè í ë í ò, проти ном случ ñè í ë ñòü. Ïðè è ñò-
ной личин Mv ñò ñò ííî ð ø þù ì ïð èë òü ïî-
ðî î î í ÷ íè Æ = 12 + MM'v .
При прои ольных пом х х н лю нии этот простойл оритм н о ится. Д сли пом хи случ йны , н и- симы , о ин ко о р спр л нны , но с н и стным ср нимн ч ни м, то при jMM'v j > 12 р ссмотр нный л оритм пр - л у т ть н пр ильны от ты. К к с -т ки по ступиться к р ш нию т кой чи? Пусть пом хи ются н и стной, но о р нич нной т рминиро нной функци й
26
jvnj Cv ; n = 1; 2; : : :. Î î í ÷èì ÷ ð n = 'n M', n = 1; 2; : : :, ц нтриро нны хо ы. Пр поло им ополнит льно
о р нич нность ч т рто о ц нтр льно о мом нт пол но о
ñè í ë : Efj nj4g < 1. Домно им н n î yч сти соотнош - ния, опр ляющ о н лю мы личины n, è, ïðîè ÿ
н сло ны пр о р о ния, получим при n = 1; 2; : : :
|
y = 2 |
+ M + v : |
|
|
|
|||||||
|
n n |
n |
|
n |
' |
|
n n |
|
|
|
||
Просуммиро и уср ни , им м |
|
|
|
|
|
|
|
|||||
1 n |
y = |
1 n |
2 |
+ |
1 n |
|
M + |
1 |
n |
v ; |
||
X |
k k |
X |
k |
|
X |
k |
' |
|
|
X |
k k |
|
n k=1 |
|
n k=1 |
|
|
n k=1 |
|
|
|
n k=1 |
|
||
n= 1; 2; : : : : Ï ð î è òîðî ñë ìû ïð îé ÷ ñòè ïðè
n! 1 и с л нных пр поло ниях, силу усил нно о ко- н ольших чис л (см. р . П.1.3), с роятностью иниц
стр мятся к '2 и нулю соот тст нно. Посл н сл мо с роятностью иниц стр мится к нулю1. Îòñþ ñë ó ò,
1Док т льст о это о ф кт сло н . Пок м, что с роятностьюиниц при ост точно ольших n посл н сл мо по солютнойличин н у т пр осхо ить лю о р н ы р нно м ло число
" > 0, ò. . ïðè n ! 1 оно у т стр миться к нулю. Пусть h = " .
2 '(1+")
Ïî ïð ïîëî íèþ, î ìî íû í ÷ íèÿ ïîì õè vn ë ò èíò ð ë [ Cv; Cv]. Ð î ú ì î í l = [2Cv=h] + 1 ÷ ñò é Vi
|
l |
1fvn2Vig(vn |
Cv; vi = |
Cv + ih; i = 1; : : : ; l. Î î í ÷èì n = Pi=1 |
|
vi); n 1. |
Ç ì òèì, ÷òî j nj h. Т к к к число l фиксиро но, то, |
|
силу усил нно о кон ольших чис л, при i = 1; : : : ; l и ост точноольших n с роятностью иниц
vi |
|
|
|
|
|
"2 |
|
|
|
1 |
n |
2 |
2 |
2 |
|
|
|
||
|
|
X k |
|
|
|
|
è |
|
X |
k '(1 + ") |
: |
|
|||||||
|
8Cv ' |
(1 + ") |
|
|
|||||||||||||||
n |
|
|
|
|
|
|
n |
|
|
|
|
|
|
|
|||||
|
k n;k:vk2Vi |
|
|
|
|
|
|
|
|
k=1 |
|
|
|
|
|
|
|||
При этом силу н р нст Г ль р (см. р . П.1.2) получ м |
|
||||||||||||||||||
1 |
n |
|
|
l |
vi |
|
|
|
|
|
1 |
n |
|
|
|
l"2 |
|
|
|
|
X |
kvk = X |
|
|
X k + |
|
X k k |
|
|
|
|
+ |
|||||||
n |
|
n |
8Cv '(1 + ") |
||||||||||||||||
n |
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
k=1 |
|
|
i=1 |
|
k n;k:v |
2V |
i |
|
k=1 |
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
k |
|
|
|
|
|
|
|
|
|
|
||
+ '(1 + ")h ";
÷òî è òð î ëîñü îê òü.
27
÷òî ïðè 1 |
|
|
|
|
|
^ |
6= 0 посл о т льность оц нок f ng; n = 1; 2; : : : ; |
||||||
формиру мых по пр илу |
|
|
|
|
|
|
|
^ |
P |
n |
kyk |
|
|
|
k=1 |
; |
||||
|
n = |
|
n |
|
2 |
|
|
|
P |
|
|
||
|
|
|
k |
|
||
|
|
|
k=1 |
|
||
схо ится с роятностью иниц к . З им н которо поро о о н ч ни Ж 2 (0; 1), í ïðèì ð Æ = 1=2. Â ê ÷ ñò
ð ø þù î ïð èë ìîì íò ð ì íè n ìî íî û ð òü îï -
^
р цию ср н ния личины т ^êóù é îö íêè n ñ û ð ííûì ïîðî î ûì í ÷ íè ì Æ. Åñëè n < Ж, то приним тся ипот
ñè í ë í ò, проти ном случ ñè í ë ñòü.
1.3.Р н оми иро нныл оритмы
Ост но имся по ро н н посл н м спосо постро ния оц нок и пр ы ущ о пункт . И о и сл у т, что сли при n = 1; 2; : : : î î í ÷èòü
|
|
|
n |
1 |
|
|
|
2k! ; |
|
|
n = |
k=1 |
||
|
|
|
X |
|
то посл о т льны оц нки с я ны соотнош ни м |
||||
^ |
|
^ |
|
|
|
n |
= |
n 1 |
+ nyn: |
|
|
n 1 |
||
|
n |
|
||
|
|
|
^ |
= 0 ð ññì òðè ìûé ë î- |
Ñë î ò ëüíî, ïðè û îð 0 |
||||
ритм мо т ыть пис н р курр нтной форм : |
||||
^ ^ |
|
|
|
^ |
n = n 1 n n( n n 1 yn);
n = ( n 11 + 2n) 1:
Н помним, что при с л нных пр поло ниях n н -исимы ц нтриро нны случ йны личины. О о н чи
28
^ |
yn) личины, ычисля мы по н лю- |
÷ ð yn = n( n n 1 |
|
мым к мом ну р м ни n нным, получ нный р курр нт- |
|
ный л оритм оц ни ния мо но п р пис ть и |
|
|
^ ^ |
|
n = n 1 nyn: |
Для прим р и р . 1.2 ыло при но интуити но
^
о осно ни схо имости посл о т льности оц нок f ng к истинному н ч нию н и стно о п р м тр при н случ йной
н и стной, но о р нич нной посл о т льности пом х н -лю нии. К к ни стр нно, ол о р мя иссл о т ли нм ч ли то о ф кт , что случ шумл нных н лю ний
оц нки л оритм поиск с посл о т льным (n = 1; 2; : : :)
^
è ì í íè ì n 1 н пр л нии по оси н которо о случ йно о ц нтриро нно о ктор n мо ут схо иться к истинномуктору р улиру мых п р м тро н только при "хороших" пом х х, но и при почти прои ольных. то ости тся
óñëî èÿõ, êî í ëþ íèÿ yn прои о ятся н которой точ-
^
ê , îïð ëÿ ìîé ïð û óù é îö íêîé n 1 и ктором n, í û ìûì ïðî íûì î íî ð ì ííûì î ìóù íè ì. Ал о- ритмы т ко о тип льн йш м у м н ы ть ð í îìè-èðî нными, т к к к о осно ни их схо имости при "почти прои ольных" пом х х сущ ст нно исполь у т стох стич с- кую ( роятностную) приро у про но о о но р м нно о о - мущ ния.
1.4.Функцион л ср н о риск
При нны р . 1.1 и 1.2 прим ры относятся к ол широкому кл ссу ч миними ции функцион ло ср н о риск . Пусть F(w; X) : Rp Rr ! R штр фн я функция (функция пот рь) и н посл о т льность p-ì рных случ йных кторо fwng è Rp, поро нн я р спр л ни мроятност й Pw( ). З ч миними ции функцион л ср -
29
н о риск состоит н хо нии точки минимум функции f( ), èì þù é è
f(X) = EwfF (w; X)g = Z F (w; X)Pw(dw);
Rp
Функцию f( ) î û÷íî í û þò функци й ср них пот рь. В том случ , ко функция р спр л ния Pw( ) н и стн , эт ч ыхо ит р мки кл ссич ской т ории оптими - ции, но мо но попыт ться р шить т х случ ях, ко
точк х, мых посл о т льностью f(wn; Xn)g, оступны н лю нию (мо т ыть с пом х ми) или н ч ния функции F (wn; Xn), или личины rxF (wn; Xn) н ч ния ктор-р и нт . При этом о ычно пр пол ют, что эксп рим н- т тору оступны только проц ссы формиро ния и (или) н - лю ния посл о т льности fXng, ñîîò òñò óþùè í -
÷ íèÿ fwng ïîðî þòñÿ ð ñïð ë íè ì Pw( ) и н по контрольны и , мо т ыть, н и стны.
Äëÿ ïðèì ðî ð . 1.1 è 1.2 ìî íî ÿòü p = r = 1. Åñëè ïîì õ í ëþ íèÿ fvng им т случ йную приро у и функция р спр л ния Pv( ), то ч и р . 1.1 о оц ни нии личины постоянно о си н л эк и л нтн
ч миними ции функцион л ср н о риск :
f(X) = ZR 12( X + w)2Pv(dw);
тор я ч и р . 1.2 с я н с функцион лом
1
f(X) = ZR ZR 2('( X) + v)2P';v(dw);
w= 'v ;
P';v( ) функция со м стно о р спр л ния пол но о си н л и пом хи. Н лю нию к ый мом нт р м ни
30