Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:

Цифровая обработка сигналов (сборник книг) / Граничин О.Н. Введения в методы стохастической оптимизации и оценивания, 2003

.pdf
Скачиваний:
61
Добавлен:
05.03.2016
Размер:
863.2 Кб
Скачать

М то ы оц ни ния и оптими ции

И ло ни м т ри л посо ия мы н чн м с формулиро ки н скольких мо льных прим ро , иллюстрирующих о л сть прим н ния о су мых м то о .

1. Ïðèì ðû

÷ îö íè íèÿ

Р ссм три мы прим ры н пр ст ляют со ой конкр т- ны пр ктич ски чи. Мно и и них ны ост точно о щ й мо льной форм , но, по мн нию тор , ля пр ктико н сост ит тру при н о хо имости конкр ти иро ть лю ой и них.

1.1.Оц ни ни личины постоянно о си н л , н лю мо о н фон пом хи

Пр поло им, что н лю мый (р истриру мый и м - рит льным при ором) си н л fyng èì ò è

yn = + vn;

сь н и стн я постоянн я личин (ïîë íûé ñè í ë);

fvng í è ñòí ÿ ïîì õ í ëþ íèÿ, è ì íÿþù ÿñÿ îð ì íè, n = 1; 2; : : : : Èíò ð ë ð ì íè í ëþ íèÿ ìî ò

ыть ли о н о р нич нным, ли о кон чным. При р ссмотр - нии торо о случ я мы у м пис ть: n = 1; 2; : : : ; N:

Òð ó òñÿ по н ору личин y1; : : : ; yN , состоящ му и н лю ний, получ нных к мом нту р м ни N, оц нить н - ч ни личины .

21

В т кой о щ й пост но к н т о мо ности получить к ко - ни у ь у о л т орит льно р ш ни чи. Для ольш й со р т льности пост но ку чи носят уточняющиополн ния. Н прим р, при ст тистич ском по хо л ют т или ины пр поло ния о роятностных с ойст х пом х fvng. Дост точно х р кт рным я ля тся пр поло ни о ц нтриро нности (ñð í í ÷ íè ð íî íóëþ) è н исимости ( упрощ нном смысл , н т исимости м у н ч - ниями р ны мом нты р м ни) пом хи. В этой ситу ции, просуммиро и уср ни N н ч ний н лю ний, получим

1

N

1

N

 

 

X

 

 

X

 

N

yn = + N

vn:

n=1

n=1

В исимости от с л нных ст тистич ских пр поло нийсилу кон ольших чис л (см. р . П.1.3) личины

PN=1 vn=N мо ут схо ится н котором роятностном смысл

n

ê íóëþ. Òî îö íêè f^N g н и стно о н ч ния , ычисл н-

ны по формул

^

1

N

 

 

X

 

N =

N

yn;

n=1

 

 

 

у ут схо иться том роятностном смысл к н ч нию н и стной личины .

С пр ктич ской точки р ния ля у о ст р ли циил оритм оц ни ния н ВМ о ц л соо р но п р пис тьр курр нтной форм , исполь ующ й н к ом ш êîí ÷-

íóþ ï ìÿòü (фиксиро нно колич ст о н ч ний). Пусть

^

= 0. Ïðîè ÿ í ñëî íû ïð î ð î íèÿ:

 

0

 

 

^

1 n

n

1 1

 

n 1

 

1

 

 

n =

X

yk =

 

 

 

 

X

yk +

 

yn;

 

 

 

 

 

 

 

 

n k=1

n

 

n

 

1 k=1

 

n

 

получим р курр нтный ри нт л оритм ля ычисл ния оц нок:

^ ^

1

^

n = n 1 n

( n 1 yn):

22

О р тим ним ни н то, что ля ычисл ния оч р ной оц н- ки исполь у тся только но о н лю ни и пр ы ущ я оц н- к .

Кром ычисл ния ср н рифм тич ско о н ч ния н- ных н лю ния широко исполь у тся м то м ксим льно о пр опо о ия. О о н чим

0 y1 1

y2

Y = B ... C :

@yN A

В том случ , ко пом хи случ йны личины, ктор н лю ний Y им т случ йную приро у. Если сущ ст у т плотность у о функции р спр л ния, то о ычно н ы-ют функци й пр опо о ия è î î í ÷ þò L(Y; ), по ч р- ки я исимость от . В т кой ситу ции о ним и ст ст н- ных спосо о ы ор оц нки я ля тся опр л ни той точки,которой функция пр опо о ия ости т м ксим льно он ч ния. Н прим р, пусть пом хи н лю ния н иси-

ìû óññî ñêè ñ íóë ûì ñð íèì è í ûðî ííîé èñï ð- ñè é n2 > 0: vn N(0; n2 ). Ò ê ê ê yn N( ; n2), то этом прим р функция пр опо о ия им т и

 

 

 

1

 

 

 

 

 

 

N

(y

)2

 

 

 

 

 

 

 

 

 

 

k

 

L(Y; ) =

 

 

 

 

 

 

e Pk=1

 

2 k2 :

(2 )N=2

 

N

 

 

 

 

 

 

 

 

Q

 

 

 

 

k

 

 

 

 

 

 

 

 

 

k=1

 

 

 

 

 

 

 

У о н р ш ть чу м ксими ции по функции

 

 

N ln 2

 

 

N

 

 

 

 

 

N

 

(y )2

ln L(Y; ) =

2

 

 

X

ln k

 

X

 

k

 

 

 

 

 

 

 

 

 

 

 

2 2

 

 

 

 

 

k=1

 

 

 

 

k=1

 

k

 

 

 

 

 

 

 

 

 

 

 

(ëî ðèôì ïð îïî î èÿ). Ïðèð íè ÿ ê íóëþ ð óëüò ò

 

 

^

ифф р нциро ния по , получ м ур н ни ля N :

N

 

^

 

 

yk

N

= 0;

 

2

 

 

k=1

k

 

X

23

^ =
N

р ш ни м которо о я ля тся оц нк , н ы м я óñð í íè ì

ñ ñ ìè:

N 2 Pk=1 yk k :

N 2

Pk=1 k

Посл няя формул л ко о осно ы тся и н интуити ном уро н : формиро ни оц нки н и ольший кл носят т н лю ния, которы л лись с н им ньшими оши к - ми. Если ополнит льно пр поло ить о ин ко ую р спр -л нность пом х н лю ний fvng, то, к к и ыш , получ м ср н рифм тич ско н ч ни нных н лю ния:

 

v 2

 

N

 

1

N

 

^

 

k=1 yk

 

 

N =

 

P

 

= N

X

yn:

N v 2

n=1

Для р ш ния пост л нной чи мо но ы р ть и к койни у ь ру ой спосо постро ния оц нок искомой личины

, но с и стны со р т льны л оритмы опир ются н сущ ст нны пр поло ния о ст тистич ских с ойст х пом х н лю ния. О ычно, к к и р ссмотр нном прим р , пр пол ются их ц нтриро нность и н корр лиро нность. Д л , р . 5, р ир ются щ н сколько прим ро т ко отип . Инт р сн пост но к чи о ы ор н илучших

том или ином смысл оц нок. И стно, что при нный п р ым л оритм я ля тся оптим льным случ н исимых о ин ко о р спр л нных уссо ских пом х н лю - ниях. Для р спр л ний ст тистич ских пом х ру их типо оптим льным мо т ыть иной м то постро ния оц нок. При иссл о нии ы р нно о л оритм ст р ются ополнит льно получить от т н опрос о скорости схо имости ост ля - мых им оц нок, сли они схо ятся к н ч нию н и стной

личины , т. . ^и уч ют скорость схо имости к нулю посл -о т льности f N g.

Êсо л нию, при прои ольных пом х х н лю нии при нны р ссу ния н по оляют получить у о л т о-

24

рит льно о р ш ния чи. Хорошо оц нить личину постоянно о си н л н фон т рминиро нной (н случ йной) н и стной пом хи принципи льно н о мо но.

1.2.Ç ÷ î î í ðó íèè ñè í ë

Р ссмотрим чу о н ру ния ( т ктиро ния) си н - л f'ng, который мо т поп ть, мо т и н поп тьшумл нный к н л н лю ния (и м р ния прои о ятся с пом х ми). З сь ля простоты у м счит ть си н л f'ng ск лярным. В ч х о н ру ния си н л оц ни м я - личин о ычно приним т кон чно число н ч ний и ч сто пр ст ля т со ой х р кт ристику тип " н т". Бу м счит ть, что случ й f = 1g соот тст у т н личию си н лпри мник , случ й f = 0g о отсутст ию. С уч том это о ля н лю мых личин fyng мо но пис ть соотнош ния

yn = 'n + vn;

n = 1; 2; : : : : В историч ском сп кт эт ч я ля т- ся кл ссич ской. Большинст о м то о т ории оц ни ния пр с о про иро лись н н й, поэтому н ор о мо - ных спосо о р ш ния при р личных пр поло ниях о ст тистич ских с ойст х си н л f'ng и "хороших" пом х х fvng ост точно о шир н (см., н прим р, [45]).

При р ш нии но н ть: и стны н ч ния личин f'ng к ый мом нт р м ни или н т. Бу м р ссм три ть случ й, ко к ый мом нт р м ни n н ч ни о н ру-и мо о си н л и стно. Помимо это о пусть пол ный си н л о р нич нный и им т ст тистич скую приро у, пр ст ляя со ой посл о т льность н исимых м у со ой случ йных личин с и стным н нул ым ср ним

í ÷ íè ì M = 0 и поло ит льной о р нич нной исп рси й

2 > 0 ' 6 n

' . К к и р н , просуммиро и уср ни посл о -

25

т льных нных н лю ния, ля ср н рифм тич ско он ч ния нных н лю ния получим

1

n

 

 

 

1

n

 

1

n

 

 

 

X

y

k

=

 

X

' +

 

X

v

:

n k=1

 

 

n k=1

k

n k=1

k

 

 

 

 

 

 

 

В силу усил нно о кон ольших чис л (см. р . П.1.3),

посл о т льность личин

 

1

 

n

'

 

стр мится к ср н му

n

k=1

k

 

 

 

 

 

 

 

^

 

 

 

 

 

í ÷ íèþ M'. Åñëè ÿòü 0P= 0 è ê ÷ ñò î÷ ð íîé

îö íêè û ð òü

 

 

 

 

 

 

 

 

 

 

1

n

 

 

 

^

 

X

 

 

 

 

 

 

 

 

 

 

n =

 

 

 

 

yk;

 

nM' k=1

 

 

 

 

 

то, пр пол я н исимость пом х н лю ния, их о ин - ко ую р спр л нность и о р нич нность торых ст тисти- ч ских мом нто , мо но ок ть схо ^имость с роятностьюиниц посл о т льности оц нок f ng ê í ÷ íèþ

+ Mv ; M'

ñü Mv ср н н ч ни пом хи. В мом нт р м ни n при ы ор ипот ы о н личии пол но о си н л к н л

н лю ния или о о отсутст ии р умно ять оп р цию

^

ср н ния личины т кущ й оц нки n с н которым ïîðî-

^

î ûì í ÷ íè ì Æ. Åñëè n < Ж, то приним тся ипот

ñè í ë í ò, проти ном случ ñè í ë ñòü. Ïðè è ñò-

ной личин Mv ñò ñò ííî ð ø þù ì ïð èë òü ïî-

ðî î î í ÷ íè Æ = 12 + MM'v .

При прои ольных пом х х н лю нии этот простойл оритм н о ится. Д сли пом хи случ йны , н и- симы , о ин ко о р спр л нны , но с н и стным ср нимн ч ни м, то при jMM'v j > 12 р ссмотр нный л оритм пр - л у т ть н пр ильны от ты. К к с -т ки по ступиться к р ш нию т кой чи? Пусть пом хи ются н и стной, но о р нич нной т рминиро нной функци й

26

= [vi 1; vi); v0 =

jvnj Cv ; n = 1; 2; : : :. Î î í ÷èì ÷ ð n = 'n M', n = 1; 2; : : :, ц нтриро нны хо ы. Пр поло им ополнит льно

о р нич нность ч т рто о ц нтр льно о мом нт пол но о

ñè í ë : Efj nj4g < 1. Домно им н n î yч сти соотнош - ния, опр ляющ о н лю мы личины n, è, ïðîè ÿ

н сло ны пр о р о ния, получим при n = 1; 2; : : :

 

y = 2

+ M + v :

 

 

 

 

n n

n

 

n

'

 

n n

 

 

 

Просуммиро и уср ни , им м

 

 

 

 

 

 

 

1 n

y =

1 n

2

+

1 n

 

M +

1

n

v ;

X

k k

X

k

 

X

k

'

 

 

X

k k

n k=1

 

n k=1

 

 

n k=1

 

 

 

n k=1

 

n= 1; 2; : : : : Ï ð î è òîðî ñë ìû ïð îé ÷ ñòè ïðè

n! 1 и с л нных пр поло ниях, силу усил нно о ко- н ольших чис л (см. р . П.1.3), с роятностью иниц

стр мятся к '2 и нулю соот тст нно. Посл н сл мо с роятностью иниц стр мится к нулю1. Îòñþ ñë ó ò,

1Док т льст о это о ф кт сло н . Пок м, что с роятностьюиниц при ост точно ольших n посл н сл мо по солютнойличин н у т пр осхо ить лю о р н ы р нно м ло число

" > 0, ò. . ïðè n ! 1 оно у т стр миться к нулю. Пусть h = " .

2 '(1+")

Ïî ïð ïîëî íèþ, î ìî íû í ÷ íèÿ ïîì õè vn ë ò èíò ð ë [ Cv; Cv]. Ð î ú ì î í l = [2Cv=h] + 1 ÷ ñò é Vi

 

l

1fvn2Vig(vn

Cv; vi =

Cv + ih; i = 1; : : : ; l. Î î í ÷èì n = Pi=1

vi); n 1.

Ç ì òèì, ÷òî j nj h. Т к к к число l фиксиро но, то,

силу усил нно о кон ольших чис л, при i = 1; : : : ; l и ост точноольших n с роятностью иниц

vi

 

 

 

 

 

"2

 

 

 

1

n

2

2

2

 

 

 

 

 

X k

 

 

 

 

è

 

X

k '(1 + ")

:

 

 

8Cv '

(1 + ")

 

 

n

 

 

 

 

 

 

n

 

 

 

 

 

 

 

 

k n;k:vk2Vi

 

 

 

 

 

 

 

 

k=1

 

 

 

 

 

 

При этом силу н р нст Г ль р (см. р . П.1.2) получ м

 

1

n

 

 

l

vi

 

 

 

 

 

1

n

 

 

 

l"2

 

 

 

 

X

kvk = X

 

 

X k +

 

X k k

 

 

 

 

+

n

 

n

8Cv '(1 + ")

n

 

 

 

 

 

 

 

 

 

 

 

 

 

 

k=1

 

 

i=1

 

k n;k:v

2V

i

 

k=1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

k

 

 

 

 

 

 

 

 

 

 

+ '(1 + ")h ";

÷òî è òð î ëîñü îê òü.

27

÷òî ïðè 1

 

 

 

 

 

^

6= 0 посл о т льность оц нок f ng; n = 1; 2; : : : ;

формиру мых по пр илу

 

 

 

 

 

 

^

P

n

kyk

 

 

k=1

;

 

n =

 

n

 

2

 

 

P

 

 

 

 

 

k

 

 

 

 

k=1

 

схо ится с роятностью иниц к . З им н которо поро о о н ч ни Ж 2 (0; 1), í ïðèì ð Æ = 1=2. Â ê ÷ ñò

ð ø þù î ïð èë ìîì íò ð ì íè n ìî íî û ð òü îï -

^

р цию ср н ния личины т ^êóù é îö íêè n ñ û ð ííûì ïîðî î ûì í ÷ íè ì Æ. Åñëè n < Ж, то приним тся ипот

ñè í ë í ò, проти ном случ ñè í ë ñòü.

1.3.Р н оми иро нныл оритмы

Ост но имся по ро н н посл н м спосо постро ния оц нок и пр ы ущ о пункт . И о и сл у т, что сли при n = 1; 2; : : : î î í ÷èòü

 

 

 

n

1

 

 

 

2k! ;

 

n =

k=1

 

 

 

X

 

то посл о т льны оц нки с я ны соотнош ни м

^

 

^

 

 

n

=

n 1

+ nyn:

 

 

n 1

 

n

 

 

 

 

^

= 0 ð ññì òðè ìûé ë î-

Ñë î ò ëüíî, ïðè û îð 0

ритм мо т ыть пис н р курр нтной форм :

^ ^

 

 

 

^

n = n 1 n n( n n 1 yn);

n = ( n 11 + 2n) 1:

Н помним, что при с л нных пр поло ниях n н -исимы ц нтриро нны случ йны личины. О о н чи

28

^

yn) личины, ычисля мы по н лю-

÷ ð yn = n( n n 1

мым к мом ну р м ни n нным, получ нный р курр нт-

ный л оритм оц ни ния мо но п р пис ть и

 

^ ^

 

n = n 1 nyn:

Для прим р и р . 1.2 ыло при но интуити но

^

о осно ни схо имости посл о т льности оц нок f ng к истинному н ч нию н и стно о п р м тр при н случ йной

н и стной, но о р нич нной посл о т льности пом х н -лю нии. К к ни стр нно, ол о р мя иссл о т ли нм ч ли то о ф кт , что случ шумл нных н лю ний

оц нки л оритм поиск с посл о т льным (n = 1; 2; : : :)

^

è ì í íè ì n 1 н пр л нии по оси н которо о случ йно о ц нтриро нно о ктор n мо ут схо иться к истинномуктору р улиру мых п р м тро н только при "хороших" пом х х, но и при почти прои ольных. то ости тся

óñëî èÿõ, êî í ëþ íèÿ yn прои о ятся н которой точ-

^

ê , îïð ëÿ ìîé ïð û óù é îö íêîé n 1 и ктором n, í û ìûì ïðî íûì î íî ð ì ííûì î ìóù íè ì. Ал о- ритмы т ко о тип льн йш м у м н ы ть ð í îìè-èðî нными, т к к к о осно ни их схо имости при "почти прои ольных" пом х х сущ ст нно исполь у т стох стич с- кую ( роятностную) приро у про но о о но р м нно о о - мущ ния.

1.4.Функцион л ср н о риск

При нны р . 1.1 и 1.2 прим ры относятся к ол широкому кл ссу ч миними ции функцион ло ср н о риск . Пусть F(w; X) : Rp Rr ! R штр фн я функция (функция пот рь) и н посл о т льность p-ì рных случ йных кторо fwng è Rp, поро нн я р спр л ни мроятност й Pw( ). З ч миними ции функцион л ср -

29

н о риск состоит н хо нии точки минимум функции f( ), èì þù é è

f(X) = EwfF (w; X)g = Z F (w; X)Pw(dw);

Rp

Функцию f( ) î û÷íî í û þò функци й ср них пот рь. В том случ , ко функция р спр л ния Pw( ) н и стн , эт ч ыхо ит р мки кл ссич ской т ории оптими - ции, но мо но попыт ться р шить т х случ ях, ко

точк х, мых посл о т льностью f(wn; Xn)g, оступны н лю нию (мо т ыть с пом х ми) или н ч ния функции F (wn; Xn), или личины rxF (wn; Xn) н ч ния ктор-р и нт . При этом о ычно пр пол ют, что эксп рим н- т тору оступны только проц ссы формиро ния и (или) н - лю ния посл о т льности fXng, ñîîò òñò óþùè í -

÷ íèÿ fwng ïîðî þòñÿ ð ñïð ë íè ì Pw( ) и н по контрольны и , мо т ыть, н и стны.

Äëÿ ïðèì ðî ð . 1.1 è 1.2 ìî íî ÿòü p = r = 1. Åñëè ïîì õ í ëþ íèÿ fvng им т случ йную приро у и функция р спр л ния Pv( ), то ч и р . 1.1 о оц ни нии личины постоянно о си н л эк и л нтн

ч миними ции функцион л ср н о риск :

f(X) = ZR 12( X + w)2Pv(dw);

тор я ч и р . 1.2 с я н с функцион лом

1

f(X) = ZR ZR 2('( X) + v)2P';v(dw);

w= 'v ;

P';v( ) функция со м стно о р спр л ния пол но о си н л и пом хи. Н лю нию к ый мом нт р м ни

30