Цифровая обработка сигналов (сборник книг) / Граничин О.Н. Введения в методы стохастической оптимизации и оценивания, 2003

ÓÄÊ 519.712 ÁÊÊ 32.811.7

Ã77

Ðö í í ò û: -ð ôè .-ì ò. í óê ïðîô. À.Å. Á ð íî

(Ñ.-Ï ò ð óð ñêèé îñ. óí-ò)

ê í . ôè . ì ò. í óê îö. À.È. ï ëÿ ûé (Ñ.-Ï ò ð óð ñêèé îñ. óí-ò)

Р ком н о но к и нию Р кционно-и т льским со том м т м тико-м х нич ско о ф культ т С.-П т р ур ско о осу рст нно о уни рсит т

è îö íè íèÿ: Уч . посо и . СП .: И т льст о С.-П т р ур ско о уни рстит т , 2003. 131 с.

ISBN 5-288-03201-7

В посо ии тся сист м тич ско и ло ни осно м то о сто- х стич ской мно ом рной оптими ции и оц ни ния усло иях н -лю ний с пом х ми. Кром кл ссич ских р ульт то , при формулиро к которых о ычно р ссм три ются пост но ки ч отсутст и пом х ли о при ст н ртных пр поло ниях о их ст тистич ских х р кт ристик х (н исимость и ц нтриро нность т о- р тикороятностном смысл ), уч но посо и ключ н м т ри л о л оритм х, ющих состоят льны оц нки н и стных (или оптими иру мых) п р м тро при почти прои ольных пом х х.

Посо и пр н н ч но ля сту нто ст рших курсо и спир нто , о уч ющихся н сп ци льностях, с я нных с о р откой информ ции,ч стности и уч ющих курс "Оптими ция сист м р льно о р - м ни"; оно мо т исполь о ться при по ото к сп ци листо по ст тистич ским м то м оц ни ния и стох стич ской оптими ции.

Áè ëèî ð. 78 í .

c О.Н. Гр ничин, 2003

c È ò ëüñò î Ñ.-Ï ò ð óð ñêî î óíè ðñèò ò , 2003

ISBN 5-288-03201-7

Î Ã Ë À Â Ë Å Í È Å

 íè . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

1.1.Оц ни ни личины постоянно о си н л , н лю мо-

о н фон пом хи . . . . . . . . . . . . . . . . . . . . . . . . 1.2. З ч о о н ру нии си н л . . . . . . . . . . . . . . . 25 1.3. Р н оми иро нны л оритмы . . . . . . . . . . . . . . . . 28 1.4. Функцион л ср н о риск . . . . . . . . . . . . . . . . . . 29 1.5. Пр ск ни н ч ний случ йно о проц сс . . . . . . . . 31

2.л м нты р р ссионно о н ли , м то н им ньших

ê ð òî . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

2.1.Н илучш я ппроксим ция о ной случ йной личины

с помощью ру ой . . . . . . . . . . . . . . . . . . . . . . . . 2.2. Оц ни ни по кон чному числу н лю ний . . . . . . . . 36

2.3.Р курр нтны мо ифик ции м то н им ньших к р -

4.М то ы стох стич ской ппроксим ции и случ йно о

4.1.Поиск корня н и стной функции. Ал оритм Ро инс

Монро . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 4.2. Миними ция функцион л ср н о риск . . . . . . . . . 65 4.3. Проц ур Киф р Вольфо иц . . . . . . . . . . . . . . . 67

4.4.Р н оми иро нны л оритмы стох стич ской ппрокси-

6. Îö íè íè ïðè î ð íè÷ ííûõ ïîì õ õ . . . . . . . . . . . . 97

6.1.Ñëó÷ éíûé ñè í ë, í ëþ ìûé í ôîí î ð íè÷ ííûõ

6.2.М то р курр нтных ц л ых н р нст . Кон чно схо-

Т рминоло ич ский ук т ль .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121

Óê ò ëü ëèò ð òóðû . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123

4

Â Â Å Ä Å Í È Å

Точно р ш ни лю ой про л мы о мо но при точной пост но к чи, но с я и и отнош ния р льно сущ ст ую- щ м мир н столько сло ны и мно оо р ны, что пр ктич с- ки н о мо но м т м тич ски стро о опис ть мно и я л - ния. Типичным по хо ом т ории я ля тся ы ор ли кой к р льным проц сс м м т м тич ской мо ли и ключ нин р личных ïîì õ, относящихся, с о ной стороны, кру ости м т м тич ской мо ли и, с ру ой, х р кт ри ующих н контролиру мы н шни о мущ ния о ъ кт или сис- т мы. Для с х м т м тич ских мо л й р ульт том эксп - рим нт я ля тся м т м тич ский о ъ кт число, мно ст о чис л, кри я и т.п. В м т м тич ском сп кт н чит льный кру прикл ных ч им т с о й ц лью осст но л ни по эксп рим нт льным нным х р кт ристик (п р м тро ) о ъ кт . При этом р льны сист мы р ко исч рпы ющ описы ются о р нич нными м т м тич скими мо лями. При ы ор мо ли ля р ш ния р льной чи принятоо орить о ñèñò ì òè÷ ñêîé по р шности (по р шности мо-ли), котор я мо т ыть колич ст нно ыр н р сстояни м от р льно о оп р тор о ы р нной мо ли. Дру ой тип по р шност й (оши ок), с которыми мо т столкнуться эксп рим нт тор, с я н с оши к ми и м р ния. Т ки оши - ки н ы ют ст тистич ской по р шностью (случ йной по-р шностью). Проц сс ы ор х р кт ристик (п р м тро ) мо ли и нно о кл сс ля н илучш о опис ния р уль- т то пр ст ля т со ой о но и о ольно о щих опр л -

5

ний понятия îö íè íèÿ. Н пр ктик проц сс оц ни ния ч сто у тся с я ть с к кой-ни у ь колич ст нной х р к- т ристикой к ч ст оц ни ния и при ы ор оц нок ст ст-нно ст р ться миними иро ть отриц т льно лияни по-р шност й: к к ст тистич ской, т к, по о мо ности, и сист - м тич ской.

Во мно их ч х по р шности у о но инт рпр тиро ть к к пом хи (оши ки) н лю ния (и м р ния р ульт то экс- п рим нт ). При р р отк л оритмо оц ни ния ольшинст м т м тич ских иссл о ний посл них 50 л т по- м х м и м р ниях или оши к м опис нии с ойст мо ли приписы ются к ки -ли о пол ны ст тистич ски х р кт - ристики. Н их осно т ор тич ски иссл уются с ойст оц нок. H и ол ч сто пр пол тся, н прим р, ц нтриро нность пом х. В ин н рной пр ктик широко исполь-уются л оритмы, осно нны н и ях о ыкно нно о м - то н им ньших к р то (МНК), пр ст ляющ о со ой уср н ни нных н лю ния. Если при этом пр поло-ни о ц нтриро нности пом х ыло с л но ост точ- ных о осно ний, то пр ктич ско исполь о ни л оритмо т ко о тип н ц л соо р но. Т к о стоят л , н прим р,усло иях о мо но о проти о йст ия "проти ник ". В ч стности, сли пом х опр ля тся т рминиро нной (н - случ йной) н и стной функци й (проти ник лушит си н л) или пом хи и м р ния исим я случ йн я посл о т льность, то прим н ни к н лю ниям оп р ции уср н ния ник кой пол ной информ ции н т. О ычно т кой ситу - ции посл о т льность н лю ний н ы ют ûðî ííîé и опрос о получ нии "хорош о" р ш ния чи н р ссм т- ри ют. ти тру ности исполь о нии ст н ртных м то о стох стич ской оптими ции при о ят к н о хо имости иссл о ть л оритмы, о сп чи ющи ысоко к ч ст о оц - ни ния при миним льных пр поло ниях о ст тистич ских с ойст х пом х.

6

Т ория оц ни ния т сно п р пл т тся с т ори й оптими-ции. Ино тру но про сти м у ними ч ткуюр ницу. Н и ол ч сто про л мы т ории оц ни ния и оптими ции м т м тич ски форм ли уются и чи о поиск ля н которой функции f( ) è Rr R î íî î è

корн й (эл м нт и о л сти ния функции, от ч ющ о нул ому н ч нию: f = 0) ли о эл м нт и о л сти ния, миними ирующ о (м ксими ирующ о) н ч ни : min f èëè rf = 0. В лит р тур и прило ниях эту функцию н ы ют по-р ному. Ч щ ру их исполь уются сл ующи н ния: функция пот рь, ц л я функция, функцион л к ч ст , функцион л ср н о риск . В ст тистик принято н ы ть функци й р р ссии. В посо ии исимости от конт кст у т исполь о но то или ру о и этих понятий. Ар ум нт функции, относит льно которо о ст ится ч , о ычно н ы ют ктором р улиру мых или оц ни мых п р м тро . Б пот ри о щности у м р ссм три ть -чи оптими ции конт кст миними ции, т к к к случ й м ксими ции л ко к н му пр о р у тся, и м няя н к функции пот рь. По л оритмом оц ни ния или оптими цииу м поним ть проц уру пош о о о (посл о т льно о) и м н ния р улиру мых п р м тро от н которо о н ч льно-о н ч ния (или мно ст н ч ний) о н ч ния, оптими-ирующ о функцию пот рь, т. . мы р ссм три м р кур- р нтны (ит р ти ны ) м то ы. Для стох стич ско о про- ц сс оптими ции, получ ющ о хо ную информ цию с по- м х ми, типичным я ля тся тот ф кт, что соот тст ующ я посл о т льность н ч ний функции пот рь мо т н у ы-ть р ном рно, ино р м нно у личи ться.

О ычно при кл ссифик ции р курр нтных стох стич скихл оритмо оц ни ния или оптими ции их усло но р - ляют н руппы. О н рупп л оритмо иру тся н прямых и м р ниях (или ычисл ниях) н ч ний р и н- т функции пот рь при р личных оптими иру мых п р м т-

7

р х, ру я н ппроксим циях р и нт , ычисля мых н осно нии и м р ний н ч ний функции пот рь, оо що оря, с пом х ми. Прототип ми п р ой руппы л оритмо я ляются проц ур Ро инс Монро (РМ), которую мо но р ссм три ть к к о о щ ни и стно о р и нтно о м то-, м то скоростно о р и нт , о р тный м то ля н йронных с т й и м то ычисл ния р и нт функции пот рь ля сист м р льно о р м ни, осно нный н н ли скон чно м лых о мущ ний. Ср и л оритмо торо о тип кл сси- ч скими у ут кон чно-р ностный м то стох стич ской п- проксим ции Киф р Вольфо иц (КВ) и м то случ йно о поиск .

Осно ной н ост ток л оритмо п р о о тип то, что н пр ктик них исполь уются м сто точных н ч ний р -и нт н которы при ли ния, т к к к нны и м р ний,оо щ о оря, н с точно соотносятся с р льными х - р кт ристик ми иссл у мой сист мы. Кром случ я мо - ли лин йной р р ссии, схо имость л оритмо это о тип о ычно у тся ок ть только при и стных ст тистич с- ких с ойст х пом х и м р нии т кущих н ч ний ктор-р и нт и ст н ртных пр поло ниях о их ц нтриро н- ности и н корр лиро нности. Н проти , по хо ы, осно н- ны н ппроксим ции р и нт , тр уют только пр о р -о ния осно ных и м р ний н ыхо к н ч ниям ск чк функции пот рь, что н тр у т полно о н ния отнош ний м у хо ми и ыхо ми сист мы. В н стоящ р мя - м т н рост инт р со нности пр ктико т ко о ро р - курр нтных л оритм х оптими ции. то моти иру тся про-л м ми, о ник ющими при конструиро нии сист м, р о- т ющих р льном р м ни и р ирующих н сло ны посл о т льны просы, при синт пти ных сист м уп- р л ния, при оптими ции ычислит льных проц ссо с ольшими о ъ м ми мо лиро ния по м то у Монт К рло, при проц сс о уч ния н йронных с т й, ч х ст тистич ской

8

и нтифик ции сло ных сист м, р спо н ния и о р ний (о р о ), получ мых с пом х ми от с нсорных тчико . Стоит щ р по ч ркнуть: л но пр имущ ст о т ко о тип л оритмо ключ тся том, что они н тр уют - т льных н ний функцион льных отнош ний м у н стр и-

мыми п р м тр ми и н ч ни м функции пот рь, которы н о хо имы л оритм х п р о о тип , осно нных н исполь о нии точно о н ч ния личины р и нт . Т ки отнош ния при р ш нии н которых ч ч стую тру но получить (н прим р, при конструиро нии н лин йно о р у- лятор о р тной с я и), ру их ч х (т ких, к к оптими ция по Монт К рло или р курр нтн я ст тистич ск я оц нк п р м тро ) при ол или м н и стных с ойст х этих отнош ний о ник ют ольши тру ности при ычисл - нии р и нт , с я нны с н о хо имостью мно окр тно н - хо ить н ч ния функции пот рь.

И - сущ ст нных р личий тип исполь у мой инфор- м ции тру но ы р ть эфф кти ный м то ср н ния к ч ст-р оты л оритмо п р о о и торо о типо . О ычно л о- ритмы, осно нны н и м р нии р и нт , ыстр схо ятся к оптим льным н ч ниям п р м тро . Интуити но этот р -ульт т н у и ля т, т к к к т ки л оритмы исполь уютол со р т льную ополнит льную информ цию о р -и нт функции пот рь. Н осно нии т ор тич ских иссл -о ний симптотич ско о по ния отклон ния ктор оц - нок от оптим льно о ля л оритмо п р о о тип ч сто получ ют скорость схо имости, пропорцион льную о р тной - личин к р тно о корня и колич ст ит р ций. При постро нии л оритмо торо о тип почти ту скорость схо-имости ости ют только сп ци льных случ ях. Помимосимптотич ской оц нки колич ст ит р ций н пр ктикля ср н ния л оритмо н ли ируют и ру и ф кторы, уч т которых н р ко от т пр почт ни л оритм м торо-о тип . К т ким ф ктор м относятся сл ующи :

9

Н о мо ность ино получить осто рны с ния о сист мных отнош ниях хо ыхо . Если с ния о сист м- ной мо ли н оступны, н н ны или исполь у тся н ост - точн я сист мн я мо ль, то л оритмы п р о о тип н осу- щ ст имы н пр ктик .

О щ я стоимость скорости схо имости, которую ну но учиты ть, исит н только от тр у мо о числ ит р ций, но т к и от тр т, н о хо имых ля ыполн ния о ной ит р ции. ти тр ты ля л оритмо , исполь ующих точ- ны н ч ния р и нто , ч сто ключ ют с я ольшой о ъ м ычисл ний, ополнит льны ч ло ч ски усилия, н - о хо имы ля опр л ния и ко иро ния р и нто , т к-

м т ри льны тр ты (при н о хо имости) н р р отку мо ли и про ни эксп рим нто : тру о тр ты, м т ри - лы, топли о и т.п.

Асимптотич ски оц нки скорости схо имости н с

ïð ñò èò ëüíû ïðè êîí ÷íûõ û îðê õ.

Историч ский о ор. Ост но имся н сколько по ро - н н п р числ нии эт по и н м н т льных х р итии т ории стох стич ской оптими ции и оц ни ния. Т ория оц ни ния н ч л формиро ться к к м т м тич ск я н ук1806 ., ко поя ил сь р от А. Л н р о н им ньших к р т х. Ч сть осно т ля прин л ит и К. Г уссу, опу лико ш му 1809 . с ою рсию м то н им ньших к р то (МНК). В 1821 . он пр ло ил р курр нтный ри нт проц уры, по оляющий корр ктиро ть р нычисл нную оц нку с уч том но ь поступи ших ополни- т льных и м р ний н о хо имости по тор с х пр ш ст-ующих ычисл ний. В этот п рио стимулом р ития МНК слу или просы р ития н сной м х ники, и м то ыстро ст л ст н ртным ля опр л ния ор ит н сных т л. Н у и ит льно, что ря у торо р от по н сной м х ни- к стоят им н Ф. Б сс ля, Ж. Л р н , П. Л пл с , С. Пу с- сон , и стных с оим кл ом осно ния ст тистики.

10