Цифровая обработка сигналов (сборник книг) / Граничин О.Н. Введения в методы стохастической оптимизации и оценивания, 2003

В н ч л ХХ к т ор тич ски о осно ния м то н и- м ньших к р то получили н чит льно р ити тру х А.А. М рко [24]. Пост п нно м то ик оц ни ния ыл по лощ н ст тистикой, но н ср у ост точно стро ой м - т м тич ской форм . Лишь с р ин ХХ к т ория роятност й и н йши р лы ст тистики получили соот тст-ующ м т м тич ско оформл ни , пр с о л о ря исполь о нию конц пций т ории м ры. Фун м нт со р м н- но о состояния т ории оц ни ния ло н Р. Фиш ром 20 30-х о х прошло о к [65]. Р. Фиш р пр ло ил м то м ксимум пр опо о ия и пок л, что ост ля мы им оц нки н мо ут ыть сущ ст нно улучш ны. Р. Фиш ром т к ны ст ши о щ принятыми понятия н см щ н- ности, ост точности, состоят льности, эфф кти ности исимптотич ской эфф кти ности оц нок. Тщ т льно р ссм т- ри я осно ния т ории оц ни ния, он и ил от стких о р нич ний, сущ ст о ших с мом нт поя л ния р от К. Г усс . О о щ ния о т ории при ли, ч стности, к р итию со р м нных м то о н п р м трич ско о и ро стно о оц ни ния, которых точн я приро р спр л нияроятност й оц ни мых случ йных личин н пр пол -

тся и стной.

О но р м нно с форм ли ци й и р ити м м т м тич с- кой ст тистики про о ились иссл о ния л ких, к - лось ы, от них о л стях. До 1940 о оц ни ни к с лось пр с о кл ссич ских про л м опр л ния н илучших оц нок п р м тро р спр л ний н осно ы орки и н - р льной со окупности. М у т м сп ци листы по линиям с я и им ли ло с ч й синт устройст , по оляющих эфф кти но о н ру и ть присутст и или отсутст и си - н л , н лю мо о н фон пом хи. Им нно их иссл о ния сост или конкур нцию ст тистич ским иссл о ниям Р. Фи- ш р . Быстро р ити т ории с я и при ло к н о хо и- мости уч т о йст ия пом х н р спростр н ни и при м

11

си н ло . П р ы попытки ум ньшить н л т льно о -йст и пом х ыли с я ны с ни м м то о р сч т фильтро , по оляющих оц нить сп ктр мощности пол но о си н л . ти попытки л лись п рсп кти ном н пр л - нии, но их с р и л н р итость т ории фильтр ции. М - т м тич ски осно ы этой т ории только кл ы лись: н ч л 30-х о о ХХ к А. Хинчин и Н. Вин р со ли т орию рмонич ско о н ли случ йных функций, ц н- тр льно м сто которой ним т т ор м о сп ктр льном пр ст л нии ст цион рных проц ссо . Осно ы т ории опти- м льной фильтр ции ст цион рных проц ссо ыли ло ны

р от х А.Н. Колмо оро (1941 . см. [18]) и отч т Н. Вин р , н пис нном 1942 . по нию Н цион льно о Со т о оронных иссл о ний С А и опу лико нном 1949 . см.[78]. Н. Вин р пок л, ч стности, что т ория оц ни ния мо т ыть прим н н ля синт эл ктрич с- ко о фильтр , который о сп чи т н илучш ы л ни си н л при н личии ст цион рной пом хи. Осно ной кц нт он л л н столько н р ссмотр ни ч стотных сп ктро си - н ло , сколько н их о р отку к к стох стич ских проц ссо . Ц нтр льным м стом т ории оптим льной фильтр ции Вин - р Колмо оро я ля тся ур н ни Вин р Хопф , р ш ни которо о н поср ст нно с я но с синт ом оптим льно о фильтр . Ан литич ски тру ности р ш ния это о ур н ния ( ч стности, про л м ф ктори ции) я ились л ным пр - пятст и м н пути широко о н р ния м то о фильтр ции

пр ктику. Кром то о, н чит льным о р нич ни м ля мно их прило ний ыло но пр поло ни о ст цио- н рности о р ты мо о си н л .

Âêîíö 40-х о о ХХ к кл ы ются осно ы ст тистич ской т ории с я и и т ории информ ции. В 1947 .окторской исс рт ции В.А. Кот льнико "Т ория пот н- ци льной пом хоустойчи ости", опу лико нной 1956 . см. [19], п р ы сформулиро н ч оптим льно о ст -

12

тистич ско о синт при мных устройст и тся р ш ни

чи о н ру ния и р лич ния т рминиро нных си н - ло н фон корр лиро нной пом хи. В этой р от с но ых по иций н ли ируются мно и фун м нт льны понятия. Спустя н мно им ол о поя ля тся широко и стн я р от К. ннон , со р щ я н м ниты т ор мы о ко и- ро нии п р мых си н ло с ц лью устр н ния и ыточ- ной информ ции и о пропускной спосо ности к н ло со слу- ч йными пом х ми. ироко при н ни ср и ин н ро про ктиро щико сист м с я и получил инт рпр т ция Бо

ннон (1950 .) проц уры синт оптим льно о фильтр [62]. В то р мя Н. Вин р пу лику т кни у "Ки рн тик , или упр л ни и с я ь и отном и м шин ", о сти - шую о ст но л нии но ой н уки ки рн тики, которой информ ционно-упр л нч ск я с я ь я л ниях м т ри льно о мир ыступ т к к фун м нт льно о с ойст о [5].

По т ория оптим льной фильтр ции о о щ тся й - со ской и оло и й. Структуру оптим льно о при мник -о - н ру ит ля н ч ли формиро ть н осно нии н ли отнош ния пр опо о ия и при опр л нных усло иях н учи- лись получ ть со л со нный фильтр, м ксими ирующий отнош ни си н л/шум н хо р ш ющ о устройст . Н ря-у с про л мой о н ру ния н п р ый пл н ст тистич ской т ории с я и ы и ются про л мы р лич ния си н ло иосст но л ния соо щ ний. ти про л мы ок лись т сно с я нными с оц нкой п р м тро , от которых мо ут ис ть приним мы си н лы. Т к, н прим р, про ктиро щики р -иолок тор у н у о л т оряются р ш ни м только про - л мы т ктиро ния си н л . Для них но получить о- полнит льную информ цию о мплиту и ф принятых р иолок тором си н ло . Хотя п р он ч льно пр о р о - ни си н ло и оц ни ни их п р м тро и уч лось со сп - ци льными ц лями, скор ыло уст но л но, что эти про - л мы ст ст нно укл ы ются р мки ст тистики.

13

В конц 50-х о о ХХ к при иссл о нии оптим льных фильтро , синт иру мых ля о р отки р ульт то н - лю ния н кон чном инт р л р м ни, ыли пр ло ны по хо ы, н исполь ующи инт р льно ур н ни Вин р Хопф . Р. К лм н и Р. Бьюси [16] поняли, что м сто о иссл о ния ч сто ы т л т льно (и о мо но) пр р - тить инт р льно ур н ни н лин йно ифф р нци льно , р ш ни которо о т ко ри цию оши ки оптим льно о фильтр . В с ою оч р ь, эт ко ри ция со р ит сю н о - хо имую информ цию ля про ктиро ния. тот по хо , по сущ ст у пр ст ляющий со ой р курр нтный ри нт МНК,ч стных случ ях иссл о лся р н и ру ими тор ми, но им нно с р от Р. К лм н и Р. Бьюси н ч л 60-х о о ХХ к н ч лось широко р ити м то о т ории р кур- р нтно о (посл о т льно о) оц ни ния, р мк х которой

ч оптим льной фильтр ции получил сущ ст нно про-и ни . Во мо ность синт оптим льно о фильтр р - курр нтным спосо ом пр ст ля т и ольшой пр ктич ский инт р с с я и с у о ст ом о р ли ции н со р м н- ной ычислит льной т хники. Р курр нтны проц уры оц - ни ния (фильтр К лм н Бьюси) ок лись прим нимыми и случ н ст цион рных проц ссо .

Р оты Р. К лм н по р курр нтному оц ни нию поя и- лись с я и с н о хо имостью оптим льно о оц ни ния к- тор состояния лин йных н ст цион рных сист м. Оц ни - ни прои о илось по н лю ниям шумл нной компон н- той ктор состояния. При этом т ор тич ском пл н су- щ ст нным мом нтом я ля тся лин йн я исимость н лю-

мо о проц сс от оц ни мо о п р м тр (лин йн я фильтр ция). Вм ст с т м, мно и пр ктич ски чи при о ят к н лин йной исимости нных н лю ния от оц ни - мо о п р м тр . тот р л т ории оц ни ния н лин й- н я фильтр ция р ит н чит льно м ньш , осно ны и иыли ы инуты 1960 . Р.Л. Стр тоно ич м [41]. Пр ло-

14

нн я им р курр нтн я проц ур оц ни ния лин йном случ пр о р у тся фильтр К лм н Бьюси. По н р -óëüò ты т ории Вин р Колмо оро оптим льной фильтр - ции и т ории К лм н Бьюси р курр нтной фильтр ции ст - ли широко исполь о ться т ории оптим льно о упр л - ния, ч стности ч х лин éíî-ê р тичной оптими - ции при н полных и шумл нных н лю ниях ктором состояний о ъ кт упр л ния. В конц ХХ к В.Н. Фомину [47, 48] у лось сущ ст нно о о щить кл ссич ски иссл î-íèÿ ýòîé î ë ñòè, ð è ÿ оп р торный по хо к р ш - нию ч лин йной фильтр ции.

Т ория оц ни ния посл н й ч т рти прошло о к получил ополнит льный импульс р итии при синт

пти ных сист м, спосо ных усп шно функциониро ть усло иях приорной н опр л нности о с ойст х н шн й ср ы. Ал оритмы постро ния оптим льно о упр л ния о ычно пр пол ют и стными н которы приорны н- ны о с ойст х сист мы упр л ния и пом х. В ольшинст пр ктич ских ч эт информ ция н оступн про ктиро - щику, но мо но той или иной ст п ни осст но ить ин ли получ мых н лю ний. Если т к я о мо ность им тся, то мо но синт иро ть л оритмы, которых со - м щ ны проц ссы упр л ния и осполн ния н ост ющ й информ ции. тот по хо ли ок понятию ó ëüíî î ( îéñò ííî î ) óïð ë íèÿ А.А. Ф ль ум [43], ут р ш -о, что "упр ляющи о йст ия ол ны ыть и стной м р и уч ющими, но и стной м р н пр ляющими". При ост точно эфф кти ном осполн нии н ост ющих с -ний сист м упр л ния прио р т т оптим льны с ойст ли о ли ки к ним. Т ки сист мы н ы ют ïòè íûìè, поскольку проц сс функциониро ния они проя ляют с ойст о приспос ли ния к р н н и стным пом хо-си - н льным усло иям (см. [27, 40, 44, 46, 49]). Ск нно р ной ст п ни относится и к ру им пти ным устройст-

15

м, ч стности к о уч ющимся м шин м и пти ным фильтр м (см., н прим р, [27, 45, 48, 54]). В посл н р мяольшо ним ни у ля тся опрос м ро стной устойчи ости сист м упр л ния [37, 77]. При синт т ких устройст т ория оц ни ния и р т ную роль, пр ост ляя р кур- р нтны л оритмы пт ции.

Р ити и оступность ычислит льной т хники ок лио йст и и н кл ссич ски р лы м т м тич ской ст - тистики, стимулируя р р отку и я приорит т р кур- р нтным сх м м оц ни ния. Т к получили широко при н - ни проц уры стох стич ской ппроксим ции Ро инс Монро (1951 .) [73] и Киф р Вольфо иц (1952 .) [68]. Большую роль проп н по о ных м то о сы р л .З. Цыпкин. В с оих кни х "А пт ция и о уч ни том тич ских сист м х" [49] и "Осно ы т ории о уч ющихся сист м" [50] он пок л широкую прим нимость р курр нтных стох стич с- ких л оритмо ч х оц ни ния, и нтифик ции, р с- по н ния о р о , оптими ции, упр л ния. По р о- т х [29, 32, 33, 51, 52] ыл оц н н эфф кти ность т ких л о- ритмо и н й ны их оптим льны и ро стны ри нты. С о о р ной со р м нной энциклоп и й по стох стич скойппроксим ции и прим н ниям мо т слу ить кни Г. Кушн р и Г. Ин [69]. Рост прои о ит льности ычисли- т льных м шин и усло н ни р ш мых пр ктич ских ч при ли ко с ол широкому исполь о нию о уч ющихся сист м, ч стности н йронных с т й с ольшим колич ст ом у ло . Ок лось, что и при н стройк их п р м тро т ории оц ни ния и оптими ции н со р м нном уро н пр ост - ляют р споря ни р р отчико у о ны л оритмы.

Н пр ктик широко исполь уются л оритмы тип слу- ч йно о поиск . то ы но потр ностью р ш нии ч оптими ции усло иях, ко с ойст иссл у мой функции пот рь н и стны, и м р ния н ч ний с мой функции о- ступны ч щ с о с пом х ми. В русскоя ычной лит р тур

16

эти л оритмы иссл о лись, н прим р, р от х Л.А. Р с- три ин [38, 39], А. Жилинск с [15], С.М. Ерм ко и А.А. Жи ля ско о [13] при усло ии ц нтриро нности и н -исимости пом х н лю ния. Воо щ о оря, усло иях, ко информ ции о функции пот рь м ло, ля поиск точки минимум н о посл о т льно п р р ть с о мо ны - ри нты кторо р улиру мых п р м тро . При ысокой р м рности чи это с л ть р умно р мя н о мо - но. H осно нии т х или иных пр поло ний о с ойст-х функции пот рь исполь о ни л оритмо случ йно о поиск по оля т м нить полный п р ор н , н котором смысл , р о лу ни мно ст р улиру мых п р - м тро .

К н стоящ му р м ни м то ик иссл о ния с ойст оц - нок, ост ля мых р курр нтными л оритм ми оц ни ния

èоптими ции при шумл нных н лю ниях, прио р л ц лом ост точно конч нный и . Осно ой мно их р от по оптими ции схо имости л оритмо я ляются р оты М. В -н [3], В. . К тко ник [17], М.Б. H льсон и Р.З. Х сьминско о [28], Б.Т. Поляк [9, 28 35] и ру их торо . При корр лиро нных ст тистич ских пом х х р от х Л. Лью- н и Г. Кушн р с со тор ми (см., н прим р, [23, 69]) н осно иссл о ния х р кт ристик сл ой схо имости р - р от н м то ик н ли симптотич ских с ойст оц нок р курр нтных л оритмо , опир ющ яся н и уч ни устой- чи ости р ш ний соот тст ующих о ыкно нных ифф р н- ци льных ур н ний (ОДУ). Асимптотич ски с ойст пр -льных р спр л ний оши ок оц ни ния л оритмо сто- х стич ской ппроксим ции ч сто иссл уются н осно р -оты В. Ф и н [64]. Стох стич ски к и р и нтны л о- ритмы ля р ш ния ч н ыпуклой оптими ции р ссм т- ри лись .М. Ермоль ым, А.М. Гуп лом, С.П. Урясь ым

èр. [14, 25, 42]. При н р улярных пом х х н лю - нии (н прим р, о р нич нных, ост льном прои ольных)

17

кни х В.Н. Фомин , А.Л. Фр ко , В.А. ку о ич [44], А.Б. Кур нско о [21] и Ф.Л. Ч рноусько [53] исполь уются м то ы получ ния р нтиро нных мно ст , со р щих оц ни мы п р м тры. Сист м тич ско п р лл льно и - ло ни м то о оц ни ния при ст тистич ских и н р улярных пом х х про но Ф. пп [75]. Дру и спосо ы опи- с ния с ойст н опр л нност й о су ются П.Е. льяс-р ом кни [57]. Т ко о со р м нно состояни о л сти стох стич ской оптими ции и оц ни ния.

Õ ð êò ð è ëî íèÿ ì ò ðè ë ííîì ó÷ íîì ïîñî èè

сущ ст нной ст п ни сл у т и стной моно р фии В.Н. Фомин "Р курр нтно оц ни ни и пти н я фильтр ция" [45].

СПИСОК ОБОЗНАЧЕНИЙ

В т кст посо ия приняты сл ующи о о н ч ния:

n èñêð òíî ð ìÿ

i; j; k; l; m; p; N ц лы числ (о ычно н отриц т льны ); ; ; Æ; "; ; ; x ; C ск лярны личины

a; b; '; w; X кторны или ск лярны личины

y; Y н лю мы ск лярны и кторны п р м нны v ïîì õè (øóìû) í ëþ íèÿõ (è ì ð íèÿõ)

;

A; B; D; ; ; H; K; Q; R м трицы, I иничн я м триц

f ng; fXng è fAng посл о т льности чис л, кторо и м трицT оп р ция тр нспониро ния ктор или м трицы

B > 0 (B 0 ) м триц B симм тричн я и поло ит льно (н отриц т льно) опр л нн я: B = BT; aTBa > 0 (aTBa 0) 8a

Tr[B] сл м трицы B (сумм и он льных эл м нто )

k k êëè î íîðì : ëÿ êòîð kak = qPi a2i или ля м трицы kAk = maxkxk=1kAxk = max(A) = p max(ATA)

f( ); F ( ; ); L( ; ); Q( ; ); q( ); K( ) щ ст нны функции L( ; ) функция пр опо о ия

g( ); G( ; ) кторны функции

f0( ); rf( ) ктор- р и нт функции f( )

O( ) функция т ко о поря к м лости, к к и р ум нт

o( ) функция ол ысоко о поря к м лости, ч м р ум нт R ìíî ñò î ù ñò ííûõ ÷èñ ë

r р м рность ктор оц ни мых п р м трооц ни мо (оптим льно ) н ч ни

^ ктор (ино м триц ) простр нст оц ни мых п р м тро (оц нк )

19

n êòîð ïðî íî î î íî ð ì ííî î î ìóù íèÿ n-й мом нт р м нимно ст о простр нст п р м тро

diam( ) н и ольш и р сстояний м у умя прои ольными точк ми мно ст

Pf g( ) функция (оп р тор) про ктиро ния н мно ст о

роятностно простр нст о ! эл м нт роятностно о простр нст Pf g роятность со ытия

P( ) функция р спр л ния роятност й

N( ; ) норм льно р спр л ни случ йной личины Ef g н к м т м тич ско о о и ния

Ef j g; Ewf g óñëî íî ì ò ì òè÷ ñêî î è íè

M' ср н н ч ни случ йной личины ' (или о рхняя р ниц )v2 исп рсия случ йной личины v (или рхняя р ниц )

Æij ñèì îë Êðîí ê ð : Æii = 1 è Æij = 0, ñëè i =6 j

Æ( ) льт -функция Дир к (Æ(x) = 0; 8x =6 0)

1f g х р кт ристич ск я функция мно ст (функция Х ис й ), р н я нулю или иниц

sgnf g н ко я функция, р н я плюс/минус иниц

8 ê íòîð " ëÿ ñÿêî î"