Цифровая обработка сигналов (сборник книг) / Граничин О.Н. Введения в методы стохастической оптимизации и оценивания, 2003

n оступны н ч ния rxF (wn; Xn), ð íû Xn yn ï ð îì ñëó÷ èëè 'n('nXn yn) о тором, при этом п р ой

÷ í ÷ íèÿ wn; n = 1;2; : : : ; н и стны полностью,о торой н и стны полностью только торы компон н- ты кторо wn; n = 1; 2; : : :.

Если и м р ния н ч ний функции F (wn; Xn) ф ктич скил ются с н которой ити ной случ йной ц нтриро нной н исимой оши кой vn 2 R, то силу о щности пост л н- ной чи это усло н ни н принципи льно. Р сшири к- тор w ополнит льной компон нтой v и о о н чи

w = wv ;

ìî íî ð ññì òðè òü ì ñòî F (w; X) но ую функцию

ñî ñõ ìîé í ëþ íèÿ ïîì õ è íî î ñî ì ñòíî í è ñò-

íî ð ñïð ë íè Pw;v( ) ì ñòî Pw( ), которо и р н пр - пол лось н и стным. Если оши ки и м р ния н о л -

ют хорошими ст тистич скими с ойст ми, то упрощ ть -чу н ль я. Н о р ссм три ть мо ль н лю ний с по- м х ми:

yn = F(wn; Xn) + vn;

n = 1; 2; : : : :

1.5.Ïð ñê íèí ÷ íèé ñëó÷ éíî î ïðîö ññ

Опис ни пр рит льных прим ро кончим ч й о пр ск нии н ч ний ск лярно о случ йно о проц сс f ng, поро ющ ося устойчи ым лин йным фильтром:

n+1 = a n + wn+1;

31

jaj < 1; n = 1; 2; : : : ; 0 = 0 и посл о т льность fwng пр ст ля т со ой н которую р ли цию н исимых слу- ч йных личин. Н лю нию к ый мом нт р м ниоступны личины

yn = 'n n + vn;

я ляющи ся см сью пр о р о нно о проц сс ^ f ng и н и -стной пом хи fvng. Òð ó òñÿ í éòè îö íêè n+1 í ÷ íèé ïðîö ññ f ng ìîì íò ð ì íè n + 1 ïî í ëþ íèÿì yi; 'i; i n. Ê ÷ ñò î ïð ñê íèÿ îïð ëÿ òñÿ ñð í é ëè÷è- íîé ê ð ò í ÿ êè

О ычно счит ют, что мо ли н лю ний кторы f'ng оп- р ляются т рминиро нной посл о т льностью. Если

'n ', fwng è fvng ст цион рны и ст цион рно с я н- ны ц нтриро нны случ йны проц ссы (см. р . П.1.4) с

и стными сп ктр льными х р кт ристик ми, то р ссм три-

м я ч им т оптим льно р ш ни р мк х т ории оптим льной фильтр ции Вин р Колмо оро . В н ст цио-

н рном случ при ' ' и н исимых уссо ских случ й-

n 6

íûõ ïðîö ññ õ fwng, fvng оптим льный про но ычисля тся р курр нтно по фильтру К лм н Бьюси. В случ прои -ольных пом х н лю ния fvng р ш ни чи о оптим льном про но с помощью фильтр К лм н Бьюси и, т м о- л , р мк х т ории Вин р Колмо оро н получ тся. В [9] при н и стных, но о р нич нных т рминиро нных пом х х н лю ния fvng ля р ш ния чи пр ло н но-ый р оми иро нный л оритм, я ляющийся мо ифик ци й упрощ нно о ри нт фильтр К лм н Бьюси. При о осно нии о относит льной эфф кти ности пр пол тся случ йн я приро формиро ния посл о т льности f'ng.

32

2.л м нты р р ссионно о н ли , м то н им ньших к р то

О ним и н и ол ч сто стр ч ющихся опросо , ст ю- щих п р иссл о т лями р личных сп ци льност й, я - ля тся про л м н хо ния исимости м у н которым н ором личин. т исимость мо т ыть ы н и т ории и (или) мо т ыть получ н н осно нии эксп ри- м нт льных иссл о ний. Если исимость получ н и т о- р тич ских соо р ний, то о ольно ч сто мо но при ли-нно пр ст ить н литич ском и , нном с точностью о н скольких н и стных п р м тро . Если осно постро ния исимости л т эксп рим нт льны иссл о - ния, то п р м трич ск я исимость постулиру тся. В о оих случ ях при постро нии м т м тич ской мо ли ол ны исполь о ться опр л нны с ния о иссл у мом о ъ кт , н осно нии которых мо ы ыть с л н ы о о ст п ни точности о опис ния этой мо лью.

2.1.Н илучш я ппроксим ция о ной случ йной личины с помощью ру ой

З ч р р ссионно о н ли состоит получ нии н и- лучш й ппроксим ции (ð ð ññèè) о ной случ йной личи- ны с помощью с м йст функций от ру ой случ йной ли- чины. Н илучш я ппроксим ция поним тся смысл н и- м ньших к р то .

Пусть и прои ольны случ йны личины ( кторы), приним ющи н ч ния соот тст нно R è Rs , опр -л нны н н котором роятностном простр нст , и G н которо с м йст о функций, ото р ющих Rs R, н- ных с точностью о кон чном рно о н ор п р м тро , н ы-

ìî р р ссионной мо лью.

33

Òð ó òñÿ н йти функцию g( ) 2 G, миними ирующую ср н к р тично отклон ни

Efk g( )k2g:

Åñëè G кл сс с х и м римых функций и Rs R, то соот тст ующ й миними ирующ й функци й g( ) ÿ ëÿ òñÿ

g( ) = Ef j g усло но (при усло ии ) ср н случ йнойличины , н ы мо ð ð ññè é ïî .

H и ол р спростр н нной я ля тся лин йн я р р ссион- н я мо ль, ко тр у тся н йти н илучшую ср н к - р тичном смысл ппроксим цию случ йной личины с помощью лин йной функции от случ йной личины . Число ой ( ) и кторный ( ) и коэффици нты мо ли лин йной р р ссии опр ляются и усло ия миними ции функцион -

ë

f( ; ) = Efk k2g

òèï ñð í î ðèñê è ð . 1.4, ñëè î î í ÷èòü

X = :

В я м трицы êî ðè öèè

B = covf; g = Ef( Ef g)( Ef g)Tg; B = covf; g = Ef( Ef g)( Ef g)Tg

è ïð ïîëî è , ÷òî ì òðèö B им т о р тную, н тру - но ля оптим льных н ч ний и получить сл ующи формулы:

= Ef g B B 1Ef g; = B B 1:

Функция

g( ) = Ef g + B B 1( Ef g)

í û òñÿ ëèíè é ð ð ññèè.

34

Поняти лин йной р р ссии опуск т ясную ом три- ч скую инт рпр т цию. Д случ йных ктор и н ы-ются стро о орто он льными, ñëè èõ ì òðèö êî ðè öèè

ð í íóëþ: covf; g = 0: Ò ê ê ê covfg( ); g = covf; g, то случ йны кторы = g( ) è ñòðî î îðòî îí ëüíû.

Сл о т льно, лин йн я р р ссия соот тст у т стро о орто он льной про кции н . При случ йных ктор х и о ной р м рности это со п т с при ычным ом трич с- ким пр ст л ни м о орто он льном про ктиро нии.

Опр л нны понятия р р ссии и лин йной р р ссии соотносятся прим рно т к , к к понятия функции и лин й- ной функции. В т ории роятност й и м т м тич ской ст - тистик осо о ним ни у ля тся уссо ским случ йнымличин м (см. р . П.1.1). то о осно но н только упро- щ ни м мно их т ор тич ских ыкл ок при иссл о нии с ойст им нно уссо ских случ йных личин, но и - н йшим т ор тич ским р ульт том ц нтр льной пр льной т ор мы т ории роятност й, ут р ющим при ост точ- но о щих пр поло ниях, что скон чн я сумм случ йныхличин с роятностью иниц стр мится к н которой уссо ской случ йной личин . О ним и ных р ульт то р р ссионно о н ли я ля тся ключ ни о том, что сликтор, сост л нный и компон нт случ йных личин и, уссо ский, то р р ссия Ef j g случ йной личины по со п т с лин йной р р сси й. Док т льст о это о ф кт осно но н том, что стро о орто он льны уссо скиличины стох стич ски н исимы. Для уссо ских случ й- ных личин ок ы тся, что усло н я ко ри ция случ й- ной личины (при усло ии ) н исит от случ я:

covf; j g = B B B 1BT :

Для миним льно о н ч ния к р тично о функцион л , оп- р ляющ о р р ссию, и посл н й формулы получ м

Efk Ef j gk2g = Tr[B B B 1BT ]:

35

2.2.Оц ни ни по кон чному числу н лю ний

H пр ктик ы т т к, что роятностны х р кт ристики случ йных личин и и стны н полностью, ното им ются ы орочны н ч ния этих случ йных личин, которы ф ктич ски пр ст ляют со ой н лю мы н ч - ния р ли ций соот тст ующих случ йных личин. Оц нк о ной случ йной личины с помощью ы орочных н ч нийру ой т к я ля тся случ йной личиной, и к ч ст о о ычно х р кт ри у тся ср ним н ч ни м, исп рси й и т.п. Если им тся ы орочн я посл о т льность d1; d2 ; : : : ; dN р ли ций случ йной личины , то р мк х лин йной р - р ссионной мо ли р ли ции y1; y2; : : : ; yN ñëó÷ éíîé ëè- ÷èíû ó î íî ïð ñò èòü è

yn = 'Tn + vn;

n = 1; 2; : : : ; N; ктор коэффици нто ; 'n = dn, сли, н прим р, и стн ц нтриро нность случ йных личин и, или

'n = d1n :

 ýòîì ïð ñò ë íèè í ÿ êè vn; n = 1; 2; : : : ; N, инт рпр тируются к к оши ки н лю ния. О о н чим ч р

0 y1 1

y2

B ... C

@yN A

н лю мый мом нт р м ни N ктор, я ляющийся функци й хо ных о йст ий, пом х к н л и м р ния и н которо о кторно о п р м тр .

36

òè÷ ñêè ïð ñê û ìûé û ð ííîé ìî ëüþ ûõî íîé ñè -

^

н л Z, т. . ыхо принятой мо ли, который исит от . т

исимость, оо щ о оря, мо т ыть ы р н р ными спосо ми. Прост йш й я ля тся лин йн я:

í û þòñÿ оц нк ми м то н им ньших к р то (МHК). Функцион л fN (X) исит от ы орочных н ч ний р ли-ций случ йных личин и н ы тся эмпирич ским. Â

37

ситу ции исполь о ния скон чной ы орки посл о т льность личин fN (X)=N мо т том или ином роятностном смысл стр миться, силу кон ольших чис л (см. р . П.1.3), при N ! 1 к н ч нию к р тично о функцион - л , опр ляющ о лин йную р р ссию. В ч стности, сли пр поло ить н исимость оши ок н лю ния и о р ни- ч нность их торых мом нто , то у т схо имость с роятностью иниц .

Н сло но у иться, что оц нки МНК ол ны у о л т-орять сист м ур н ний

T ^ =

Y:

Åñëè ì òðèö T н ыро нн я, то эт сист м им тинст нно р ш ни :

^= ( T) 1

Y:

Мо но р ссмотр ть ол о щ пр ило ы ор оц нки. Пусть R н котор я симм тричн я н отриц т льн я м три- ц со ых коэффици нто . В м функцион л к ч ст по

ïð èëó

fN (X) = V TR V:

Для лин йной мо ли с м триц й при н ыро нной (о - р тимой) м триц R T оптим льн я оц нк им т и

è í û òñÿ î î ù ííîé îö íêîé ÌHÊ. Ïðè ýòîì, ñëè ïðè-

íÿòü, ÷òî

Y = T + V;

то кторы и ^ с я ны соотнош ни м

= ^

V:

38

Посл н соотнош ни спр ли о при лю ой приро оши - ки оц ни ния. Если пр поло ить, что усло но м т м ти- ч ско о и ни EfV j g = 0, то получ нн я оц нк я ля тся н см щ нной. При этом пр поло нии н тру но полу- чить формулы ля усло ных исп рсии и м трицы ко ри - ции оц нки:

í û þòñÿ м рко скими. Óñëî í ÿ êî ðè öèÿ ì ðêî ñêîé

при этом ср и с х лин йных оц нок м рко ски о л ютм ч т льным оптим льным с ойст ом.

ться м тричным н р нст ом и р . П.2. По ст и н о A = Bv 1=2 T; BT = B1v=2, получим ключ ни т ор мы:

39

Ïðèì ð. Р ссмотрим чу о оц ни нии н и стно о коэффици нт усил ния и стно о ск лярно о си н л f'ng, н лю мо о н фон пом х. Пусть пол ный си н л, пом хи и н лю мы личины при n = 1; 2; : : : ; N ñ ÿ íû ñèñò - ìîé óð í íèé

yn = 'n + vn;

которой y1; y2; : : : ; yN í ëþ íèÿ è v1; v2; : : : ; vN ïîì -

õè. Ïð ïîëî èì, ÷òî ïîì õè fvngN=1 ïð ñò ëÿþò ñî îé

n

р ли цию стох стич ски н исимых о ин ко о р спр - л нных ц нтриро нных случ йных личин с исп рси й v2:

Efvng = 0; Efvn2 g = v2 > 0:

Î î í ÷è

М рко ски оц нки нном случ со п ют с оц нк ми МHК, что я ля тся сл ст и м н корр лиро нности и о и-