Цифровая обработка сигналов (сборник книг) / Граничин О.Н. Введения в методы стохастической оптимизации и оценивания, 2003

Пусть N ! 1. Если пр поло ить, что пол ный си н л им т ст тистич скую приро у, пр ст ляя со ой р ли - цию н исимых о ин ко о р спр л нных случ йных - личин с кон чным ч т ртым мом нтом, н исящих от по- м х н лю ния:

Ef'ng = M'; Ef('n M')2g = '2 > 0; Ef'4ng < 1; Ef'nvng = 0;

то, силу усил нно о кон ольших чис л (см. р . П.1.3), мо но с л ть ключ ни о схо имости

с роятностью иниц . Сл о т льно, N2 ! 0, т. . оц нки МНК сильносостоят льны .

При ц нтриро нных хо ных си н л х (M' = 0) оц нки МНК со п ют с пр ло нным р . 1.2, 1.3 р н оми-иро нным л оритмом постро ния оц нок. Зн чит, этом случ при ок т льст сильной состоят льности оц нок МНК усло и о ц нтриро нности и н исимости пом х мо-т ыть н чит льно осл л но. К к и р ссмотр нном прим р , лит р тур (см., н прим р, [1, 13, 23, 45]) о ычно и уч ют чу о оц нк п р м тро лин йной р р ссии при "хороших" пом х х. В [7, 66] эт ч р ссм три л сь при почти прои ольных пом х х, ля которых, ср н н ч ни мо т ыть н и стным и отличным от нуля, или эти пом хи пр ст ляют со ой (мо т ыть) р ли цию корр лиро н- но о случ йно о проц сс , или они (мо т ыть) н слу- ч йны , но о р нич нны . Сущ ст нно пр поло ни , которо с л но этих р от х, ключ тся том, что р р с- соры я ляются случ йными, с и стными ср ними н ч - ниями и н исимыми от пом хи. Уст но л ны сильн я состоят льность и поря ок ср н к р тичной скорости схо и-

41

мости ля оц нок р н оми иро нных л оритмо тип МНК и тип стох стич ской ппроксим ции.

Кром р ссмотр нной лин йной р р ссии ч сто и уч ютол о щи мо ли сколь ящ о ср н о:

p

yn = X 'T i + vn;

n i

i=0

òîð ð ññèè:

p

Xaiyn i = 'Tn 0 + vn

i=0

è тор р ссии сколь ящ о ср н о:

pp

X aiyn i = X 'T i + vn

n i

i=0 i=0

ñ ïîì õ ìè vn, число ыми ai; i = 0; 1; : : : ; p; и кторными коэффици нт ми i; i = 0; 1; : : : ; p; ïðè n = 1; 2; : : : ; N. Мо льтор р ссии о ник т т х случ ях, ко пыт ются опр -лить лин йно ур н ни , которому у о л т оряют ы о- рочны р ли ции случ йной личины . Мо ль тор - р ссии сколь ящ о ср н о исполь у тся ля опис ния по-

íèÿ ëèí éíûõ èí ìè÷ ñêèõ î ú êòî óïð ë íèÿ.

2.3.Р курр нтны мо ифик ции м то н им ньших к р то

Р ссмотрим чу о постро нии оц нки ^N 2 Rr , миними-

ирующ й опр л нный пр ы ущ м пункт эмпирич ский функцион л к ч ст fN (X) при лочно- и он льной м т- риц со ых коэффици нто R, ñ ëîê ìè R1; R2; : : : ; Rn ð -

м рностью m m: N = n m. Î ú èíè í îðû ïî m í ëþ-íèÿ è (r m)-м трицы соот тст ующи р р ссоры мо-

42

ли, п р о о н чи их опять ч р yi è 'i, ыр ни ля функцион л к ч ст мо но п р пис ть и

n

fn(X) = X('Tk X yk)TRk('Tk X yk);

k=1

м трицы 'i и кторы yi ìî íî èíò ðïð òèðî òü ê êííû í ëþ íèÿ ìîì íò ð ì íè i = 1; 2; : : : ; n.

В ктор- р и нт функции fn(X) мо но ычислить к к

n

rfn(X) = 2 X'kRk('Tk X yk):

k=1

Посл торо о ифф р нциро ния получ м н исящую от X м трицусси н:

n = n 1 n'nRn('n n 1 yn):

Исполь уя м трично то ст о и р . П.2, ля м триц n мо но ы сти р курр нтную формулу:

n = n 1 n 1'n(Rn 1 + 'Tn n 1'n) 1'Tn n 1:

43

Получ нны р курр нтны соотнош ния ля п р сч т ^n è

n í û þòñÿ о о щ нным р курр нтным м то ом н им ньших к р то .

Что ы осполь о ться р курр нтной формой получ ния

оц нок, сл у т н которым о р ом ть н ч льны н ч -

^

íèÿ 0 è 0. При их прои ольном ы ор , опр ля мы получ нными р курр нтными формул ми оц нки, оо щ о-оря, н о я ны о сп чи ть минимум соот тст ующим функцион л м к ч ст . При нии н ч льных н ч нийст ст нно ы ир ть о р тимую м трицу 0.

Для прило ний н и ол инт р с н случ й, ко m = 1, ò. . yk è Rk > 0 ск лярны личины, 'k; k = 1; 2; : : : ;кторы. мпирич ский функцион л к ч ст этом случ

èì ò è

n

fn(X) = XRk('Tk X yk)2;

k=1

формулы ля писи оц нок о о щ нно о р курр нтно о МHК с число ыми поло ит льными со ыми коэффици н- т ми писы ются к к

n 1'n'T n 1

n = n 1 1 T n :

Rn + 'n n 1'n

Ïîë ÿ Rk = 1; k = 1; 2; : : :, получ м формулы о ыкно н- но о р курр нтно о МHК:

0 > 0 м лый п р м тр р уляри ции. тот л оритмч стный и фильтр К лм н Бьюси (ñì. ð . 3.2). Â

44

случ н исимых н лю ний и уссо ских пом х он о л -

т оптим льными с ойст ми. Во мно их ч х эфф к-

ти но исполь уют мо ифициро нный МHК, получ ющийся при функцион л к ч ст с Rk = N k; k = 1; 2; : : : ; N :

2 (0; 1) û þùèé ìíî èò ëü. В той ситу ции, ко н ль я пр пол ть н исимость н лю ний, [67] при синт пти но о упр л ния стох стич ским лин й- ным о ъ ктом исполь о лся р курр нтный МHК, соот т- ст ующий ы ору со ых коэффици нто :

Ð êóðð íòí ÿ ïðîö óð ÌHÊ,P я ляясь оптим льной при

соот тст ующ м ы ор н ч льных ст тистик, ст но ится пр ктич ски м лопри о ной, сли прихо ится оц ни ть к- тор п р м тро ысокой р м рности: осно ной о ъ м ычис- л ний с я н с п р сч том м триц n. Ест ст нно попыт ться упростить, сли при тся поступиться оптим льными с ойст ми. Впроч м, посл н о стоят льст о н я - ля тся опр ляющим, т к к к ну ны н ч льны нны о ычно н и стны, прои ольный ы ор н ч льных нныхл т проц уру только пр льно оптим льной. Н которы упрощ ния р курр нтной проц уры МHК типичных слу- ч ях н ск ы ются н пр льных с ойст х оц нок. М - трицы n монотонно у ы ют, сли ыполн но усло и постоянно о о у ния ля посл о т льности f'ng: сущ ст-у т ц ло число N > 0 и постоянн я Ж > 0, т ки , что при лю ом n = 1; 2; : : :

n+N

X Ef'k 'Tk g ÆI:

k=n

45

Åñëè n ! 0 ïðè n ! 1, òî òîì ñëó÷ , êî 'n ð íîì ðíî

о р нич ны, при ост точно ольших n спр ли о: (Rn 1 + 'Tn n 1'n) 1 Rn. Сл о т льно, р курр нтный л оритмля п р сч т оц нок мо но пис ть и

n = n 1 n 1'nRn'Tn n 1:

Дру им сущ ст нным упрощ ни м р курр нтной проц -ур МHК я ля тся исполь о ни л оритм м сто м трицn число ых коэффици нто .

В о щ м случ , при почти прои ольных пом х х н лю-нии у тся ок ть состоят льность оц нок, ост ля мых при нными р н р курр нтными л оритм ми МHК, только н которых сп ци льных случ ях [66, 70]. При пр поло-нии, что р р ссоры f'ng им ют ст тистич скую приро у и и стны их ср ни н ч ния, [7, 10] усло иях почти прои ольных пом х н лю ниях т льно р ссмотр ны усло ия схо имости оц нок ð í îìè èðî ííî î ð êóðð íòíî-î ÌHÊ, èì þù î ïðè 0 > 0 è

n = 'n Ef'ng; n = 1; 2; : : : ; ц нтриро нны хо ы.

46

3.Оптим льн я фильтр ция случ йных проц ссо

Ïî оптим льной фильтр ци й поним ются л оритмы о р отки р ли ций случ йных проц ссо , н пр л нны н м ксим льно ( смысл н которо о крит рия) по л ни пом х, шумляющих (о ычно ити но) пол ный си н л. В фун м нт т ории оптим льной фильтр ции л ит м то Вин р Колмо оро [18, 78] è î ð êóðð íòíû ìî èôèê - öèè, è ñòíû ïî î ùèì í íè ì фильтр К лм н Бьюси [2, 16, 45]. Т ория Вин р Колмо оро сущ ст нной ст п ни иру тся н м то н им ньших к р то . Оц - ни ни п р м тро этой т ории происхо ит н осно о р -отки посл о т льно поступ ющих хо ных нных, я ляющихся н которой тр ктори й стох стич ско о проц сс . то при о ит к ным конц пциям фи ич ской р ли у мости и оптим льности синт иру мо о фильтр . В посо ии у т опис н только случ й искр тно о р м ни.

3.1.Фильтр Вин р Колмо оро

О р ничимся р ссмотр ни м сл ующ й пост но ки - чи: посл о т льность н лю ний при n = : : : ; 1; 0; 1; : : :

ó î ë ò îðÿ ò óð í íèþ

yn = 'T n + vn;

помощью лин йно о устойчи о о ст цион рно о фильтр , ур н ни которо о им т и

1

^ = H( )

n X i l yn i;

i=l

H(i) со я функция фильтр . Â ì п р точную функцию фильтр :

1

H( ) = l XH(i) i:

i=0

Для упрощ ния о р ничимся р ссмотр ни м фильтро с ро - но-р цион льными п р точными функциями. Дро но-р - цион льную функцию lH( ) ó ì í û òü устойчи ой,сли у н н т полюсо , которы по солютной личин м нь- ш ли о р ны иниц . С ойст о устойчи ости фильтр р - носильно устойчи ости функции lH( ). З ч фильтр ции н ы тся по-р ному исимости от числ l ур н нии фильтр . При l > 0 í û þò ÷ é экстр поляции (ïðî íî ) í l ìîì íòî ð ì íè, ïðè l < 0 ÷ é инт р- поляции (ñ ë è íèÿ), ïðè l = 0 ñî ñò ííî фильтр ци й. Т ким о р ом, при с л и нии оц нк мо т ис ть от н которо о числ " у ущих" н лю ний, п р точн я функция фильтр им т полюс поря к l н ч л коор ин т.

 êë ññè÷ ñêîé ïîñò íî ê ÷è ð ññì òðè þòñÿ ñò - öèîí ðíû ñëó÷ éíû ïðîö ññû fyng è f ng, которы о ок ст цион рно с я ны, и их м трицы ко ри ций м ст со сп ктр льными плотностями: Byy(n), Syy( ), By (n), Sy ( ), B ^(n), S ( ), ñóù ñò óþò è è ñòíû (ñì. ð . Ï.1.4). Îö í- ê n ол н ыть оптим льной смысл минимум ср н - к р тично о функцион л :

В силу ст цион рности проц ссо этот функцион л н исит от р м ни.

48

П р пиш м н осно нии опр л ний м триц ко ри ции функцион л к ч ст fl è

И стно, что пр о р о ни сп ктр льной плотности ли- н йном фильтр по оля т пис ть функцион л к ч ст fl к к к р тичную форму от п р точной функции фильтр :

fl = TrhB (0) + 21 i I H( )Syy( )H( 1)T H( )Sy ( )

S y( )H( 1)T d i:

М триц сп ктр льных плотност й Syy( ) н отриц т льно

îïð ë íí ÿ ïðè j j = 1. И стно, что т к я м тричн я функция (см. р . П.3) опуск т ф ктори цию, ò. . ïð -

ñò ë íè è

Syy( ) = ( ) ( 1)T;

( ) устойчи я м тричн я функция ( эл м нты н им ют полюсо при j j 1). Ïð ïîëî èì, ÷òî ì òðèö

Syy( ) ïîëî èò ëüíî îïð ë íí ÿ ïðè j j = 1. В этом случ мо но ы р ть т кую м трицу ( ), ÷òî û ( ) 1

ыл устойчи ой. С помощью формулы ф ктори ции, учи- ты я ыполн ни при j j = 1 соотнош ния

S y( ) = Sy ( 1)T;

49

ля функцион л к ч ст fl мо но ы сти формулу

которой исполь о ны о о н ч ния:

R( ) = S y( ) ( 1)T 1:

Ò ê ê ê ì òðèö Q í èñèò îò H( ), торо сл мо пр ой ч сти получ нной ля fl формулы н отриц т льн я м триц , то минимум функцион л к ч ст fl îñòè òñÿ

ïðè

H( ) = R( ) ( ) 1 = S y( )Syy( ) 1;

прич м миним льно н ч ни функцион л к ч ст р но

min fl = Tr[Q]:

fH( )g

О н ко н й нно р ш ни н у о л т орит льно, поскольку,

оо щ о оря, н ыполня тся усло и устойчи ости фильтр , т к к к м триц Syy( ) 1 мо т им ть осо нности при j j

1 è ýòî ñ îéñò î ï ð òñÿ H( ). Для получ ния устойчи о о фильтр н о прои сти ñ ï ð öèþ функции R( ), ò. . ïð - ñò èòü è

lR( ) = R+( ) + R ( );

котором R+( ); R ( 1) устойчи ы м тричны функции

è

lim R ( ) = 0:

j j!1

Осно ной р ульт т т ории оптим льной фильтр ции Ви- н р Колмо оро ключ тся том, что ïðè ñ ë ííûõ û- ø ïð ïîëî íèÿõ è ííûõ î î í ÷ íèÿõ ï ð òî÷í ÿ

50