Цифровая обработка сигналов (сборник книг) / Граничин О.Н. Введения в методы стохастической оптимизации и оценивания, 2003

р н я оц нк формиру тся по пр илу

Для ычисл ния оч р ной оц нки по этому л оритму пр - пол тся о мо ность точно о ычисл ния н ч ния миними иру мой функции мых точк х.

В о о щ ющ й форм и поиско ых л оритмо ля миними ции функцион ло тип ср н о риск и ля р ш ния ря ру их ли ких ч мо т ыть опис н т к. Вы и-

Отличит льн я осо нность этих л оритмо о мо - ность исполь о ния при отсутст ии приорных стких о р - нич ний н тип функции F ( ; ). В ч стности, о ычно тру но про ря мыми я ляются усло ия н пр ры ности и ифф р н- циру мости. Во мно их пр ктич ских случ ях этими л орит- м ми поль уются стро о о м т м тич ско о о осно ния, у о л т оряясь получ мым к ч ст ом оц ни ния, котороост точно ч сто у тся по ысить сч т пт ции (приспос ли ния) п р м тро л оритмо к конкр тной ситу - ции. А пт ция личины р оч о ш f ng с я н с у- мя проти ор чи ыми ф ктор ми: ш ол н ыть ост точ- но ольшим то р мя, ко т кущ я оц нк л к от искомой, и н о хо имо о ум ньш ть по м р при ли ния к

81

поло нию экстр мум . Оч нь пло от орной ок ы тся сл -ующ я э ристик : ну но ум ньш ть n при "н у чном" ш и у личи ть при "у чном". Помимо это о о мо н

пт ция п р м тро р спр л ний кторо f ing исимости от поступ ющ й н к ом ш поиск информ ции о усп х или н усп х то о или ино о случ йно о ш .

5. ë ì íòû ò îðèè îö íè íèÿ

В р мк х т ории оц ни ния осно ным я ля тся опрос о состоят льности, эфф кти ности и симптотич ской эфф к- ти ности оц нок. В н йшими м то ми получ ния оц нок я ляются м то эмпирич ско о функцион л [4], é ñî ñêèé ïî õî è м то м ксимум пр опо о ия [56].

5.1.М то эмпирич ско о функцион л

Р ссмотрим чу миними ции функцион л ср н о риск

f(X) = EwfF (w; X)g = Z F(w; X)Pw(dw);

котором Pw( ) функция р спр л ния, нн я н н - котором роятностном простр нст со ытий. Во мо ностьн литич ско о р ш ния этой чи пр пол т н ни р с- пр л ния Pw( ). Âì ñò ñ ò ì, ðÿ ïð êòè÷ ñêèõ ÷ ð ñïð ë íè Pw( ) н и стно, но р споря нии эксп ри- м нт тор мо т ыть опр ля м я им н исим я ы орк w1; w2; : : : ; wN . О ним и ст ст нных по хо о к ч н хо ния минимум я ля тся осст но л ни по этой û-îðê ð ñïð ë íèÿ Pw( ), точн постро ни эмпирич с-

1 N

fN (X) = N X F(wk; X);

k=1

который соот тст у т ычисл нию ì òî îì Ìîíò Ê ðëî инт р л , ющ о исхо ный функцион л f(X) [12]. Пустьличины F (wk; X); k = 1; 2; : : : ; N; случ йны , н исимы , о ин ко о р спр л нны и но н которо мно ст-о , со р щ X. Если по ынт р льн я функция F (w; X)

83

ð íîì ðíî î ð íè÷ í èëè ó î ë ò îðÿ ò îë ñë îìó óñëî-èþ

sup Z kF(w; X)k2Pw(dw) < 1;

X2

то соот тст ии с коном ольших чис л (см. р . П.1.3) с роятностью иниц и ср н к р тичном смысл при N ! 1 н ч ния эмпирич ско о функцион л схо ятся к соот тст ующим н ч ниям исхо но о:

lim fN (X) = f(X);

N!1

прич м схо имость ср н к р тичном смысл им т м сто

ð íîì ðíî ïî X 2 .

Îö íêîé м то эмпирич ско о функцион л í û òñÿ

^ = arg min ( )

n X2 fN X ;

ò. . ëþ ÿ è òî÷ ê ìíî ñò , ñîîò òñò óþù ÿ í èì íü-

ш му н ч нию функцион л fN (X). Ïðè ñ ë ííûõ ïð ïî-

^

ло ниях посл о т льность оц нок f ng ñð í ê ð òè÷- íîì ñìûсл и с роятностью иниц схо ится к мно ст у точ к , минимè ирующих функцион л f(X). В ч стности,сли мно ст ^о состоит с о и о ной точки, то посл о-т льность f ng состоят льн я.

В ч х и нтифик ции ин мич ских о ъ кто и п- ти но о упр л ния поя ляются ол сло ны эмпирич ски функцион лы и

1 N

fN (X) = N X F (k; wk; X);

k=1

штр фн я функция F( ; ; ) исит я но от р м ни, случ йны личины fwkg н я ляются н исимыми.

84

5.2.Á é ñî ñêè îö íêè

М рко ски оц нки и оц нки МHК о л ют т м пр и- мущ ст ом, что н тр уют н ния н чит льной приорной информ ции. Но сли им тся приорн я информ ция о о - мо ных н ч ниях оц ни мых п р м тро , то интуити но понятно, что уч т этой информ ции мо т по олить улуч- шить оц нку. При исполь о нии р курр нтных мо ифик ций МHК мо но н стр и мых мо лях уст н ли ть н ч льны н ч ния п р м тро соот тст ии с приорными н - ниями и пр поло ниями. При этом, о н ко, н у тсяост точно просто сти сх му оц ни ния ст п нь осто-рности ýòèõ ííûõ. Â ò êîé ñèòó öèè îê û òñÿ ïîë - íûì é ñî ñêèé ïî õî ê ÷ îö íè íèÿ.

Сущ ст нным мом нтом й со ской проц уры оц ни-ния п р м тро я ля тся опр л ни пост риорной плот-

ности p( jY ) усло но о р спр л ния п р м тр относи- т льно н лю ний Y , ычисля мой о ычно по формул о -

р тной роятности (формул Б й с ):

p( jY ) = p(Y j )pp((Y)):

 p( jY ) ключ н ся информ ция, пр ст ляющ я инт - р с ля эксп рим нт тор . Зн я функцию p( jY ), мо но по т м или иным при н к м принять р ш ни , к кую оц нку п - р м тр счит ть н илучш й. Пр ст л ни пост риорной плотности у о ном ля принятия р ш ний и ло н - просто . О ычно н илучш я оц нк опр ля тся ы ором функции штр ф , который ол или м н прои ол н, и только р ких случ ях икту тся с мой пост но кой чи.

к к функция прои нных н лю ний Y ы ир тся и

85

усло ия миними ции функцион л усло но о ср н о риск :

f(X) = Z Q(X; )p( jY )d :

H пр ктик ч щ с о р ссм три тся о н и сл ующих тр х функций штр ф :

1. К р тичн я функция:

Q(X; ) = (X )TR(X )

с поло ит льно опр л нной симм тричной со ой м триц й R. В этом случ н илучш я оц нк пр ст ля т со ой óñëî - íî ñð í :

Q(X; ) = kX k:

Соот тст ующ я н илучш я оц нк ^( ) ÿ ëÿ òñÿ ì è íîé

Y

плотности p( jY ), ò. . ó î ë ò îðÿ ò óñëî èþ

^

Z ^ p( jY )d = 0:

k k

3. H и ол роятно н ч ни :

Q(X; ) = Æ(X );

ñü Æ( ) льт функция Дир к . Н илучш я оц нк

ÿ ëÿ òñÿ ìî îé óñëî íî î ð ñïð ë íèÿ.

Если пр поло ить, что пост риорн я плотность р спр -

ля прои ольно о ктор X, то с эти три оц нки со п -

~( )

þò ñ Y . Áîë òî î (ñì. [45, ë ììó 1.4.1]), оптим льны оц нки при симм тричной пост риорной плотности со п -ют с точкой симм трии ля с х функций штр ф и Q(X; ) = q(X ), q( ) симм тричны относит льно нуля ыпуклы ифф р нциру мы функции. òîò ô êò -í ля прило ний, т к к к и ля т от н о хо имости о осно ы ть ы ор функции штр ф .

Р ссмотрим ля прим р чу о оц ни нии кторно о п р м тр лин йной р р ссии по н лю ниям личины

Y = T + V:

Пр поло им, что случ йны личины и V стох стич с- ки н исимы уссо ски с норм льными кон ми р спр -л ния N(M ; B ) è N(0; Bv) соот тст нно. При этом у-м счит ть и стной м трицу . Плотность р спр л - ния случ йной личины , от ч ющ я кону N(M ; B ), í û òñÿ приорной ( оопытной), плотность р спр л ния p( jY ) пост риорной. И усло ий чи сл у т, что случ йн я личин Y я ля тся уссо ской случ йной ли- чиной с п р м тр ми

N( TM ; TB + Bv);

прич м усло н я плотность p(Y j ) óññî ñê ÿ ñ ï ð ì ò- ð ìè

EfY j g = T ;

cov(Y Y Tj ) = Ef(Y T )(Y T )Tj g = Bv;

ò. . p(Y j ) = pv(Y T ), pv( ) плотность р спр л - ния случ йной личины V . Со л сно формул Б й с им м

p( jY ) = pv(Y T )pp((Y))

87

и, сл о т льно, ля к р тичной функции штр фо Q(X; ) = kX k2 получ м оц нку

к к функцию н лю ний Y . Вычисл ни по посл н й формул ост точно тру нит льно.

Дру ой, ол простой, спосо ключ тся н хо нии точки симм трии плотности р спр л ния p( jY ). Для это о мо но ы лить полный к р т по ыр нии ля пок -т ля экспон нты функции p( jY ). Н сло ны ычисл ния при о ят к формул

Ïðèì ð. Прим ним получ нный р ульт т к ч и р . 1.1 о оц ни нии личины постоянно о си н л с н -лю ниями

yn = + vn

ïðè n = 1; 2; : : : ; N; ïð ïîë ÿ, ÷òî è ïîì õè fvng ск - лярны уссо ски случ йны личины с п р м тр ми

N(M ; 2) è N(0; v2) ñîîò òñò ííî: > 0; v > 0. Î î í - ÷è

Ïðè N ! 1 оптим льн я ( й со ск я) оц нк со п т с получ нной р н ср н рифм тич ской. При кон чных n оц нк исит от приорных нных M и .

88

5.3. Ì òî

у упомин лось, ля с х функций штр ф и Q(X; ) = q(X ) (q( ) симм тричны относит льно нуля ыпук-

лы ифф р нциру мы функции) оптим льны оц нки со -

п ют с Y . Дру ими сло ми, оптим льн я оц нк н

~( )

исит от точно о и функции штр ф и пост риорной

плотности. Для мно их стр ч ющихся прило ниях р с-

ïð ë íèé òî÷ê ñèìì òðèè Y ÿ ëÿ òñÿ î íî ð ì ííî

~( )

и точкой м ксимум пост риорной плотности p( jY ). тот ф кт ук ы т н ост точно уни рс льный спосо н хо -ния оптим льных оц нок, им нно: и усло ия м ксими - ции пост риорной плотности роятности оц ни мых п р -

ýê è ë íòíî ñë óþù ìó:

котором p( ) приорн я плотность р спр л ния п р - м тр и p(Y j ) усло н я плотность р спр л ния случ й- ной личины Y . При ост точно ысокой информ ти ностинных н лю ния Y и отсутст ии к ких-ли о сп цифич с- ких о р нич ний н имос я ь компон нт ктор приор- н я ст тистик p( ) сл о лия т н структуру и и опти- м льно о р ш ния. Поэтому посл н соотнош ни мо ном нить н ол просто ля при ли нно о опр л ния оптим льной оц нки

p(Y j (Y )) = max p(Y j ):

89

Интуити но о осно ни р умности получ ния оц нок и посл н о соотнош ния состоит том, что к ч ст оц нкиы ир тся то н ч ни п р м тр , ля которо о поя л ниы орки Y мо т прои ойти с н и ольш й роятностью.

Функция L(Y; ) = p(Y j ) í û òñÿ функци й пр îïî-î èÿ и и р т ную роль р личных р л х м т м ти- ч ской ст тистки. При л кой исимости функции L(Y; ) от мо но пис ть о но и н о хо имых усло ий ыполн ния посл н о соотнош ния:

r ln L(Y; ) = 0:

Ð ø íèÿ ýòî î óð í íèÿ í û þò îö íê ìè ì êñèì ëüíî î ïð îïî î èÿ. С м м то получ ния т ких оц нок получил н ни ì òî ì êñèì ëüíî î (м ксимум ) ïð îïî î èÿ

(ÌÌÏ).

Р ссмотрим случ й н исимых н лю ний y1; y2; : : : ; yN , к о и которых опр ля тся усло ной плотностью p(yj ),

исящ й от п р м тр . Пусть Y их со окупность. То

N

L(Y; ) = Y p(ykj ):

k=1

С ычислит льной точки р ния у о н иск ть точку м ксимум у функции ln L(Y; X). Е ы орочно ср н

1 N

LN (X) = N X ln p(ykjX)

k=1

я ля тся оц нкой личины

f(X) = Efln p(yjX)jY g:

При ост точно о щих усло иях (см. кон ольших чис л, р . П.1.3) ыполня тся р нст о