книги из ГПНТБ / Мания, Г. М. Статистическое оценивание распределения вероятностей

EPm=E%Eb(Pm\S) = E&mf(z0)Q(S)==f(z0)t+O

l

m

°2 (Pm15) = mf (z0) Q(5)( 1 -

f (z0) Q(5)) =

= mf (z0) Q (S) (1 +

0(Q (S)))r

E {( Pm,-EPm]\31S) = f(z0) Q (S)+0(Q2(S)).

(3.2.10)

Применяя

эти приближения к

правой

части

(3.2.9),

по­

лучим

c0EQ[mf(z0)Q(S)}-V*[\+O(Q(S))}: ■-cin l-ч,

i + o

[ L

т

Опираясь на получающиеся из (3.2.3) соотношения

Е lm=E% Е%(Pm\S)= E&m[f (г0) Q(S)+c(г0) Q3(5)] =

= /( г 0) ^ 1+ c (2o)~^- j

+ °

o2(l1m\S)= m[f (z0) Q(S)+e(z0) Q3(5)] [1 -

/ (z0) Q(S)-

-

c(z0) Q3 (S)] = mf (z0) Q (S){ 1 + 0 (Q (S))],

E { |Pm,-EPmJ|31 S }= /(z0) Q(5) + 0 (Q 2 (S)),

(3.2.11)

доказательство теоремы для оставшегося случая

ь= 1 проводит­

ся

аналогично.

Из (3.2.8),

(3.2.10), (3.2.11), используя

равномерную

схо­

димость в (3.2.6), а также тот факт,

что

х а ^ + Е / ^ х К / ^ о Й Ь + О Ш | + / ( 2о) /+

+ с(г0) 4 - + О ( L

т“

т

^ “(“ Е 11т=

f(zо) I ( 1* + О

I ''

I I +

/ (z0) I +

О

I ''

—

т

V

\т ,

L=2y 3,

в

качестве оценок для

sup

Frn[xVf (г0)1+ / ( z

о ) 1+

Р

с ( z „ )

— г

-

ф

( * )

x^R1

771

с{ (т,. /) + sup Ф

* 1 1:+ °

1 - П +

x^Ri

+ о ( A ) i-v2

Ф(*> ,.

t— 1,3,

т

sup

.Ф

х- { 1 + 0 ( - - ) ) ] — Ф(х)|

x£Rl

rrv

sup I Ф

х \L+ 0 ' i J - ) ) +

0 (Л\1~Щ.

x£'Rl \

т > +

0:

Ф

х 1+0;

I

+

"(1+9t v

ф ( Г Г | _ ф Ь У ~ г \

- У ~

т )

\ т ]

т

то максимум величины

ф

Vт:)) \

- Ф ( х )

j

L V

имеет порядок не выше

Ф {— )•■

Ф { ----- -

nv

т

т .

< с Д т , / ) ~ 4 г>l-'U+cP

i=-2 , 3 .

(3.2.13)

m

Для приложений, однако,

свойство

асимптотической

нор­

мальности интересующей нас статистики

/(S ) = /nm(z0) / в

фор­

ме (3.2.12) еще

неудовлетворительно, т.

к. кроме неизвестного

значения плотности f(z0) распределение статистики fnm(z0)

бу ­

дет зависеть от „мешающего" параметра c(z0) (см. (3.2.3)).

С

целью

избавления

от дополнительного

слагаемого

с (z)

I3

I

заменив

его

— ■ 0.------ мы можем усилить

требование — -»■ 0,

m2Vf(z0)l

т

Is

т

введения этого

условия вызвана тем,

----- -> 0. Необходимость

т 2

что из (3.2.6) и (3.2.12)

еще не следует

эквивалентность

веро­

ятностей (3.2.3), (3.2.4),

(3.2.5) в смысле

стремления к

нулю

их относительных разностей.

Установим более сильную, чем получаемую из теоремы 3.5

форму эквивалентности

распределений F'm и F*m.

Т е о р е м а 3.6.

Д о к а з а т е л ь с т в о .

Введем

естественную

зависимость

между слагаемыми llmj и сопровождающими слагаемыми 1тг 1.

Пусть

условное

распределение

/,1П;-

и l2mj

при

условии

Y l5..., Yт (т.

е. при

условии

S) задается

вероятностями

сов­

местного осуществления

событий:

р

1,

^ / = М = Р

{ x / 6 S n s 1}I

■Р { ^ / = 1 , ^ - = 0 ) = Р { X ^ s - s , } ,

р |^/ = 0,

^/ = 1}=Р

{ X ^ - S } .

Поскольку S и Sx суть интервалы с

центром в точке

z0 и,

■следовательно, либо

SczSlt либо Sxc S ,

то

разность | Ibj—lmj |

принимает значения

1

и 0 с

вероятностями

/й* = Р {| *$,/-&/1 =

1} = Р (X/ € (S-SJ и (S.-S)} =

= | P (S )-P (S 1)|

и

1— р^2 соответственно.

Используя (3.2.3)

и определение S x,

будем

иметь

^

a = |c(20)IQ3(S )+ O (Q 4 S )).

Ясно также, что знак разности

Imj—lmj совпадает

со

знаком

c(z0); то же самое верно и для сумм

(1т—12т. Это

значит,

что

условное распределение

| 1)£\=| 1)п—1%, | является биномиальным

с

параметром р^2.

Очевидно, далее, что

sup |Flm(xatlm+ Е llm)— Fjn(xa!fn+El^)

| <

x£Rl

sup |Fb{xallm+E Pm\S)-F%(xaPm+EFm\S) | =

x£R}

11,2_p/1,2

F*m((x-y)aPm+E l2m\y,S)dvP

=

E& sup

‘'m

t-,tm <У

x£№

a/ij

-

F*m(xol*m±E l*m\S)

(3.2.14)

Условная вероятность

Fm((x~y)

I У,

S) =

a - £ £

/1,2_С /1,2

< x — y Д2- -=

y, 5

<* llm

a lb

есть вероятность

осуществления

событий S

не менее чем:

(х—у) a/^-f-E Рт раз при условии,

что

событие (S —S J (J (S j—S)

осуществилось ха /^+ Е I);2 раз.

Пусть для определенности c(zo)> 0 ,

тогда

при

фиксиро­

ванных S

и Sa, S^S1 имеем

р I /2

£■I /1 _

/2 .

P{!2m=i,

Цп-1т= /}

г \lm— *

| *m

*171

-i}-

Р {lln~Pm= i\

Для

числителя легко

получаем

триномиальное

распреде­

ление

-

. , , т Г .

.Ч|.

[Р (Sxr

[Р ( S ) - P

№)]'• [1 - Р ( 5 ) ] т -'-Л

t!

/! ( т — t — /)!:

Для знаменателя, как указывалось

выше, имеем биномиальное

распределение

Р { W = i } - b ( i „ m ,

ptf).

(3.2.15)

Отношение этих вероятностей, как

нетрудно

обнаружить, пред­

ставляет

собой бинсмиальнсе распределение

Р {& = * I ^ Г= /} = Ь U т-П

Pm

1

\

1

В силу этого, а также

эквивалентности а /^ ~ а /т,. получим,,

что разность

LE-/b'm

J—

& - E g ,

j / Ь 2 _

S

aim

■< x — у

У,

г / а — Е

I

/ Ь 2 „ р / Ь 2

__ у,

S j

(3.2.16)

I

ьт ^

I

*т

I

I

aim

представляет сумму no

ii вероятностей

(3.2.15)

в интервале o r

(х—у) al^+El^ Д° хаРт+ЕРт,. т. е.

число членов

в

сумме

сов­

падает с г/сг/£, причем

в (3.2.15) надо брать j = yol%l-\-E/^2.

Мы можем оценить члены этой суммы

максимальной

би­

номиальной вероятностью и пел>чить равномерную

по х оценку

разности (3.2.16), которая имеет порядок

2 ®

( я г - К - Е / > 1'2) PjS,) L _

P(S1)

У2

yal^~

1

-РтА

1 —pk

1

“

___ ( 1 + 0

I

V

i

vm l

т

(3.2.14) .с учетом

равенства

П__Р /2

- Е/ ь2

1т

ь

S

X

= г/,

11,2_С /1,2

S U ' / « ( ^ + E a i S ) ,

X

d„P

{ ^

для правой части

(3.2.14) будем иметь

FQ

\У\

d„ Р

/ 1 ,2 ____р / 1,2

■ 1 т

Г ?.. .

5

<

■V2n

т

}Vm(Q(S))

a Ог

< - l ^ E Q Q ( 5 ) ~ C5— ,

(3.2.17)

г 2 тс

.т

что и доказывает теорему (3.6).

Если в (3.2.17) провести

интегрирование

по

d„ Р

/ 1 , 2

all,

и повторить рассуждения, проведенные

при выводе

следствия 1

из теоремы

3.5,

то, учитывая,

что

второй

момент

O f имеет

порядок mQ3(S) + m2 Q6(S),из теоремы

3.6 получим

С л е д с т в и е

1.

x<zri

< c(m ,

(3.2.18)

m2

Согласно (3.2.18) и (3.2.12), имеет место

С л е д с т в и е

2.

L f V ~ [fnm(zo )-f (zo))

w = = = |

сильно

{

V /(z0) J

сходится к N (0,1)

со

скоростью порядка с7

1

i5/*

— = + • с8 ----- .

У

I

т 2

-f- О [т

/

1

Р3/2 I .

т

Д о к а з а т е л ь с т в о .

Используем

приближение

[64]

Ь(1, тг р) =

tnp(l-p)

ехр

| -т1 (|+0

1

+

О (m -1/a|:xi |3) j

,,

где

х

_

‘ ~тр

1

У тр(\—р)

Справедливо также

приближение-

1

ехр

А ]

1

(1+ 0 М П

Vmp{\-p)

т Г Т ^ Г р

ехр

Imp

Применяя дважды каждое из этих приближений, получимб

Ь(/, ш, fp) =

1

ехр

<

(l—mfp)2

X

V mfp (\—fp)

mfp(\~fp)

X

1

О ( m

l

3

p3>.

\ 1

1 + О I — | -f

—

1

1_

m

m

1

« Ф

[1 +

О И Х

V mfp

mfp

X

1 + 0

/

)

+

О I m i -

i

p3U

m

m

V [mf]p(1 - p )

exp

{ l - \ m f \ p f

( l + 0 ( p » ( l + 0 ( p ) ) X

\mf\p{\-p)

X

1 + 0

(— ) + 0

( m

m

1 8 P 31*

)

L

\mj

{

n

= b(l,

\mf\,

p) 1 +

0 (p)+ O' — -) -

m.

1

-

1

3

\ ~

+ 0 ( m

Р ^ )

т

Из доказанной леммы следует

С л е д с т в и е

3.

Р

=

/(г 0) = Л = Р

=

/<^о)=Л X

X

1 + О

+ 0 Ц

И - / / 1 < Л < с о .

(3.2.19)'

В случае

f(z0) = 1

(3.2.4)

значительно упрощается

Р { £

= /,

/(2 о)= 1} =

- ^

^

- .

(3-2.20)

а (3.2.5)

принимает вид

Р ilm=i,

f(z0)=l} = b (i,

п,

— L _ \ .

\

т + 1 /

Полагая

п= т и i = 1(фактически рассуждения справедливы для

с \ <

л

с2, |i— lf i < Л < с о )

и применяя формулу Стирлинга,

— <

т

имеем

Отсюда

i

~

V2 пт т Т Т ~

С9 /_1/2 •

(3-2.21)

Из (3.2.19), (3.2.20) и (3.2.21),

учитывая равномерность схо­

димости в (3.2.

18),

получим

С л е д с т в и е

4.

Имеет место эквивалентность

Р {l(S) = ir f(z0)~f}~P

f(z0)= f) ~

- с -

q - у с ц - ^ ,

Остановимся

теперь на многомерном

случае

k~p>1. Чтобы

перенести

на этот

случай

результаты,

полученные

выше, надо

лишь

выяснить,

как

изменится

приближенное

соотношение

(3.2.3).

Пусть Р, Q—вероятностные меры в Rh,

=

плотность

Р

по

Q,

имеющая

производные

по

переменным

г15...,

zh до

третьего

порядка.

Пусть,

далее, Q имеет

положи­

тельную в

точке z0 = (z10,..., zh0)

плотность

по

лебеговой мере

в Rk, обладающую производными до второго порядка.

Область

S (как

указывалось выше)

будет

минимальным

^-мерным

кубом

с центром

в

точке

z0,

содержащим

I точек

из выборки Уt —

Yhi),

5=(z10-a ,

z10+ a )x...X (2ft0-a , zk0+a).

Соотношение, -аналогичное (3.2.3),

можно легко

получить, исхо­

дя из

Q(S)

(2ау

/ ( * о)

P(S) = f(z0)Q(S)+c(z0) \Q(S)]™lk,

где c(z0) .будет зависеть от значений производных

f(z)

первого

и второго порядка, а также производных f(z) в точке z0.

Результаты одномерного случая обобщаются следующим

образом.

Т е о р е м а 3.7. При k >

1

теорема

3.5

и

ее следствие

сохраняются

без

изменений. В теореме 3.6 сходимость имеет

порядок

I VIk, а в следствии 1

теоремы 3.6—порядок

14ш+2'k

т

m*tk '

В следствии

4

относительная

разность

вероятностей

(3.2.1)

и (3.2.4) имеет порядок-------- .

m2lk

§ 3.

ДОПОЛНЕНИЯ

В § 1 рассматривался случай, когда

обе меры Р и Q бы ­

ли известны лишь

по наблюдениям и исследовались асимптоти­

ческие свойства оценок

при

переходе

к пределу

одновременно

по п и т. При этом

п я т

эквивалентно увеличивались

до бес­

конечности.

Интерес

представляет и случай их неравностепен­

Положив с самого начала п со или

т— оо, получим схе-

мы оценки плотности dQ (,г) по выборке

Yx,..„ Ym из Y при

dP

dQ . .

I

S—слу-

честве оценки .—

(z) имеем статистику ----------- , где

dP

mP(S)

чайная область вокруг точки г

(минимальный куб, содержащий

I точек из У-!,,...,

Ym), а при

т= со оценкой служит

статис-

US)

ности по лебеговой мере,

полученные по первой и второй схемам.

В условиях теоремы

2.8

для оценки (2.4.1) по второй схе­

ме при h=ccn~1U, согласно (2.4.2),

имеем

Е [ / „ ( г ) - / ( г ) Р

[ / ( z ) ,

[ / W

а4 ) я~4/6 + 0 (П-4/5).

2 а

.;

36

Соответствующее выражение для первой схемы равно

f/2(z) , [ f

(г)]2

а4 п"4/в + о (/г -4/5),

9. Г. М. Мания

129