книги / Непараметрическая статистика
..pdf
|
|1п у] < -----1“У» |
У>0, |
|
можем записать: |
У |
|
|
|
|
|
|
Г |
g ( x ) - g N(x ) _L |
g J x ) - g ( x ) ' |
g(x)dx, |
К -1 < I |
1 |
g(x ) |
|
|
g,v(x ) |
|
1 К \ < ,1 |
g(x ) |
Ы - * ) - £ ( * ) 1 |
|
14«% |
g N{ x ) — g { x ) |
Если
sup |£v(*)-£(*)l<e*
- g N ( x ) dx.
(8.5.17)
14<~*N
ивыполнено условие (8.5.10), то при достаточно больших N
|
|
\U*A\ <7 2 Н (/Сдг)£дг, | ^ | < [ ^ ( ^ ) + 1 I ^ . |
(8-5.18) |
||||
Так |
как |
| / | < о о , то |
при больших N и e>0\e'h |< е /2 . Выбе- |
||||
рем |
гм ~ |
S/2H2(Kn ) = e / 2 N 5 . |
Тогда |
из |
(8.5.17) |
следует |
|
(8.5.18), |
в силу чего |
|
|
|
|
|
|
|
Рг {|Уд,—У |>е] < P r (sup | ^ * ) - g ( * ) l > £/8Arn |
< |
|||||
|
|
|
IJC-I < /CJV |
|
|
-1 |
|
|
|
|
|
|
|
|
|
|
|
■<Pr{siip|gv(.*:)—&(.*)|>£;8Л^ }. |
|
||||
Так как hN=0(&N), то, согласно лемме |
8.5.1, имеем |
|
|||||
|
|
Рг{|УЛ,- У |> е }< С 1е |
х р { - ^ 2ЛР5'}, |
(8.5.19) |
|||
|
|
со |
1 |
|
|
|
|
|
|
----- |
то теорема |
доказана. |
|
||
и так как 2ехр{—CN10}<Zоо, |
|
Теперь можно сделать некоторые общие выводы о пря мых оценках нелинейных функционалов при использовании оценок плотностей Розенблатта-Парзена.
Во-первых, равномерная по х сходимость gN к g гаран
тирует асимптотическую несмещенность |
и состоятельность |
(т. е. сходимость по вероятности) оценок |
(8.5.2). |
Во-вторых, выбирая подходящим для каждого функцио нала образом параметр hN оценки gN 'и (в случае необходи мости) параметр KN оценки JN , можно обеспечить сходи мость JN к ] с вероятностью единица.
Рассмотрим теперь некоторые вопросы, связанные со схо димостью оценок (8.5.2) по вероятности.
В § 7.6 вычислены среднее и дисперсия для gf/(x). Эти
195
результаты легко обобщаются на случай произвольного лого г;зг0 в (8 5.4). Опуская простые выкладки, имеем:
|
Hm Eg'-pix^g^ix); |
(8.5 20) |
||
Dg%Kx) = - - t r i |
“ 1Д'(г)( г ) ] 2 г ( л - г ^ ) с Г г + |
|
||
iV/XV |
—00 |
|
|
|
1 |
ос |
|
2 |
(8.5.21) |
|
f |
K(r)(2) g{x —zhw) dz . |
||
|
-со |
|
|
|
Из (8.5.21) следует, что при N-*-оо, |
hN-+0 и Nh2w+1- |
00 |
||
l i m r f + ,D ^ )(x ) = ^ ) |
J [K(f)( 0 ] 2^ . |
(8.5.22) |
Л е м м а 8.5.3. Если g и ее первые г+1 производные огра ничены, и {g/v}— такая последовательность положительных чисел, что hN=0(e,N ), то существует такая положительная константа С-<оо, что при достаточно больших N
Pr{sup\g^(x) - g^(x)\>eN] < |
—S |
т . |
(8.5.23) |
* |
Л'ЙД' |
£iV |
|
Д о к а з а т е л ь с т в о . Как показал Бхаттачарья [1], спра ведливо следующее соотношение:
|
sup |
1 |
К}г) |
х —у |
|
hr+l |
g ( v ) d y - g {r)(x)\<Chu, |
||
|
Л* |
Пм |
—оо |
hN |
где |
C= sup|g,(',+1) |
(х) | |
J \u\K(u)du, Запишем очевидное не |
|
равенство |
|
|
|
|
|
|
l ^ )( ^ ) - g r(r)(^)l-'-K r' ( ^ ) - ^ ^ ( - t ) |^ c v |
||
Так |
как hN = 0 (ед ,), то |
для достаточно больших N можно |
||
положить ChN — EN!2\ тогда |
||||
|
|
|
|
hi |
. 4 D tf'M |
|
4supD№ > |
(8.5.24) |
|
^ |
^ |
------------------- о---------------- . |
||
£N |
|
|
ZN |
|
В силу (8.5.24), с учетом |
(8.5.21) |
имеем: |
|
|
|
|
|
4supDgft>(.x:) |
|
P r ls u p l^ ^ ) -^ ^ ^ )! |
> е*} |
----2------- |
|
196
J {KiT)(z)\2g ( x—hNz)dz—fiN |
|
2A,v)rfz } |
||||||
- C O |
|
|
дг.2/4 1 r2 |
|
||||
■ |
|
|
|
|
|
|
||
|
|
iVA,v |
Sv |
|
|
|
|
|
|
|
< |
ЛГАаТ4 1 |
|
|
(8.5.25) |
||
|
|
|
|
|
|
|
||
где C =4supg(x) j |
K(r) (z)]2dz. Лемма доказана. |
|
|
|||||
X |
— » |
при любых а ^ 1 |
расходится, то |
гра |
||||
Так как ряд |
||||||||
ница (8.5.23) |
гарантирует лишь сходимость |
оценок |
по |
веро |
||||
ятности, тогда как |
(8.5.5) |
при |
правильном |
выборе |
&N |
и h |
||
обеспечивает |
сходимость с |
вероятностью |
единица. |
Вопрос О% |
практическом сопоставлении оценок, обладающих разными типами сходимости, интересен сам по себе и будет рассмот рен в другом параграфе. Здесь же дадим теорему, характе ризующую скорость сходимости g $ (х) к g{r) (х).
Т е о р е м а 8.5.4. Если g(x) и ее первые г-f-1 производные ограничены, и если последовательности {hN} и {bN} таковы,
что при |
N->oo |
hN bN —0(1) и |
lb% ->оо, то величина |
[fcjvsup |
g(r) |
| ] сходится при N->oo |
к нулю по вероятно- |
сти.
Д о к а з а т е л ь с т в о . Следует непосредственно из (8.5.25), если положить bN = z l e N, где в> 0 — сколь угодно малая пос
тоянная величина. |
и |
ее первые г+1 производные |
С л е д с т в и е . Если g(x) |
||
ограничены, hN —N~ll(2r-\-2) |
и |
0 < 6 < 1 /2 (2 г + 2 ), то вели |
чина [A/9sup|g($ (х)—g (r) (лг) | ] |
при N->oo сходится к нулю |
|
х |
|
* |
по вероятности.
8.5.2. ПРЯМЫЕ ОЦЕНКИ НЕЛИНЕЙНЫХ ФУНКЦИОНАЛОВ,
ОСНОВАННЫЕ НА ГИСТОГРАММЕ
Учитывая широкое практическое употребление гистограм мы в качестве оценки плотности, интересно рассмотреть, что даст использование гистограммы для получения прямых оце нок функционалов.
Первое ограничение, накладываемое особенностями гис тограммы, состоит в том, что функционалы, содержащие про изводные плотности, не могут быть оценены прямым мето дом: производная гистограммы является суммой б-функций. Поэтому будем рассматривать только случай, когда (8.5.1) не содержит производных плотности.
Уг7 Заказ 7394 |
197 |
Представим гистограмму (см. |
§ 7.4) |
|
аналитически фор. |
мулой |
|
|
|
* (* , Ак) |
^ |
|
(8.5.26) |
& v(*)= 2 |
|
N |
|
k |
1 = 1 |
]• |
где хи ..., xN — выборка объема N, Ак — величина k-ro интер вала группировки,
1, -жеД*.
п(х, Ak) —
О, x ^ A k.
Подстановка (8.5.26) в (8.5.1) дает следующую прямую оценку:
V = 2 ® |
(8.5.27) |
k |
|
N
где pk = N ~ 1'Zn(xl , Ак) есть относительная частота события
Х<=Ак.
Рассмотрим, какими свойствами обладает прямая оценка (8.5.27). Известно, что относительная частота рк имеет асим птотически нормальное распределение со средним рк и дис персией в \ ь ~ р к (1—Рн ) IN, где рк — истинное значение ве роятности события Х^Ак. Отсюда, последовательность чисел lkN= p k—pk сходится к нулю по вероятности. Если теперь ограничиться классом функций Ф( 0 . разложимых в ряд Тэй лора для всех t, то можно записать
<8'5-28’ а при достаточно больших N можно ограничиться учетом
лишь первых трех членов этого ряда: |
|
|
||
JN— 2К k + e * |
6av+P* ^ ] , |
(8.5.29) |
||
где |
|
|
л. Ев Ф '1 о |
|
|
|
|
|
|
- - л ф й )! 9- ф (д-: |
РА. |
|
||
л* U |
|
|||
h = W Pk |
-V + — • Ф" Pk |
|
||
л* |
Г |
2 |
|
|
Усредняя последнее равенство, имеем: |
|
|||
р „Ф |
|
|
|
(8.6.30) |
198
Вычисление |
дисперсии |
(с учетом |
того, что Е?*лг^лг= |
= —pkpt/N), приводит к результату |
|
||
Mm N D J n =- 2 |
л ) — 2 |
0*0|Л Л < ° ° . |
|
—►со |
k |
|
|
Итак прямые оценки функционалов, получаемые с помо щью гистограммы, хотя и имеют убывающую с ростом N дисперсию, обладают смещением, которое зависит от g(x) и, следовательно, в непараметрическом случае неизвестно. Ко нечно, можно уменьшить смещенность оценки (8.5.27) путем увеличения числа интервалов группировки, но тогда потре буется соответствующее увеличение объема выборки. Эта осо бенность данного типа прямых оценок делает их малоинте ресными для оценивания. Однако существует область стати стических приложений, в которой данные оценки могут с ус пехом применяться. Речь идет о задаче согласия (см. гл. IX). Из (8.5.30) следует, что (если Ф выбрана удачно) среднее значение JN будет сходиться к разным величинам при раз ных распределениях. Этот факт и можно использовать, так как нулевая гипотеза F в задаче согласия известна, и оста ется лишь установить отличие JN (G) от JN (F). Известным примером является %2-критерий, Но очевидно, что это — не единственный возможный тест согласия, основанный на гис тограмме.
8.5.3. ПРЯМЫЕ ОЦЕНКИ НА ПОЛИГРАММЕ
Полиграмма является непараметрической оценкой плот ности (см. § 7.5) и также может быть использована при оце нивании функционалов. По тем же причинам, что и гисто грамма, полиграмма не пригодна в тех случаях, когда функ ционал содержит производные плотности. Рассмотрим свой ства прямых оценок, получаемых с помощью полиграммы, на примере использования полиграммы первого порядка.
Пусть функционал имеет вид
|
/ = |
J F[g(x)]g(x)dx. |
|
|
(8.5.31) |
|||
Подставляя сюда вместо g(x) |
полиграмму g N(x), |
имеем |
||||||
‘ |
1 |
|
4-) ] |
1 |
N£ |
< x , *i) |
d x — |
|
_N+ 1 «3 |
д, |
J |
N+1 |
h |
At |
|
||
|
|
1 |
Л’-И |
|
1 |
|
|
(8.5.32) |
|
|
N+1 |
& |
XN+ 1) Д, .' |
|
|||
|
|
|
|
|||||
Если Aj и/или |
AJV-H |
бесконечны, то соответствующие член j |
||||||
в (8.5.32) должны приниматься равными нулю. |
|
199
Свойства статистики (8.5.32) существенно определяются не только распределением выборки, но и видом функции F Можно сделать лишь следующие общие утверждения: 1. Ес
ли случайные величины F [(д/~ \ ^ д ] имеют первые два мо
мента, то в силу асимптотической независимости выборочных интервалов и центральной предельной теоремы, оценка J является асимптотически нормальной. 2. Если функция F та
кова, что |
моменты |
величин F | ^дг_^) д |
неограничены, то |
J дг также |
не имеет |
моментов. Суждения |
о свойствах пря |
мых оценок на полиграмме можно несколько конкретизиро вать, если воспользоваться представлением выборочных ин тервалов через экспоненциально распределенные величины
(см. § 4.4). Из (4.4.17) |
следует, что |
|
|
------I------= |
-----Ш± |
—-Л [G-1 (Л ,)]. |
(8-5.33) |
(АЧ-1)Д, |
К, |
1 |
|
где h ( x ) = g ( x ) l [ 1—G (x )]— функция интенсивности. При вычислении асимптотики первого момента JN можно восполь зоваться сходимостью порядковых статистик к квантилям, что дает
|
|
|
1 |
|
(8.5.34) |
|
|
|
0V+1)A, |
||||
|
|
|
||||
Таким образом, |
|
|
|
|
||
|
|
1 |
/V+1 |
|
g |
|
Пт /у = |
Пт |
|
К |
e~Y,d К, (8.5.35) |
||
лч-1 2 |
||||||
N -*-со |
N -*-:о |
|
и дальнейшие рассуждения можно провести, лишь конкре
тизируя вид функции F.
Предположим, например, что оценивается дифференци альная энтропия распределения g(x). Тогда F(g) ——lng, и мы имеем:
|
|
1 |
N + 1 |
» 1 |
|
Пт Уд, = |
Пт |
t |
2 1п§ о-> |
-j- |
f — e - y d y = |
N-+00 |
N-*■<*> N + 1 |
i=i |
Л |
у |
= — | g(x) In g(x) d x —C—J— С,
где С — константа Эйлера. Таким образом, прямая оценка функционала энтропии, основанная на выборочных интерва
200
лах, имеет асимптотическое смещение, равное —С. Легко по казать, что дисперсия этой оценки при N-*-oо стремится к ну лю, что и дает окончательное представление о ее свойствах.
В качестве примера, в котором JN не является асимпто тически нормальной, рассмотрим оценивание интеграла от квадрата плотности. В этом случае (8.5 32) приобретает вид
Л; |
1 |
-1 |
(8.5.36) |
(W+1)2 ЕЛ |
|
||
|
|
и /дг не имеет конечных моментов. Исследование таких слу чаев сложно и представляет самостоятельный интерес.
§ 8.6. ОЦЕНИВАНИЕ НЕЛИНЕЙНЫХ ФУНКЦИОНАЛОВ КВАЗИ- U-СТАТИСТИКАМИ
Можно указать следующие недостатки прямых оценок нелинейных функционалов, рассмотренных в предыдущем па раграфе. Во-первых, при практическом оценивании оказы вается необходимым выполнение интегральных операций над непрерывными случайными функциями, что является трудо емким делом и связано с внесением дополнительных погреш ностей. Во-вторых, для ряда функционалов прямые оценки оказываются весьма медленно сходящимися, что требует очень больших объемов выборки. Поэтому представляют ин- . терес поиск и исследование других методов оценивания не линейных функционалов. Одному из таких методов и посвя щен данный параграф.
Идея состоит в том, чтобы использовать непараметриче скую оценку плотности лишь до такой степени, чтобы можно было привести оцениваемый функционал к виду, допускаю щему его дальнейшее оценивание с помощью ^-статистики.
Известно (см. § 8.3), что ^/-статистиками можно оцени
вать функционалы вида |
|
|
/==J |
f(x)g(x)dx, |
(8.6 1) |
где f (х) ■— з а д а н н а я |
функция случайной |
величины X, а |
g ( x ) — н е и з в е с т н а я |
плотность. Любой нелинейный функ |
|
ционал можно привести к виду |
|
|
J f[g(x)]g(x)dx, |
(8 6.2) |
но поскольку g(x), а следовательно, и f[g(.*:)] неизвестны, построение £/-статистик исключается. Однако, если в ^ [g)*)] подставить вместо g(x) ее непараметрическую оценку g iV(x) полученная функция fN (х) —F[gN(х) ] оказывается извест ной, (8.6 2) приобретает вид (8.6.1), что и позволяет далее
201
применить методы, используемые при построении (/-статистик. Будем называть получаемые таким способом оценки функ ционалов к в а з и - ( / - с т а т и с т и к а м и. Можно ожидать, что квази-(/-статистики будут обладать хорошими свойствами. Во-первых, какая-то доля высоких качеств (/-статистик дол жна перейти на квази-(/-статистики. Во-вторых, практиче ское получение оценок функционалов квази-(/-статистиками не требует выполнения интегральных операций, что также является достоинством.
Прежде чем переходить к рассмотрению свойств квази-(/- статистик, укажем, что существует три типа таких оценок, которые различаются способом использования выборки. Пред положим, что оценивание плотности производится по выборке объема Ni, симметризация — по выборке объема <V2, а общий объем выборки iV^/Vi+/V2. Ясно, что качество оценки будет зависеть от того, перекрываются ли указанные подвыборки и каково соотношение их объемов. Для конкретности квази-U- статистики при NI—N2 = N будем называть оценками I типа,
при JVi-f-JV2=./V — оценками II типа и при NI-\-N2> N — оцен ками III типа.
По-видимому, нельзя сделать суждений о свойствах ква зи-(/-статистик безотносительно к виду функции F в (8.6.2). Поэтому мы проведем рассмотрение этих свойств для двух достаточно широких классов функций F и для некоторых кон кретных F, представляющих самостоятельный интерес.
|
8.6.1. КВАЗИ-и-СТАТИСТИКИ НА ОЦЕНКАХ |
|||
|
РОЗЕНБЛАТТА— ПАРЗЕНА— БХАТТАЧАРЬЯ |
|||
Предположим, что плотность g(x) оценивается по выбор |
||||
ке Х\, |
x Nl способом, описанным в § 7.6, а симметризация |
|||
проводится по выборке у\, ..., ут . Тогда оценка I типа имеет |
||||
вид |
|
|
|
|
|
-/дг — |
/ V |
|
(8.6.3) |
|
2 ^ |
|
||
|
N |
|
|
|
а оценки II и III типа получаются в виде: |
|
|||
Рассмотрим сначала класс функций F(t), разложимых в |
||||
ряд Тэйлора во всех точках ( е [ 0 , оо] (Серых |
и Тарасенко |
|||
[1]). Так |
как gN (х) |
является |
асимптотически |
несмещенной |
и состоятельной оценкой g(x) |
(см. § 7.6), ее можно предста |
|||
вить в виде |
|
|
|
202
v(л )= # (x+ A g(л:) = £ ( . * ; ) ( 8 . 6 . 5 )
1нная плотность, Ад, — смещение, а £д, — асимпто-
мальная случайная величина с нулевым средним; >|дг величины | JV и величина A/V стремятся к ну-
астании N, поэтому при больших N следует ожи- ;й сходимости ряда Тэйлора для F(g) по сгепе-
и g j v — g = A g -
Р Ш х)1= РШх)+^(х)1=
= /?№(*)] + 2 |
F™ [g(Jc)l(Ag). |
(8.6.6) |
~ o |
ml |
|
'0 кроме указанных свойств величины |
Ад, (х) и |
|
;ают свойствами |
|
|
§Ан(х)<1х=0, |
J ^ ( ^ ) ^ = 0 , |
(8.6.7) |
1яются простым следствием условий нормировки
Найдем смещение квази-(/-статистики. Подставив (8.6.6) (8.6.3), производя усреднение и переходя к пределу, имеем;
Иш {EJN—J)~ lira V |
i |
У |
|
|
|
sEZ%g(x)dx. (8.6.8) |
||
ак как при Л/->оо Ад,-И); |
£ g ^ +1 = |
0; k —0, 1, 2, ...; Е $ |
= |
|||||
= (2т)\ (DlN)2/i/2т-ml |
(см. |
Гнеденко |
[3]); и DlN -Я), |
то |
||||
редел правой |
части (8.6.8) |
равен |
нулю, откуда следует |
|
||||
Т е о р е м а |
8.6.1. Если F(t) |
разложима в ряд Тэйлора для |
||||||
сех *$5 0, квази-(/-статистика |
I типа |
является асимптотиче- |
||||||
ки несмещенной оценкой J. |
|
|
|
|
|
Рассмотрим теперь асимптотическое поведение дисперсии вази-(/-статистики (8.6.3). В силу сходимости последова-
ельностей |
Ад, и £д, |
к нулю при N~+<x> можно |
ограничиться |
|
четом первых двух членов ряда в (8.6.6); тогда |
|
|||
|
|
2 |
№ (•*.•)] |
|
|
|
N j=i |
|
|
+ |
2* |
[£(**)][а£(*/)12}= ~ 2 |
(8.6.9) |
|
|
|
JV j—i |
|
де для краткости введены очевидные обозначения. Произодя соответствующие вычисления по формуле
D J ^ E A - E * J n,
олучим:
DJN > JJ- {(EF2—E2 F)+(EA2+ E 2A)+(EB2~ E 2B)+
+2 [E(FA)~(EF)(EA)\ + 2 [E(FB)-(EF)(EB] +
+2 }E(AB)-(EA)(EB)]},
где знак ^ получается из-за неучтенных членов ряда Тэй лора, а также благодаря тому, что усреднение производилось без учета зависимости между величинами (х() и £;V (X J )> тогда как они коррелированы в силу (8.6.7)*. Каждая из пер
вых трех разностей в |
(8.6.10) |
положительна |
в силу неравен |
|||||
ства Йенсена J f2gdx^(jj fgdx)2, |
а так как |
при N->-оо все |
||||||
разности кроме первой стремятся к нулю, то доказана |
||||||||
Т е о р е м а |
8.6.2. Если F(t) |
разложима в ряд Тэйлора для |
||||||
всех |
0 и интеграл |
J F2(g)gdx существует, дисперсия ква |
||||||
зи- (/-статистики I типа убывает |
обратно |
пропорционально |
||||||
объему выборки: |
|
|
|
|
|
|
||
|
htn NDJn= ГF2 [g(x)] g(x) d x - J 2. |
(8.6 11) |
||||||
|
JV-> 0= |
J |
|
|
|
|
|
|
Из |
теорем |
8.6.1, |
8.6.2, аддитивной |
структуры |
оценки |
|||
(8.6 3) |
и центральной |
предельной |
теоремы легко следует |
|||||
Т е о р е м а |
8.6.3. Если F(t) |
разложима |
в ряд Тэйлора во |
|||||
всех точках (75=0, и интеграл |
f F2(g)gdx |
существует, |
квази- |
L'-статистика I типа распределена асимптотически нормально Очевидным, но важным следствием предыдущих теорем
является |
8 6.4 |
Если F(t) |
представима рядом Тэйлора |
Т е о р е м а |
|||
во всех точках |
0, |
и интеграл |
j F(g)gdx существует, ква |
зи-(/-статистика I типа сходится к / в среднеквадратическом смысле
Приведенные выше теоремы характеризуют лишь свойст ва квази-(/-статистик для определенного класса функциона лов; само же оценивание должно производиться по формуле (8 6 3) В некоторых случаях функция F может оказаться сложной и процедура оценивания станет фактически громозд кой Поэтому имеет смысл рассмотреть вопросы приближенно го вычисления квази-(/-статистик за счет аппроксимации сложной функции F. Поскольку при приближениях всегда приходится накладывать ограничения на класс аппроксими руемых функций, мы снова оказываемся перед возможностью рассмотрения различных классов приближенных квази-(/-ста-
* Четко показать, что коэффициент корреляции между Ё^(хг) и стремится к нулю при N-*-оо, что оправдывает дальнейшие
рассуждения