
книги из ГПНТБ / Мания, Г. М. Статистическое оценивание распределения вероятностей
.pdfполучим
l2= A h2,
С
откуда, полагая ВС > О,
|
~ \В\-Ы*\С\'1\ |
|
О |
|
4 = А | 5 р /2 1С|-6/2, |
|
о |
т. е. h0= J A |
f(Xt y)\fr(x, У)Г5'21 /Ж Л )Г } V * /« , |
/оВ={ т |
у )| /ж ^ i1/2iw x>^ i"5/2}1/vi;e- |
Искомый минимум главного члена (2.4.12) равен
№y )fr (* , y)fr(x, у)\чзп-*1*.
Исследуем теперь случай, когда h=l, оптимизируя функцию
Ф ) = А +(B+C)W.
п2
2 л
Если В + С ф О , то из уравнения <p'(ft)=---------- + 4 (B +C p/t* h3
получим
|
|
|
ft- |
л |
|
Т, |
0 Ф |
|
0 |
2 ( 5 + С)2 ’ |
|
|
|
Г Щх, у) IV. |
|||
|
|
|
Л _ |
||
и |
|
|
0 |
Ып*+Гу*?\ ’ |
|
|
|
|
|
|
|
|
|
|
<Р(*о)=» — |
\А(В+С)]21\ |
|
т. |
е. |
|
|
V 4 |
|
|
|
|
|
||
|
у |
~ |
[/(*, |
У )(/> (+ < /)+ /> (*, У ))]2'*«~ г^ |
|
Итак, нами доказана |
|
|
|||
|
Т е о р е м а |
2.9. |
Если плотность распределения f(x, у) в ок |
рестности точки (х, у) имеет непрерывные частные производ ные второго порядка, то
100
E |
1 |
fix, |
y) |
4 " lA*£‘ (*»0) + |
||||
У)-!(х, y)]2= |
4 |
- + |
||||||
|
tihl |
|
0 0 |
|
|
|
||
|
+ Pfr(x, У)?+о |
( ± |
-f (h*+lzf ) . |
|
|
|||
|
|
Vnhl |
|
|
|
|
|
|
При дополнительном условии |
|
у) /*а(х, |
у ) > 0 , |
оптимальные |
||||
h0 и 10 равны |
|
|
|
|
|
|
|
|
К = |
fix, у)\ГАх, у)\-^\ГАх, |
у) Г |
j |
V |
1'6, |
|||
|
y)\ll2\f>{x, |
У)Г5/2 |
j V |
1/» |
||||
и |
|
|
|
|
|
|
|
|
Е Шх, У)~fix, y)]2= i ^ L [ / 2(x, у)£*(х, у)/>(х, у)]1/3п-2/3+ о (п "2/3).
Яры дополнительном условии f'^ix, |
y)+fl*ix, у)+0 |
ы равных h |
||
и I оптимальное h0 равно |
|
|
|
|
h = |
f |
9^ ’ У">_____ 11/бп-1/б |
|
|
0 |
\2\ГАх, y)+f?ix,y)V) |
|
||
и |
|
|
|
|
Е Шх, У ) - fix, у )]2= |
-1- у Г -1 |
[/2(х, y)(fe(x, |
у)+ |
|
+ |
f? ix, у) )2]х'3 / г 2'3+ о (п-2/3). |
|
Сравнивая константы при и-2/3, заключаем, что если про изводные /'г (я, у) и /"г (х, у) не равны нулю и имеют одина ковые знаки, то лучше выбирать разные ft и I.
Для глобальней характеристики оценки fn(x, у) рассмотрим
JJ* Unix, у ) - fix, y)fdxdy.
|
R2 |
По теореме Фубини и соотношению (2.4.13) |
|
JJ |
Unix, у)-fix, y)fdxdy = J Е [/„(л:, у)-f(x, y)fdxdy= |
R2 |
$ |
|
[Е fn(x, у)—fix, У) ]2dxdy=Dn+ E n. |
101
Для Dn, согласно |
(2.4.10), |
имеем |
|
|
|||||||
|
|
|
|
|
|
|
1 |
1 |
|
|
|
Dn = 1 ~м |
|
(J |
( |
т |
|
,[ |
f f(x + hu' y+tyduda'j dxdy— |
||||
|
|
R2 |
|
—1-—41 |
|
|
|
||||
|
|
|
|
|
|
1 |
1 |
|
|
|
|
4 ,| J (44 |
J |
|
J |
f(x+hu, |
y+Iv)dudv) dxdy. |
||||||
|
|
|
|
j |
|||||||
|
R2 |
|
—1 —1 |
|
|
|
|
||||
По теореме Фубини |
и неравенству Гельдера |
|
|||||||||
|
|
|
|
1 |
|
1 |
|
|
|
|
|
■ ш |
J I |
(4 - |
|
|
|
f(x+ hu, у + |
lv) dudv I |
dxdy = |
|||
|
|
|
|
|
|
|
inhl |
||||
|
|
|
—1 —1 |
|
|
|
|
|
|||
|
|
|
|
|
1 |
|
1 |
|
|
|
|
— |
JJ |
|
|
J |
|
f(x-{-hu, |
y-{- lv) dudv'j |
dxdy |
|||
|
R2 |
|
|
——11——11 |
|
|
|
|
|||
|
< — |
[ | № , |
|
|
( - 1 ) - o ( T - |
||||||
|
|
4n |
|
|
|
|
|
|
|
|
|
Итак, |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
D„--= |
— L _ |
+ o |
1 1 |
|
||
|
|
|
|
|
|
|
|
Anhl |
|
nhl |
|
Оценим теперь En. По формуле Тейлора с остаточным чле |
|||||||||||
ном в интегральной форме имеем |
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
Т2 |
|
|
|
|
|
|
|
f(x-\-hu, у -\-lv)dudv—f(x, у) dxdy = |
||||
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
j* |
(1 —t)\h2u2Fx2(x+thu, y+tlv) + |
|||
|
|
|
|
|
|
|
0 |
|
|
|
|
+ 2 h!uvfxy(x-\-thu, y-\-tlv)-\-l2v%f"y2(x-\-thu, y+tlv)\ dtdudv
Если f"x2(x, у), ГхУ{х, у) и f"ys(x, у) ограничены и интегриру емы с квадратом, то, опуская подробное доказательство, в ходе
102
которого неоднократно применяются известные теоремы о пре дельном переходе под знаком интеграла, можно написать, что
£ п= |
~ (Ли /Р + 2 Л 12Л2/2+ Л 22/4)-И [(Л 2+ /2)2], |
|
|||
где |
|
|
|
|
|
|
Л„ = |
[fx*(x, |
y ) ] 4 x d y , |
|
|
|
Л12— JГх*(х, у)Гу*{х, у ) d x d y , |
(2.4.15) |
|||
|
|
||||
|
*2 2 - |
и [/>(*, |
y ) ] 2d x d y . |
|
|
Итак, |
|
|
|
|
|
J |
У ) ~ f i x , у ) } 2 d x d y = — — |
|
|||
Ш х ' |
|
|
4tihl |
|
|
R2 |
|
|
|
|
|
+ 1 - ( Л ^ + г Л ^ Р + Л . Л + о Г -^ - |
+ (/г2+ / 2)2]. |
(2.4.16) |
|||
Так же, как и при рассмотрении |
меры локальной |
состоя |
|||
тельности, разберем два случая: |
Ьф! и h= l. |
|
|||
Результаты оптимизации в обоих случаях вместе с |
соотно |
||||
шением (2.4.16) сформулируем в виде теоремы. |
|
||||
Т е о р е м а |
2.10. Если частные производные f(x, у) |
второго |
порядка непрерывны, ограничены и интегрируемы в квадрате, то
Е |
1 |
-Ь |
У ) - f i x , у ) ] 2 d x d y = |
||
|
4nhl |
+ |
± (ЛцЛ*+2ЛмА*/*-Ми/*)+о |
|
|
+(^2+ /2)2] , |
|||||
где Ац, |
t, / = |
1, |
2, |
|
определяются из соотношений (2.4.15). |
||||
Оптимальные h и I равны |
|
|
|
|
|||||
|
|
|
( |
|
А —5 / 4 4 |
1 / 4 |
|
V1 / |
|
|
|
|
9 |
Л 1 1 Л |
2 2 |
|
) V |
1 / 6 , |
|
|
|
|
|
|
|
||||
|
0 |
|
U |
|
Н - Л ^ Л й ^ Л й 1 / 2 |
|
|
|
|
|
Г |
- |
/ |
9 |
Л и Р М г / ' 4 |
' |
\ 1 « |
/ 6 |
|
|
|
|
|
п - 1 |
|||||
|
0 |
|
U |
|
И - Л ^ Л ^ Л г / / 2 , |
|
103
|
|
|
E |
|
\fn(x,y)-f(x,y)]2dxdy= |
|
|||
|
|
|
Rz |
|
|
|
|
|
|
= - 1 |
i / A |
(AJI* А2ач*+А1а)Ч* п-*1*+о(п-Ч>). |
|
||||||
4 |
( / |
2 |
|
|
|
|
|
|
|
Яры равных h и l оптимальное Л0 равно |
|
||||||||
|
K = |
|
9 |
(Ли + 2 Л 12+ Л 22) |
V i / « |
|
|||
|
|
Е j j |
[?„(*, У) - f ( xг у) ]2dxdy= |
|
|||||
|
|
|
Rг |
|
|
|
|
|
|
i |
/ - |
i |
(Лп + 2Л12+ Л 22)1/3 tt'2/3+ o (п~213). |
|
|||||
4 V |
4 |
|
|
|
|
|
|
|
|
Поскольку |
|
|
|
|
|
|
|
|
|
|
2 |
( Л ^ |
Л221/24-Л12) ^ ЛП+ 2 Л 12+ Л 22г |
|
|||||
то коэффициент |
при н~2/3 для |
одинаковых Л и / больше, |
чем |
||||||
при разных. |
Поэтому выбор разных Л и / |
лучше учитывает осо |
|||||||
бенности, которые |
возникают при оценке |
двумерной плотности |
|||||||
распределения. |
|
|
|
|
|
|
|
|
|
Очевидно, что |
(2.4.4) является частным случаем статистики |
||||||||
|
|
|
|
1 |
|
'x - X t y~ Y t' |
|
||
f(x,y) = |
nhl |
|
h |
’ |
(2.4.17) |
||||
|
/ |
|
|||||||
при |
|
|
|
K{x, y)=K 0(x) К0(у). |
|
|
|||
|
|
|
|
|
|
||||
Для общего класса ядер К(х, у) |
оценки типа (2.4.17) |
для |
|||||||
многомерных плотностей изучены |
Э'. А. Н а д а р а я [46, 50], |
К а- |
|||||||
к о у л о с о м |
[72], В. |
А. |
Е п а н е ч н и к о в ы м . [7] и др. |
|
10 4
Г Л А В А III
НЕПАРАМЕТРИЧЕСКАЯ ОЦЕНКА ПЛОТНОСТИ
РАСПРЕДЕЛЕНИЯ |
В СЛУЧАЕ ДВУХ НЕИЗВЕСТНЫХ |
|
|
МЕР |
|
При решении |
непараметрических задач |
статистической |
классификации, т. е. |
при проверке статистических гипотез, ког |
|
да информация о неизвестных альтернативных |
распределениях |
содержится в независимых выборках из этих распределений,
приходится оценивать |
плотность одной |
неизвестной |
меры отно |
||||||||
сительно |
другой |
неизвестной меры. |
Точнее, |
по |
|
результатам |
|||||
Х х,..., Хп и Уг, . |
Yт независимых в совокупности наблюдений |
||||||||||
над 6-мерными |
случайными |
величинами X и Y с |
неизвестными |
||||||||
распределениями |
Р и |
Q в 6-мерном |
евклидовом |
пространстве |
|||||||
|
|
|
|
|
|
dp |
(2) |
меры |
Р относи- |
||
Rh необходимо оценить плотность f (2) = — |
|||||||||||
|
|
|
|
|
|
dQ |
|
|
|
|
|
тельно меры Q. Подобные оценки встречаются в работах Ф и к с а |
|||||||||||
и Х о д ж е с а [80], |
Л. |
Д. М е ш а л к и н а [45], |
К ь ю с е н б е р - |
||||||||
ри и Г е с с и а н а |
[92]. |
|
|
|
|
|
|
|
|||
Настоящее изложение следует в основном |
работам |
К. В. |
|||||||||
М а н д ж г а л а д з е |
и Р. Я. |
Ч и т а ш в и л и |
[19—22]. |
|
|||||||
При |
построении оценок функции |
/ ( 2) |
используется |
метод |
так называемых „статистически эквивалентных бл ок ов оценки выбираются в классе простых функций на случайных разбие ниях. В § 1 доказывается состоятельность оценок, а § 2 посвя щен исследованию их асимптотического распределения.
§ 1. СОСТОЯТЕЛЬНЫЕ ОЦЕНКИ плотности
Пусть Р, Q—одномерные вероятностные меры, |
|
|
У1, . ..Ym—упорядоченные по возрастанию |
результаты |
наблюде |
ний над случайными величинами X и F, |
распределенными по |
1GS
законам Р и Q соответственно. Пусть i f = /.,•—заданная после довательность натуральных чисел такая, что
i= l
(число членов нтследовательности г= г (га)^С га).
Образуем множества S,-, полагая
|
|
|
S1= |
{ г : — оо < |
z |
|
YLl}, |
|
|
||
|
|
|
S2 = {.z ;F. < - z < F . |
. ), |
|
|
|||||
|
|
f5,= ,{z :Yii+ ... + /r _ i< ^ |
< oo). |
|
|
||||||
|
В качестве |
оценки |
для |
непрерывной функции плотности |
|||||||
/(z) |
в [19] предложено выражение вида |
|
|
|
|||||||
|
|
|
7„m(z) |
= |
--(^ |
, |
26.S,, |
|
(3.1.1) |
||
|
|
|
|
|
ч |
|
|
|
|
|
|
тде |
l(Sl)='ln(S,) —количество |
Х-ов |
из |
выборки |
X !,..., Х „, по |
||||||
павших в интервал S,-. |
|
|
|
|
|
|
|
|
|||
|
Исследуем .сначала состоятельность оценки (3.2.1) в смыс |
||||||||||
ле |
метрики |
|
|
|
|
|
|
|
|
|
|
|
|
|
:E ^{sup| |
fnm( z ) - f m , |
|
(3.1.2) |
|||||
|
|
|
I г 1<Л |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
п |
т |
|
где ££$ 'означает усреднение |
по |
мере |
Р-ПРХП Q, являю- |
||||||||
|
|
|
|
|
|
|
|
|
1 |
1 |
|
щейся прямым произведением мер Р и Q, в пространстве р п+т. |
|||||||||||
|
Т е о р е м а |
3.1. Если Q |
имеет |
непрерывную |
положитель- |
||||||
мую плотность то лебеговой мере, то при выборе 1{ |
так, чтобы |
||||||||||
|
|
Ч, |
л |
:т |
л |
при |
п,т-+<х> |
||||
|
шах — |
0, шах — |
О |
||||||||
|
i |
га |
|
т |
/| |
|
|
|
|
|
|
106
v.
max lt
i
0 < C i< . _ . < с 2,*>
тmin lt
оценка |
(3.1.1) |
равномерно |
состоятельна |
в смысле |
критерия |
(3.1.2). |
|
|
|
|
|
Д о к а з а т е л ь с т в о |
проведем в два этапа. Сначала най |
||||
дем условия, при которых статистика (3.. |
1. 1) сходится к слу |
||||
чайной |
величине |
P(St) а затем изучим |
сходимость |
P(St) |
|
|
|
Q (Si) |
" |
|
Q(St) |
плотности f(z). Мы будем пользоваться тем, что случайные ве
личины Q(S;) |
(по |
построению |
S{) |
имеют бета-распределение с |
|||||
параметрами |
m—lL—\ (см. § 3). |
|
|
|
|||||
|
На первом этапе доказательства требуются следующие не |
||||||||
равенства: |
|
|
|
|
|
|
|
||
FPQ |
sup |
I (S') |
|
|
max |
l (S') |
nP(St) l2 |
||
*~пт |
|
|
|
|
|
h \ |
|||
|
z\<A |
|
|
|
|
i |
|
||
|
^ V |
ppo \l (Si) |
nP(S') |
|2_ c0 'V P ( 5 f) ( l- P ( S ())n^ |
|||||
|
|
e ™ \— , |
— | - e " ^ j |
Ц |
* |
||||
|
|
|
< |
m ax— |
Eg V |
P(St)-=max |
” |
(3.1.3) |
|
|
|
|
|
i li |
i |
|
i |
h |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
m |
|
|
где |
Eg |
означает |
усреднение |
по |
мере | | |
Q в |
пространст- |
||
ве |
Rm. |
|
|
|
|
|
3 |
|
|
|
|
|
|
|
|
|
|
||
|
Первое |
неравенство |
следует |
из того, что по |
построению |
||||
оценка (3.1.1) постоянна на областях St. |
|
|
|||||||
|
Второе неравенство вытекает |
из следующего |
простого ут |
||||||
верждения: для любых.случайных |
величин §(- |
|
Е тах а < \ } ' Е ;? .
*) |
с(-), ci |
i > 0, />!1—положительные константы, зави |
сящие от переменных, заключенных в скобки.
107
В самом деле |
|
2 ' |
|
Е т а х Й = У ] |
Щ1 {£| = тах£?} |
||
1 ] ееI» |
|||
i |
i |
|
где 1В—индикатор события В.
Используя тот 4 акт, что наблюдения над случайными вели чинами X и Y независимы, т. е. l(St) зависят от У1; Y2,..., Ym только посредством областей 5 г, получим, что
P(St)( l - P ( S t)) |
|
.рР I |
l(St) |
- P(St) |
(Y* |
|
Ym) |
, |
||||||
|
|
|
|
' |
| |
|
|
|
||||||
где Eg означает усреднение |
по |
мере II Р в пространстве Rn. |
||||||||||||
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
Как следствие того, что непрерывная плотность f(z) огра |
||||||||||||||
ничена сверху |
при \г\<А постоянной |
# < о о , |
а случайные - |
|||||||||||
величины Q(S,) |
имеют |
бета-распределение со |
средним |
^ |
||||||||||
|
/г( т - / , . + 1) |
|
|
|
|
|
|
|
|
т - И |
||||
и дисперсией |
|
имеем следующую |
оценку: |
|
||||||||||
(.т+ 1)2( т + 2 )' |
|
|||||||||||||
|
Р (Si) т |
P(St) |
|
|
|
|||||||||
|
|
Eg, ! |
sup |
|
|
|
|
|
||||||
|
|
|
|
I z\<A |
|
h |
|
Q (St) |
|
|
|
|||
|
=Е & ( |
|
sup |
(IP (S,)\* Q (S f)m |
|
|
|
|
||||||
|
|
li2i</i\Q (St) |
|
l, |
|
|
|
|
||||||
|
= E& |
|
max |
P(St) y |
Q (S{) m |
|
|
|
||||||
|
|
|
|
i |
|
\Q (St) |
|
h |
|
|
|
|
||
2 j Eg |
Q (S,) m |
1 |
1 |
Я 2 |
|
m‘ |
|
|
||||||
|
|
|
|
< |
> , ---------- |
--------------< |
||||||||
|
|
|
|
|
|
|
|
|
> Y . |
|
|
|
|
|
i |
|
|
|
h |
|
|
|
|
|
^ |
lt(m-f l ) |
(m + 2) |
|
|
< Я 2 _ m |
|
m ax------------------------- Я 2 max |
m |
|
(3.1.4). |
|||||||||
m i n /£ |
; |
|
/г( т + 1 ) ( т + 2 ) |
|
; |
/? |
|
|
||||||
i |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Для доказательства сходимости |
|
|
|
|
|
|
|
|||||||
|
|
EQ |
sup |
p (St) |
-f(*) |
|
|
|
|
|||||
|
|
•-ЧЛ |
г\<A |
Q(St) |
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|||||
заметим, что |
из условий |
теоремы |
вытекает, |
равномерная по> |
||||||||||
z (] z | < Л < оо) |
сходимость |
|
|
|
|
|
|
|
|
|
108
P (S ) |
f (2) при |
Q(S)->0. |
(3.1.5) |
|
Q(S)
Следующее равенство очевидно:
E& ( sup \ ^ A - f ( z ) z\<A\Q (S;)
= E& { max |
sup |
рЛ ‘! - М |
|
|
|
|||
|
i \z$st |
« № ) |
|
|
|
|
||
|
|
\z\<A |
|
|
|
|
|
|
Разобьем теперь область интегрирования на события |
|
|
||||||
Вг={(Уг, |
у 2....... |
Ут) : Q(S;)< 5 }, i = |
l ~ |
(3.1.6) |
||||
Используя (3.1.5), подберем 5 > 0 |
так, чтобы |
P(S) |
-/(*) |
<3 S |
||||
Q S) |
||||||||
|
|
|
|
|
|
|
||
при Q (S )< § равномерно по г, |г|<Л. Тогда на множестве |
(]Bt |
|||||||
|
|
|
|
|
|
|
i |
|
подынтегральное выражение будет меньше е2. |
На дополнитель |
|||||||
ном множестве |
|
|
|
|
|
|
|
|
шах sup |
P(S,) |
|
< 4 Я 2, |
|
|
|||
i |
z^ Si |
Q (S,) |
|
|
|
|
|
|
E £ / = P { B < } = P { Q № ) > § ) < |
М У Н ) |
|
|
|||||
53(m -j-l)(m -f 2) |
|
|||||||
|
|
|
|
|
||||
(по неравенству Чебышева). |
|
|
|
|
|
|
||
Окончательно имеем оценку |
|
|
|
|
|
|
||
Е£ |
| шах |
sup |
|
|
С |
|
|
*a^SjlQlS,)
< е 3 Е « / ПВг 4 -4 Я 3'5 ] Е «
< е 2+ 4 Я 2 |
( ^ + 1) |
|
52 (m + l)(m + 2 ) |
|
|
|
|
|
^ е 2-|-4Я2 шах |
(lt+ 1) /и |
|
i |
(m -Ь 1 )(/п + 2) 52 |
|
Iе2+ 4 Я 2с3 шах |
(3.1.7) |
109