
книги из ГПНТБ / Мания, Г. М. Статистическое оценивание распределения вероятностей
.pdfДействительно,
Тп(х) - Е Т„(х) |
|
Тп(х) - |
f{x) |
а |
д - |
е а |
д |
|||
<*Jx) |
|
|
|
а У f(x) |
< |
®п(*) |
|
|||
|
|
|
|
|
||||||
|
Тп(х)~ fix) |
|
< |
fix) - |
е а д |
+ |
|
|
||
|
а У fix) |
|
|
<*п(х) |
|
|
||||
|
|
|
|
|
|
|
||||
+ |
\Тп(х)Ч(х)\ |
У |
fix) - ап(х) |
|
(2.3.14) |
|||||
|
aV f(x) |
|
||||||||
|
|
|
|
|
|
|
|
|
||
В силу теоремы 2.1 о равномерной сходимости |
fn(x) |
к f(x) |
||||||||
легко видеть, что \Tn(x)—f(x)\ |
ограничено с вероятностью еди |
|||||||||
ница равномерно относительно х и п. Далее, |
принимая во вни |
|||||||||
мание (2.3.10) |
и (2.3.11), из (2.3.14) |
получим, |
что с вероятно- |
|||||||
стью единица |
. |
, ^ |
|
|
Ь— а |
„ |
|
|
|
|
|У]п |^ |
с22-------- . С другой стороны, для доста |
|||||||||
точно больших п согласно условию |
nh logs |
•0 |
при |
п -V СО |
||||||
разность |
|
|
|
|
|
|
|
|
|
|
е |
|
Ь—а |
|
|
|
1— с2а Ф -а ) lsVnh |
|
1аУ nh |
s |
1вУ nh |
S S
положительна. Следовательно, |
|
|
|
е |
| - » 0 |
при ц—>оо. |
(2.3.15) |
р |1 Vn 1> , y-fr |
|||
Утверждение теоремы следует из (2.3.15), поскольку |
|||
Р \ K n ^ ls+1,Xs |
> Р |
Кп’ < -^ + |
(X — &)/1„ |
V hh |
|
Vnh |
Р I Ч » 1 > hVnh
+Р 1’» - 1 > Т ! 7 Я
\у nh J '
Теорема доказана.
j.: I
20
Условиям (2.3Л2) можно удовлетворить, например, если по-
д
дожить |
s= B n “ , |
h= — , |
где А, В > 0 ,2 а + р > 1 |
и 0 < а < | 3 < ;1 . |
С помощью |
(2.3.13) |
можно построить класс |
доверительных |
|
областей |
Ga(k) с |
заданным коэффициентом доверия а ( 0 < ! а < 1 ) |
для оценки неизвестной плотности распределения f(x) по данным
выборки |
|
(К (х) — функция, |
удовлетворяющая |
приведенным |
||||
выше условиям). |
|
|
—2е-Ь |
|
|
|||
Пусть |
Х = Ха — решение |
= |
а. Положим |
|||||
уравнения е |
||||||||
га = (Л |
+ |
— 1 |
} |
■• Тогда |
неравенство |
|
|
|
\ |
|
/. 1 |
V nh |
|
|
|
||
|
max |
Тп(х)-П х) |
K\u)du |
|
1/2 |
|||
|
|
а |
||||||
|
v m |
|
||||||
х£[а, Ь\ |
|
|
|
|||||
■означает, |
что область |
Ga(x), ограниченная кривыми |
||||||
|
|
<ЛМ-7\,М + _ |
|/ тп(х) ' |
|
(2.3.16) |
|||
|
|
а д = В Д + |
+ • „ j / Т Л х ) + 4 • |
■с вероятностью сколь угодно близкой |
к а покрывает на сегмен |
||
те [а, Ь] неизвестную |
плотность f(x). |
|
|
З а м е ч а й ие 1. |
Если /С(х) = 0 при |х|^х0, 0 < х 0<Ссо, то |
||
■теорема 2.4 упрощается в том смысле, |
что условие en log s |
О |
отпадает и остальные условия в (2 .3 .12) заменяются менее огра
ничивающими, |
а именно |
требованием, |
чтобы с |
ростом п удов |
||||
летворялись соотношения |
|
|
|
|
|
|||
|
s <l08 s>S ^ n |
|
|
|
(2.3.17) |
|||
|
|
п |
|
|
S3 |
|
|
|
Условия (2.3.17) |
выполняются, например, |
если |
положить |
|||||
-s= 4 g , где Л > 0, |
1/ 3< Р < |
1. |
|
|
|
|||
З а м е ч а н и е |
2. |
Пусть |
/(х) удовлетворяет условию Липши |
|||||
ца порядка у |
на всей оси. Нетрудно |
показать, |
что |
Е Тп(х)— |
||||
— f(x) = 0(hv) |
и с г „ (х )- |
f(x) |
K 2(u)du |
|
х 6 |
Д/, t = l , s . |
||
|
|
|
|
— оо |
|
|
|
91
Тогда в (2.3.12) последнее условие заменяется условием
nh log s |
-О, |
Л-v СО. |
|
S2Y |
|||
* |
|
||
„ |
nh log S |
||
Исследуем теперь вопрос |
об улучшении условия ------------ |
||
|
|
S2 |
—>-0 при п->оо. В случае, когда за аппроксимирующую функцию для f(x) примем Тп(х), улучшить это условие невозможно, даже, если f(x) имеет порядок гладкости больше, чем требуется в тео реме 2.4. С этой целью определим непрерывную функцию fn(x)
I |
^0 |
и К |
, аналогичную по конструкции |
на сегменте а + |
2 |
b— -1 |
|
полигону частот, |
2 |
|
|
следующим равенством: |
К
|
|
1. s — 1. |
где ^ —середина интервала |
Ah. |
|
Так |
h |
h |
как tb — ab—— и |
^+1= 0*+ -^ - |
|
(2.3.18) |
получим |
|
(2.3.18)
К = 1, s— 1, то из.
|
т = |
/ « ( “ л - y ) + / n |
( а* + |
т |
||||
|
|
|
|
|
|
|
|
|
+ |
л:— |
|
- 7 n K - f |
» |
^А |
^ ^А+1‘ |
||
fn[ah + ~~ |
||||||||
|
КО L |
|
|
|
|
|
|
|
Аналогично введем функцию |
qn(x): |
|
|
|
|
|||
|
<7„М |
Ф f «ft — y - j |
+ |
Фп ( аА + |
— |
|
||
|
|
|
|
|
|
|
|
|
|
Х - О ь |
|
|
|
|
К “ |
|
|
|
+ |
Фп ( ak + |
y |
) ~ |
Фп |
|
|
|
|
hn |
|
|
|||||
где |
|
|
|
|
|
|
|
|
|
ф„о/ ) = |
( - J - ( Ч 2 |
|
|
/ ( « ) d « xl/2: |
|
92
Предположим, что f(x) имеет ограниченную вторую производную
|
со |
|
|
|
на всей оси |
и ^u?K{u)du <.<*>. Ввиду того, что |
К(х)=К(—х), |
||
|
----- со |
|
|
|
можно убедиться |
в справедливости |
соотношений |
|
|
|
^Tn(x)-f{x) = 0(hl), xe\tk, tk+1], |
(2.3.19) |
||
f(x) \K2(u)du |
1/2 |
x £ [tk, tk+г]. |
(2.3.20) |
|
- qn{x)=0{h%), |
||||
Рассмотрим |
величину |
|
|
Mгг — |
max |
fn(x) - Е |
fn(x) |
Чп(х) |
|
||
|
|
|
|
Нетрудно показать, |
что функция |
fn(x)~E fjx ) |
|
|
|
|
яп(х) |
своего максимального |
значения на одном из концов |
||
[/ft, /ft+1], |
k = 1 , s— 1 . |
Следовательно, |
достигает
сегмента
|
|
Мп— max |
|
^ fп(Ю |
|
|
|
|
|
|
1<&<S |
Фя(^й) |
|
|
|
|
|
|
Из теоремы |
2.2 следует |
|
|
|
|
|
|
|
Т е о р е м а |
2.5. Если en logs-^-0, |
—°^ Sl |
■->-0 |
при п->-со, |
|||
то |
|
|
|
|
nh |
|
|
|
|
|
|
|
|
|
|
|
|
Р |
max |
Ш |
- е Ш |
^ / , + ty /.) |
|
~ 2е~к |
||
< |
■* r-=! |
Н - » е |
|
|||||
|
^0 |
, ^0 |
|
|
V nh |
|
|
|
|
Д+—, |
о— — |
|
|
|
|
|
|
|
2 |
2 |
|
|
|
|
|
(2.3.21) |
|
|
|
|
|
|
|
|
Далее, согласно (2.3.10), (2.3.20), (2.3.21), методом доказатель ства теоремы 2.4 легко устанавливается следующая
Т е о р е м а 2.6. Пусть плотность распределения f(x) имеет ограниченную производную второго порядка и удовлетворяет
93
ео
условию (Л). Если, кроме того, 1 u2K(u)du < со и при возра
стании п выполняются соотношения
е.„ l o g s - О, |
< |
! £ |
лз |
|
- О, |
i |
^ |
S i |
- |
|
0 |
, |
|
|
(2.3.22), |
||||
* £ |
|
|
|
||||||||||||||||
mo |
|
|
|
|
nh |
|
|
|
|
s4 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Нш P |
|
max |
ш |
|
- т |
|
. к + |
УК |
о |
\ |
= |
- |
2e~% |
||||||
|
|
v m |
|
|
. — |
|
|
|
|
£ |
|
|
|
||||||
n— со |
[ л £ [a, b\ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
a = |
|
|
K\u) du |
|
|
|
|
|
|
|
|
|
||||
Условия (2.3.22) |
выполняются, |
например, |
|
если |
положим: |
||||||||||||||
s— Ana, h=An~$, где |
Л > 0 , |
5 > 0 , 4 а + р > 1 |
|
и 0 < а < < (3 < < 1 . |
|||||||||||||||
Доверительные области для f(x) и в этом случае определя |
|||||||||||||||||||
ются теми |
же |
кривыми |
Ux(x) и U2(x) |
(2.3.16), |
|
но только Тп(х)' |
|||||||||||||
заменена на fn(x). |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
Пусть К(х) определена так, |
как |
в |
замечании |
|
2 |
к |
теореме |
||||||||||||
2.2. Тогда |
h0 = 2h и fn(x) |
тождественно |
совпадает |
с |
полигоном■ |
||||||||||||||
частот <ps*(x) (см. [58]). Из теоремы 2.6, как |
|
следствие, |
полу |
||||||||||||||||
чаем обобщение теоремы 3 Н. В. Смирнова [58]. |
|
|
|
|
|||||||||||||||
Т е о р е м а |
2.7. Пусть f(x) |
удовлетворяет |
|
условиям теоре |
|||||||||||||||
мы 2.6 и |
К{х) = — . при ' х\ 5^ |
1, K(x)ss 0 при |
1л: |> -1 . Еслш |
||||||||||||||||
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
при возрастании п |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
s( l ogs )3 |
0 |
|
п logs |
|
|
|
|
|
|
|
|
|
|||||
то |
|
|
п |
|
|
’ |
|
|
S3 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
I |
|
|
lim |
Р |
max |
4>!(x)— f(x) |
^ |
/3+ X//. |
|
|
= |
—2е~х |
||||||||||
|
|
в |
|
|
|
||||||||||||||
п—°о |
|
*6 [а, Щ v m |
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
„ |
теореме условие |
lim |
s3(log s)3 |
|
|
|
из |
[58] |
заменя |
||||||||||
В этой |
. |
L. |
< ; со |
|
|
||||||||||||||
|
|
|
|
|
|
П —+0О |
tX |
|
|
|
|
|
|
|
|
|
|
ется менее ограничивающим
94
|
|
|
|
lim |
s (log s f _ n |
|
|
|
|
|
f t —* СО |
n |
|
|
|
|
|
|
b |
|
что же |
касается |
условия |
j* f(x)dx=l—а < 1, |
которое исполь- |
||
|
|
|
|
а |
|
|
зуется |
в [58], |
оно здесь отсутствует. |
|
|||
Некоторые |
примеры |
ядра К(х) приводятся в следующей |
||||
таблице: |
|
|
|
|
|
|
|
|
К(х) |
|
J |
K2(x)dx |
|
|
|
|
|
|
- СО |
|
|
1/2. |
|
|х|<1 |
1 |
|
|
|
0. |
|
1*1 >1 |
2 |
|
|
|
1 -1 *1 . |
|
1х| <1 |
2. |
|
|
|
о . |
|
|х|>1 |
|
|
|
|
8х2+ 8|х|3, |
\х\ |
|
|
||
|
- М ) 3. |
|
1 |
0,96. |
||
|
|
2 < |
||||
|
|
|
|
|
|
|
|
0 |
|
|
1 |
_ 1_ |
|
|
1 |
|
Г |
*S1 |
||
|
у 2-я |
ехр |
(— } |
У2к |
||
|
1 |
|
|
|
1 |
|
|
y e x p j - ■1*1} |
~2 |
|
|||
|
1 |
1 |
|
|
1 |
|
|
я |
1+Х'2 |
|
я |
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
Зя |
|
0 ,5 4 + 0,46 cos тех, |
|х|<1 |
3 |
|
|||
|
о |
|
. |
и >1 |
1 |
|
т
Наконец, заметим, что приведенным методом можно найти
.доверительные области для многомерной плотности вероятности
испектральной плотности стационарного процесса*).
§4. НЕПАРАМЕТРИЧЕСКАЯ ОЦЕНКА ПЛОТНОСТИ ДВУМЕРНОГО РАСПРЕДЕЛЕНИЯ
В этом параграфе рассматривается двумерный аналог одной простой оценки одномерной плотности, изученной Р о з е н -
б л а т т о м [96].
Если g(x)—некоторая функция, то обозначим
Ад g(x)=g(x+h)-g{x~h).
В качестве оценки плотности /(х) случайной величины X по выборке из X в [96] принята статистика
7 п ( х ) = - 0р - , |
|
(2.4.1) |
|||
|
|
2п |
|
|
|
где S„(x)—эмпирическая функция распределения |
выборки. Оче |
||||
видно, что (2.4.1) соответствует |
выбору |
ядра |
|
||
|
|
1 |
|
1. |
|
* „ (* )= |
2 ’ |
' |
|
||
|
|
||||
|
I |
0 , |
| х | > |
1. |
|
Критерием локальной и глобальной |
точности |
оценки fn(x) |
|||
Розенблатт выбрал |
|
|
|
|
|
и соответственно |
Е [?»(*)- /(*) ]2 |
|
|||
|
|
|
|
|
|
Е |
[fa(x)-f(x)\*dx. |
|
|||
Имеет место |
|
|
|
|
|
Т е о р е м а 2.8. Если f(x) |
имеет непрерывную |
вторую про |
|||
изводную в окрестности х, то |
|
|
|
||
Е |
|
[ f ' W + 0 |
( 1 - + |
(2.4.2) |
*) Внедавно вышедшей работе Э. А. Надарая (Сообщ. АН ГССР, 71,1 (1973), 57—60) описанный метод применяется при построении доверительной области для функции регрессии.—Прим. ред.
96
При /"(х )ф О оптимальное h равно
к = |
Г У у* |
2 |
\Пх)]* |
и при h=h0
Е [ Ш |
- / ( * ) ] 2= - ^ - 2-4/59~4/3 /(л;)4/5|Г(х)|2/5 п -4/5 |
£сл« же /(х) имеет непрерывную и ограниченную на всей прямой производную второго порядка, интегрируемую с квадра том, то
Е J (Гп( х ) Ч ( х ) } Ч х = 2^Г + — J № ) ] 2^ + о
Оптимальное h равно
9
К =
/ 1 П *)]8йх
1 /5
Д - 1 /5
и при h=h0
Е[/„ (* )-/(* )]2d*=
= _ 2-4/® 9-1/5 |
j № ) ] 2<к 1/5д- 4/5+ 0 (л-*/5). |
4 |
|
Пусть теперь Z=(X, К)—случайный вектор с плотностью f(x, у).
В качестве ее оценки по выборке |
|
|
||
2 г = (Х „ |
Yt), i= lT n , |
(2.4.3) |
||
рассмотрим статистику [32] |
|
|
|
|
Тп(х, y) = ^ l M ^ l J l , |
(2.4.4) |
|||
|
ml |
|
|
|
где S„(x, у)— эмпирическая |
функция |
распределения |
выборки |
|
(2.4.3), равная относительной частоте |
тех значений Zt, |
для |
ко |
|
торых Х ,< х и Y,<Cy, a h= h{n) и 1 — 1(п)—положительные |
чи |
|||
сла, стремящиеся к нулю при п-*-оо, |
причем |
|
|
|
|
nhl-+ оо. |
|
(2.4.5) |
7. Г. М. Мания |
S7 |
Пусть |
|
|
|
|
X |
|
У |
|
|
|
|
|
|
|
|
|
|
||
F(x, у) = Р{Х<х, |
Y<y) |
|
|
|
f (и, v) du dv. |
|
|||
|
|
|
|
|
-00 |
---- 00 |
|
|
|
Поскольку nSv(x, |
у) |
имеет |
биномиальное распределение с |
||||||
параметрами п и F(x, у), то |
|
|
|
|
|
|
|||
|
Е S„{x, y) = F(x, |
у) |
|
|
(2.4.6) |
||||
D Sjx, |
|
1 |
F(x, y)[l-F(x, у)}, |
|
(2.4.7) |
||||
у) = — |
|
||||||||
|
|
п |
|
|
|
|
|
|
|
Нетрудно подсчитать также, что |
|
|
|
|
|
|
|||
|
|
|
1 |
F (min (х, х'), min (у, if))— |
|||||
Е Sjx, у) Sn(x\ y')*=— |
|||||||||
|
|
|
п |
|
|
|
|
|
|
- |
OlZ.1 F(x, у) F(x', |
у’), |
|
|
|||||
откуда |
|
|
|
|
|
|
|
|
|
соv(Sn(x,y), |
Sn(x' |
у')) = |
|
|
|||||
= — [F(min (х, х'), |
min (у, y'))—F(xt |
у) |
F(x', |
у% |
(2.4.8) |
||||
п |
|
|
|
|
|
|
|
|
|
Из (2.4.6), (2.4.7), |
(2.4.8) |
получим |
|
|
|
|
|
||
Е /„(*, |
|
1 |
М / Л * , |
У), |
|
(2.4.9) |
|||
y) = -ju - |
|
||||||||
1 |
|
|
ш |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
(2.4.10) |
|
D /„(*, у)= 16 nhH2 1 |
у) - |
|
|
|
у)]2 |
||||
|
|
|
|
||||||
Предположим, что f(x, у) имеет непрерывные |
производные вто |
||||||||
рого порядка в окрестности (х, у). |
|
|
|
|
|
||||
Поскольку |
|
|
x+h |
у+1 |
|
|
|
|
|
|
|
|
|
|
|
|
|||
А /А Л *. |
У)= |
j* |
[ |
/ К |
v) dudv= |
|
|||
|
|
|
х—h у—l |
|
|
|
|
|
|
|
1 |
1 |
|
|
|
|
|
|
|
— М j |
J |
f(x+hu, |
y + lv)dudv, |
|
|||||
|
—1 - 1 |
|
|
|
|
|
|
|
то, разлагая /(и, и) в ряд Тейлора в окрестности (х, у), получим
98
|
AiAhF(x, y) = 4hlf(x, y) + |
|
|||||||
|
+ ~3 hl lh*fe(x, |
y) + Pf>(x, |
y)]+o[h*l+Ph). |
|
|||||
Отсюда, согласно (2.4.9) |
и (2.4.10), |
будем иметь |
|
||||||
|
|
E /nC*> |
y) = f(x, |
у) |
+ |
|
|||
+ |
yg- ih2f>(x, |
y)+Pfy(x, |
y)] + o(h2+B), |
(2.4.11) |
|||||
Поскольку |
|
- |
i |
A |
+ |
° { |
i i ) - |
<2-4-12» |
|
|
|
|
|
|
|
|
|
||
E [fn(x, |
y)—f(x, y)]2= D f n(x, |
y)+[YL fn(x, |
y)—f(x, y)}2, |
(2.4.13) |
|||||
из (2.4.11) и (2.4.12) имеем |
|
|
|
|
|
|
|||
E lfn(x, |
y)- f(x, y)\2= _ |
^ |
+ |
_ L |
[h2fXx,y)+l2fXx,y)\2 + |
||||
|
+ |
о i y ~ |
+ (Л2+ / 2)2| |
_ |
(2.4.14) |
Соотношения^ (2.4.11), (2.4.12) и (2.4.14) характеризуют свойства оценки fn(x, у). Она оказывается асимптотически не смещенной с порядком смещения 0(Л2 + /2) и состоятельной, при чем из (2.4.12) следует
р {!/»(* - y)~f(x, |
г/) |> s) |
= О ( у = |
+ |
(Л2+ /2)j . |
|
Для поиска оптимальных Л0, 10 в (2.4.18) |
минимизируем по |
||||
Л и / функцию |
|
|
|
|
|
ф(Л, |
l ) = ~ |
+(Bh2+Ct2)2, |
|
||
где |
|
|
|
|
>(x’ У) |
А = f { x ’ у ) |
в = |
У) |
г - |
f |
|
4п ’ |
|
6 |
|
|
6----- ' |
Приравнивая нулю частные производные <р(Л, /),
Фл(Л, t)= - A - + 4Bh(Bh2-\-Cl2)=Q,
l)= -A ~ + 4 C l(B h 2+ С/2) = 0,
99