Добавил:
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:

Чернова Н.И. Лекции по математической статистике

.pdf
Скачиваний:
70
Добавлен:
02.05.2014
Размер:
1.29 Mб
Скачать

Оглавление

JJ II

J I

На стр. ... из 179

Назад

Во весь экран

Уйти

Стр. 71

Упражнение. Проверить, что в качестве этой «выдающейся» из неравенства Рао — Крамера оценки можно брать, скажем, смещенную оценку X(n) или несмещенную оцен-

ку

n + 1

X(n) K0.

n

4.4.Неравенство Рао — Крамера и эффективность оценок

Сформулируем очевидное следствие из неравенства Рао — Крамера.

Следствие 1. Если семейство распределений Fθ удовлетворяет условиям регулярности (R) и (RR), и оценка θ Kb(θ) такова, что в неравенстве Рао — Крамера достигается равенство:

Eθ (θ − θ)2 =

(1 + b0(θ))2

+ b2(θ)

или Dθ θ =

(1 + b0(θ))2

,

nI(θ)

nI(θ)

 

 

 

 

то оценка θ эффективна в классе Kb(θ).

Оценку, для которой в неравенстве Рао — Крамера достигается равенство, иногда называют R-эффективной оценкой. Следствие 1 можно сформулировать так: если оценка R-эффективна, то она эффективна в соответствующем классе.

Пример 18. Для выборки X1, . . . , Xn из распределения Бернулли Bp несмещенная оценка p = X эффективна, так как для нее достигается равенство в неравенстве Рао — Крамера (см. [3], пример 13.20, с. 67).

Оглавление

JJ II

J I

На стр. ... из 179

Назад

Во весь экран

Уйти

Стр. 72

Пример 19. Пусть X1, . . . , Xn — выборка объема n из нормального распределе-

ния Na,σ2 , где a IR, σ > 0. Проверим, является ли оценка a = X K0 эффективной (см. также [3], пример 13.6, с. 64).

Найдем информацию Фишера относительно параметра a (считая, что имеется один неизвестный параметр — a).

f(a,σ2)(X1) = √2πσ2 exp −

 

 

 

12

! ,

 

 

 

 

1

 

 

 

 

 

(X

 

− a)2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(X1 − a)2

 

 

 

ln f(a,σ2)(X1) = − ln(2πσ2)1/2

 

 

 

 

 

 

 

 

,

 

 

 

 

 

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(X1 − a)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ln f(a,σ2)(X1) =

 

 

 

,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

σ2

 

 

 

 

 

 

 

 

 

 

 

∂a

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

 

E

2

)

(X

− a)2

I(a) = E(a,σ2)

 

ln f(a,σ2)(X1)

 

=

 

(a,σ

1

 

∂a

 

 

 

 

 

σ4

 

Итак, I(a) = 1/σ2. Найдем дисперсию оценки X.

= D(a,σ2)X1 = 1 .

σ4 σ2

 

 

1

 

 

σ2

D(a,σ2)X =

 

D(a,σ2)X1

=

 

 

.

 

 

 

 

n

 

 

 

n

Далее, сравнивая левую и правую части в неравенстве Рао — Крамера, получаем

равенство:

σ2

 

 

 

 

 

 

1

 

D(a,σ2)X =

 

=

 

 

.

 

 

 

 

 

n

nI(a)

То есть оценка a = X эффективна (обладает наименьшей дисперсией среди несмещенных оценок).

Оглавление

JJ II

J I

На стр. ... из 179

Назад

Во весь экран

Уйти

Стр. 73

Пример 20. Пусть X1, . . . , Xn — выборка объема n из нормального распреде-

ления N0,σ2 , где σ > 0. Проверим, является ли оценка σ2

1

n

 

 

 

=

 

Xi2 = X2 K0

n

эффективной.

 

 

=

 

 

 

 

iP1

Упражнение. Получить эту оценку методом моментов и методом максимального правдоподобия.

Найдем информацию Фишера относительно параметра σ2.

 

 

 

 

 

 

fσ2 (X1) = √2πσ2

exp

12

! ,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

 

 

 

X2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ln fσ2 (X1) = − ln(2π)1/2

 

 

1

ln σ2

 

X2

 

 

 

 

 

 

 

 

 

 

1

 

,

 

 

 

 

 

 

 

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

 

 

X2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ln fσ2 (X1) = −

 

 

+

 

 

1

 

,

 

 

 

 

 

 

 

 

 

 

 

 

∂σ2

2

 

4

 

 

 

 

 

 

2 !

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

I(σ2) = Eσ2 ∂σ2 ln fσ2

(X1) = Eσ2

14

2

 

=

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

 

 

 

X2

1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

=

 

1

 

E

2 (X2

− σ2)2 =

 

1

 

D

2 X2.

 

 

 

 

 

 

 

 

8

8

 

 

 

 

 

 

 

 

 

 

 

 

σ

1

 

 

 

 

 

σ

1

Осталось найти Dσ2 X21 = Eσ2 X41 − (Eσ2 X21)2 = Eσ2 X41 − σ4. Для тех, кто помнит некоторые формулы вероятности: величина ξ = X1/σ имеет стандартное нормальное

распределение, и для нее

E ξ2k = (2k − 1)!! = (2k − 1)(2k − 3) · . . . · 3 · 1,

Тогда X1 = ξ · σ и

EX41 = E ξ4 · σ4 = 3σ4.

Оглавление

JJ II

J I

На стр. ... из 179

Назад

Во весь экран

Уйти

Стр. 74

Те, кто не помнит, считаем заново:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

y2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

y2

 

 

 

 

 

 

 

 

 

 

Eσ2 X14 =

y4

1

 

 

e

 

dy = 2σ4 y 4

 

1 e

 

 

d y =

 

 

 

 

 

 

 

2

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

0

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Z

2πσ

 

 

 

 

Z

 

σ

 

 

 

 

 

 

 

 

σ

 

 

 

 

 

 

 

 

 

 

t2

 

 

 

 

 

 

 

 

 

 

 

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

 

 

 

 

 

 

t2

 

= 2σ4

t4

1

e2

 

dt = −2σ4

1

t3 det2 = −2σ4

1

 

t3 et2

e

2

dt3 =

 

 

 

Z

 

 

 

 

 

 

 

 

 

 

 

Z

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

0

 

 

Z

 

 

 

 

 

0

 

 

 

 

 

 

 

 

 

 

 

 

 

 

0

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

0

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

 

 

 

 

 

 

 

 

 

 

 

t2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

= 2σ4

1

 

 

3 t2 et2

dt = 3σ4

1

t2 e− 2

dt = 3σ4

 

D ξ = 3σ4

 

1,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

·

 

Z

 

 

 

 

 

 

 

 

Z

 

 

 

 

 

 

 

 

 

 

 

 

·

 

 

 

 

 

 

·

 

 

 

0−∞

где ξ имеет стандартное нормальное распределение.

Итак, D

2 X2

= E

2 X4 − σ4

 

= 2σ4,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

σ

1

σ

1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

I(σ2) =

 

1

D

2 X2

=

1

 

4 =

1

 

.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

8

σ

 

 

1

 

8

 

4

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Найдем дисперсию оценки σ2 =

 

.

 

 

 

 

 

 

 

 

 

 

 

 

X2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

n

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

X1

Xi2

1

Dσ2 X12

 

 

4

 

 

Dσ2 X2 =

 

Dσ2

 

 

 

 

=

 

=

 

 

.

 

 

n2

n

 

n

Оглавление

JJ II

J I

На стр. ... из 179

Назад

Во весь экран

Уйти

Стр. 75

Сравнивая левую и правую части в неравенстве Рао — Крамера, получаем равенство:

D

 

 

 

4

1

 

2 X2

 

=

 

=

 

 

.

 

 

σ

 

 

 

n

nI(σ2)

 

 

 

 

Таким образом, оценка σ2 = X2 эффективна.

Упражнение. Пусть X1, . . . , Xn — выборка объема n из нормального распре-

деления Na,σ2 , где a известно, σ > 0. Проверить, является ли эффективной оценка

P

σ2 =

1

n (Xi − a)2 = (X − a)2. Принадлежит ли эта оценка классу K0? Какими

 

 

n i=1

методами получена? Является ли состоятельной и асимптотически нормальной?

Пример 21. Пусть X1, . . . , Xn — выборка объема n из показательного распределения E1/α с параметром 1/α, где α > 0. Проверим, является ли оценка α = X K0 (оценка для параметра α!) эффективной.

Найдем информацию Фишера относительно параметра α

 

2

I(α) = Eα

ln fα(X1) .

 

∂α

Плотность данного показательного распределения имеет вид:

 

 

1

e

y

fα(y) =

 

α , если y > 0,

α

 

 

 

 

если y 6 0.

 

0,

Оглавление

JJ II

J I

На стр. ... из 179

Назад

Во весь экран

Уйти

Стр. 76

 

 

 

 

1

 

X1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Тогда

fα(X1) =

e

 

α

 

,

 

 

 

ln fα(X1) = − ln α −

 

 

 

 

α

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ln fα(X1) = −

1

+

X1

=

 

1

(X1 − α),

 

 

 

α

α2

 

 

 

 

∂α

 

 

 

 

 

α2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

 

 

 

Eα(X1 − α)2

 

I(α) = Eα

 

ln fα(X1)

 

 

=

 

 

 

 

 

 

 

∂p

 

 

 

 

 

α4

Итак, I(α) = 1/α2. Найдем дисперсию оценки

 

.

 

 

X

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

 

 

 

α2

 

 

 

 

 

 

 

 

 

 

DαX =

 

 

 

DαX1

=

 

.

 

 

 

 

 

 

 

 

 

 

n

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

n

Xα1 ,

=DαX1 = α2 = 1 . α4 α4 α2

Подставив дисперсию и информацию Фишера в неравенство Рао — Крамера, получаем равенство:

 

 

 

α2

1

 

DαX =

 

=

 

.

 

 

 

 

 

n

nI(α)

То есть оценка α = X — эффективная оценка параметра α.

Упражнение. Получить эту оценку методом моментов и методом максимального правдоподобия. Она действительно несмещенная? А еще какими свойствами обладает?

Упражнение. Проверьте, что для несмещенной оценки α = X1 равенство в неравенстве Рао — Крамера не достигается. Объясните, почему, исходя только из этого, нельзя сделать вывод о ее неэффективности в классе K0. Сделайте этот вывод на основании того, что оценки α = X и α = X1 принадлежат классу оценок с одинаковым смещением, и одна из них эффективна. Используйте теорему 5.

Оглавление

JJ II

J I

На стр. ... из 179

Назад

Во весь экран

Уйти

Стр. 77

Отсутствие равенства в неравенстве Рао — Крамера вовсе не означает неэффективность оценки. Приведем пример оценки, которая является эффективной, но для которой не достигается равенство в неравенстве Рао — Крамера. В эффективности оценки из этого примера мы хотели бы, но не сможем убедиться.

Пример 22. Пусть X1, . . . , Xn — выборка объема n из показательного распределения Eα с параметром α, где α > 0. Возьмем чуть поправленную оценку метода моментов

 

 

 

 

 

 

 

 

α =

n − 1

·

1

=

 

n − 1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

.

 

 

 

 

 

 

 

 

n

 

 

n

Xi

 

 

 

 

 

 

 

 

X

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

i=1

 

 

 

 

Убедимся,

что это — несмещенная оценка.PСогласно свойству устойчивости по

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

n

 

 

 

суммированию для Г-распределения, сумма

 

Xi случайных величин с распределением

E

 

= Г

 

имеет распределение Г

 

 

 

 

 

 

 

i=1

 

 

 

α

α,1

α,n

с плотностью

 

 

 

 

 

 

 

 

 

 

 

 

 

 

P

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

αn

 

yn−1 e−αy,

y > 0,

 

 

 

 

 

 

 

 

γα,n(y) =

Г(n)

 

 

 

 

 

 

 

 

 

 

0,

 

 

 

 

 

 

y 6 0.

Напомним, что Г(n) = (n − 1)! Вычислим математическое ожидание

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Eαα = Eα

 

n − 1

= (n − 1)

 

1 αn

yn−1 e−αy dy =

 

 

 

 

 

 

 

 

 

 

 

 

 

 

y (n − 1)!

 

 

 

 

 

Xi

 

Z

 

 

 

 

 

 

 

 

 

P

 

 

0

 

 

 

 

 

 

 

 

 

 

 

=

(n − 1)

 

·

α

·

(αy)n−2 e−αy d(αy) =

α

 

·

Г(n − 1) = α.

(n − 1)!

(n − 2)!

 

 

Z

 

 

 

 

 

 

 

0

 

 

 

 

Оглавление

JJ II

J I

На стр. ... из 179

Назад

Во весь экран

Уйти

Стр. 78

Итак, оценка α принадлежит классу K0. Найдем информацию Фишера относительно параметра α:

fα(X1) = α e−αX1 , ln fα(X1) = ln α − αX1,

 

ln fα(X1) =

1

− X1,

∂α

α

 

 

 

 

 

 

 

 

 

2

 

 

1

 

 

 

I(α) = Eα

ln fα(X1) = Eα(X1

− α)2 = DαX1

=

.

 

 

 

 

 

 

 

∂p

α2

 

 

Итак, I(α) = 1/α2. Найдем второй момент и дисперсию оценки α .

Eα(α )2

= Eα

(n − 1)2

 

= (n

(PXi)2

=(n − 1)2 · α2 · Z (αy)n−3 (n − 1)!

− 1)2

1

 

 

αn

 

yn−1 e−αy dy =

 

2

 

(n − 1)!

 

 

Z

y

 

 

 

 

 

 

 

 

 

0

 

 

 

 

 

 

 

 

 

 

 

 

 

e−αy d(αy) =

 

(n − 1)

· α2

· Г(n − 2) =

n − 1

α2.

 

 

 

 

 

 

(n − 2)!

n − 2

0

 

 

 

 

 

Тогда

 

 

α2

 

Dαα = Eα(α )2 − (Eαα )2 =

n − 1

α2 − α2

=

.

n − 2

 

 

 

 

n − 2

Подставив дисперсию и информацию Фишера в неравенство Рао — Крамера, получаем, что при любом n есть строгое неравенство:

Dαα

 

α2

 

α2

1

 

=

 

 

>

 

=

 

 

.

 

 

 

 

 

n − 2

 

n

nI(α)

Тем не менее, оценка α является эффективной, но доказывать мы это не будем.

Оглавление

JJ II

J I

На стр. ... из 179

Назад

Во весь экран

Уйти

Стр. 79

4.5.Наилучшие линейные несмещенные оценки

Вплане подготовки к курсу «Эконометрика» полезно заметить следующее: в практической статистике часто рассматривают оценки, являющиеся линейными (и по воз-

можности несмещенными) функциями от выборки, то есть оценки вида θ = Pn aiXi.

i=1

В классе таких оценок наилучшая в смысле среднеквадратического подхода оценка обычно находится и без неравенства Рао — Крамера (что особенно полезно для нере-

гулярных семейств) — достаточно минимизировать

ai2 при заданной

ai. Такую

оценку принято называть «наилучшей линейной

несмещенной оценкой», или, по ан-

X

X

глийски, BLUE (“best linear unbiased estimate”).

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Так, скажем, для распределения U0,θ оценка θ0 = 2X

является BLUE, так как

ее дисперсия

найти! или вспомнить пример 11

не больше

доказать!

дисперсии любой оценки

iP1

iP1

 

 

 

 

 

 

 

n

 

n

 

 

 

 

 

 

 

вида θ =

aiXi, где

ai = 2.

почему это гарантирует несмещенность?

 

 

=

 

=

 

 

 

 

 

 

 

 

 

Справедливости ради следует добавить (см. пример 11), что оценка θ0 = 2X, хоть и является BLUE, не может конкурировать в среднеквадратичном смысле с нелинейной

оценкой

^

n+1

X(n)

(которая является эффективной в классе несмещенных оценок,

θ =

n

но этого мы доказывать не станем).

4.6. Вопросы и упражнения

1.Проверить эффективность ОМП для следующих распределений:

а) Bp, б) Пλ, в) Na,1, г) Bm,p (биномиальное), 0 < p < 1, при известном m.

2.Выполнить все упражнения, содержащиеся в тексте главы 4.

Оглавление

JJ II

J I

На стр. ... из 179

Назад

Во весь экран

Уйти

Стр. 80

5. Интервальное оценивание

Пусть, как обычно, имеется выборка X = (X1, . . . , Xn) из распределения Fθ с неизвестным параметром θ Θ IR. До сих пор мы занимались «точечным оцениванием» неизвестного параметра — находили число («оценку»), способную, в некотором смысле, заменить параметр.

Существует другой подход к оцениванию, при котором мы указываем интервал, накрывающий параметр с заданной наперед вероятностью. Такой подход называется «интервальным оцениванием». Сразу заметим: чем больше уверенность в том, что параметр лежит в интервале, тем шире интервал. Так что мечтать найти диапазон, в котором θ лежит с вероятностью 1, бессмысленно — это вся область Θ.

Определение 13. Пусть 0<ε<1. Интервал (θ, θ+) = (θ(X, ε), θ+(X, ε))

называется доверительным интервалом для параметра θ уровня доверия 1 − ε, если

для любого θ Θ

Pθ θ< θ < θ+ > 1 − ε.

Определение 14. Пусть 0<ε<1. Интервал (θ, θ+) = (θ(X, ε), θ+(X, ε))

называется асимптотическим доверительным интервалом для параметра θ (асимптотического) уровня доверия 1 − ε, если для любого θ Θ

lim inf Pθ θ< θ < θ+ > 1 − ε.

n→∞