Скачиваний:
19
Добавлен:
20.05.2014
Размер:
111.95 Кб
Скачать

Лекция 8.

Еще немного о свойствах оценок максимального правдоподобия.

4. Пусть X = (X1; :::; Xn) - выборка из совокупности с распределением из регулярного семейства распределений F и при всех реализациях вы- борки X функция L(X; ) имеет, как функция от ; один локальный макси-

мум. Пусть b(X) - оценка метода максимального правдоподобия параметра: Предположим также, что

E @3 ln f(Xj; ) < 1; @ 3

если распределение совокупности непрерывно, или

E @3 ln P (Xj; ) < 1 @ 3

если распределение - дискретно. Пусть для функции ( ) от параметра

существует

0( ) = 0 ïðè âñåõ

2

: Тогда оценка метода максимального

 

6

 

 

 

 

 

 

 

 

 

 

 

правдоподобия (X) = ( ) параметра ( ) асимптотически нормальна с

 

b

 

b

 

 

 

 

 

параметрами

( ); ( ) =

j

0

( )j

 

Это означает, что

 

pi( ) :

 

 

 

 

 

 

 

p

 

 

 

 

 

 

(x)

 

 

 

 

 

 

( )

 

 

P

 

 

 

 

n(

( )) < x

 

 

 

 

 

 

 

 

b

 

 

 

 

 

при больших n: (Напомним, что (x) - функция распределения стандартного нормального закона.)

Замечание Из асимптотической нормальности b(X) с параметрами a =( ); = ( ) следует и состоятельность оценки b функции ( ).

Асимптотическое сравнение оценок.

Пусть, как и раньше, X = (X1; :::; Xn) - выборка из совокупности с распределением из регулярного семейства распределений F : Предположим,

что оценка b асимптотически нормальна с параметрами ( ); ( ): Это озна-

чает, что при больших n распределение

p

n(b ( ))

( )

приближаетсяp к стандартному нормальному распределению. А распределе- íèå n(b ( )) приближается к нормальному с нулевым математическим

ожиданием и дисперсией 2( ):

Определение. Для асимптотически нормальной статистики b назовем

2( ) асимптотической дисперсией.

Введем понятие асимптотической эффективности, которое является аналогом понятия эффективности для случая конечных выборок.

1

Определение. Пусть b асимптотически нормальна с параметрами ( ); ( ):

Асимптотической эффективностью этой оценки называется число

eff(b) =

( 0( ))2

 

 

:

 

i( ) 2( )

 

Свойство 4 оценок максимального правдоподобия утверждает, что при

раметра ( ) асимптотически нормальна с параметрами ( ); j 0 j=

bi( ):

достаточно широких условиях оценка максимального правдоподобия

ïà-

p

Это означает, что асимптотическая эффективность оценки максимального правдоподобия равна 1, то есть равна при довольно широких предположениях оценки максимального правдоподобия - асимптотически эффективны

è

Db ( 0( )2)=ni( ):

Пример. Пусть X = (X1; :::; Xn) - выборка из совокупности с нормальным распределением N( ; 2): Рассмотрим две оценки неизвестного пара-

метра -

b1 = X; b2 = mbe = X([n=2]+1):

Известно, что при некоторых условиях выборочная медиана асимптоти- чески нормальна с параметрами me; 1=(2f(me) (f(me) - значение плотности

совокупности в точке me). В нашем случае совокупность имеет нормальное

распределение с математическим ожиданием и дисперсией 2: Äëÿ äëÿ p

этой совокупности me = è f(me) = 1=( 2 ): Значит асимптотическая дисперсия выборочной медианы равна 2=2:

Как было подсчитано ранее для рассматриваемой модели i( ) = 1= 2:

Асимптотическая эффективность выборочной медианы, как оценки параметра равна

eff(b2) = 2= = 0:637::

Как уже не раз вычислялось

DX = 2 : n

Статистика X - оценка максимального правдоподобия параметра : Эта

оценка является эффективной.

При больших n дисперсия выборочной медианы

2

Dmbe 2n :

Поэтому, если при использовании медианы в качестве оценки параметра

понадобилось n наблюдений, то при использовании выборочного среднего понадобится n0 = 2n= для того, чтобы добиться одинаковой точности. Это

не зависит от значений и :

2

Доверительное (интервальное) оценивание. Доверительные интервалы.

Как обычно, рассматриваем выборку X = (X1; :::; Xn) из параметриче- ского семейства F :

Определение. Доверительным интервалом называется интервал со слу- чайными концами (T1(X); T2(X)); который с заданной вероятностью накрывает неизвестный параметр распределения

P (T1(X) < < T2(X)) = 1

для любого 2 : Вероятность 1 ; с которой доверительный интервал накрывает параметр ; называется доверительной вероятностью. Аналогич-

ным образом определяется доверительный интервал для любой функции

( ):

Доверительные интервалы могут быть, вообще говоря, односторонними (либо T1(X) может равняться 1; либо T2(X) может равняться 1):

Прежде, чем описывать какие-то общие методы построения доверительных интервалов, рассмотрим пример. Начнем с нормально распределенной генеральной совокупности.

Пример. Пусть X = (X1; :::; Xn) - выборка из совокупности, имеющей нормальное распределение N( ; 2); 2 (1; 1): Мы хотим построить до-

верительный интервал с доверительной вероятностью 1 :

Полезно вспомнить, что любая линейная комбинация независимых слу- чайных величин, каждая из которых нормально распределена, также имеет нормальное распределение.

Рассмотрим статистику

 

p

 

 

 

 

 

G(X; ) =

 

n(X

)

:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Эта статистика - линейная функция от элементов выборки и параметра : Случайная величина G(X; ) имеет нормальное распределение с параметрами 0,1. Поэтому можно найти числа t1 < t2 такие, что

P t1 <

p

 

 

 

 

< t2 = 1 :

n(

X

)

 

 

 

 

 

 

 

 

 

 

Разрешая теперь неравенство, стоящее в скобках относительно ; мы

получаем

X + pn

< < X + pn

= 1 :

P

 

 

 

 

t1

 

 

 

t2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

В частности, если 1 = 0:95; t1 = u0:025 = 1:96; t2 = u0:975 = 1:96; òî

P X

1p: n

< < X +

pn

= 1 :

 

 

 

96

 

 

 

1:96

 

3

Здесь u - квантиль уровня стандартного нормального закона. Длина доверительного интервала

(t2 t1)

T2(X) T1(X) = p : n

Естественно возникает вопрос, как нужно выбирать t1 è t2; чтобы длина доверительного интервала была минимальной? В нашей задаче t1; t2 âûáè- раются при условии

(t2) (t1) = 1 :

Поэтому, для того, чтобы построить доверительный интервал минимальной длины, нужно найти условный минимум разности t2 t1 при указанном

выше условии. А это означает, что нужно искать t1; t2; минимизирующие t2 t1 ( (t2) (t1) (1 )): Необходимое условие экстремума приводит

к уравнениям

1 0(t2) = 0; 1 + 0(t1) = 0:

Откуда следует, что

0(t1) = 0(t2):

Так как плотность стандартного нормального распределения - симметрич- ная функция, то

t1

= t2

= u 2 ; t2

= u1 2 :

 

 

 

 

Длина минимального доверительного интервала равна

2u1

l = p 2 n

Можно теперь поставить такой вопрос. Сколько нужно провести экспериментов (какой должен быть объем выборки), чтобы длина доверительного интервала с заданной доверительной вероятностью, не превосходила некоторого числа "? Ответ на этот вопрос дается неравенством

l =

2u

 

< "; n >

2u

 

 

2

pn2

"

2

:

 

1

 

 

 

1

 

 

 

Общий принцип построения доверительных интервалов.

Пусть X = (X1; :::; Xn) - выборка из совокупности с распределением

F (x; ); 2 :

Построение доверительных интервалов для параметра можно разбить

на три этапа.

1. Cначала по выборке нужно построить статистику G(X; ); распределение которой не зависит от и полностью известно.

P (G(X; ) < x) = G(x):

4

При этом предполагается, что при фиксированном X функция G(X; ) непрерывна и строго монотонна по :

Статистика G(X; ) называется центральной.

2. Найти квантили g1; g2 распределения G(x) такие, что

P (g1 < G(X; ) < g2) = 1 :

3. Разрешить неравенство g1 < G(X; ) < g2 относительно : Полученный интервал для и является доверительным интервалом

P (T1(X) < < T2(X)) = 1 :

Пример. Пользуясь общей схемой, построим доверительный интервал для параметра ; если выборка X = (X1; :::; Xn) взята из совокупности с равномерным распределением R[0; ]; 2 (0; 1):

Сначала нужно построить статистику G(X; ); распределение которой не зависит от : Функция распределения и плотность распределения элемента

выборки Xj равны соответственно

 

 

 

 

 

 

 

 

 

 

 

 

 

F (x; ) =

8x ; x 2 [0; ]

 

f(x; ) = (1

; x 2 [0; ]:

 

 

 

 

>

0; x

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

0; x = [0; ]

 

 

Рассмотрим

 

<1; x ;

 

 

 

 

 

2

 

 

 

 

 

 

>

 

 

 

 

 

 

Функцию распределения макси-

 

 

:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

G(X; ) = X(n)= :

 

 

 

 

 

 

 

 

 

 

 

статистику

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

мума мы уже не раз вычисляли

 

 

 

8xn ; x [0; ]

 

F(n)(x) = P (X(n) < x) = (F (x; ))n =

 

 

 

 

 

 

 

 

 

 

 

 

>

0;nx

 

0

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

<1; x

 

:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

>

 

 

 

 

 

 

Рассмотрим

 

 

 

 

 

 

 

 

 

 

:

 

 

 

 

 

 

 

 

P (G(X < ) < x) = P

 

X(n) < x = F(n)(x ) = 8xn; x

0

[0; ] =

 

 

 

 

 

 

 

 

 

 

 

 

 

>

0; x

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

<1; x

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

>

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

:

 

 

 

 

 

 

8

>0; x 0

<

= xn; x 2 [0; 1] = G(x):

>

:1; x 1:

Для любых 0 g1 < g2 1

P g1

<

 

 

 

< g2 = G(g2) G(g1) = g2n g1n:

 

 

X(n)

 

 

 

 

Выберем g1; g2 так, чтобы g2n g1n = 1 : Тогда

 

P

 

 

g(2

< < g1

= 1 :

 

 

 

 

X n)

 

X(n)

 

5

Если взять g2

= 1; òî 1 g1

= 1 è g1

= p : Длина этого доверительного

 

n

 

 

 

n

 

 

интервала равна

 

1

 

 

 

 

 

X(n)

1 :

 

 

 

 

 

 

 

 

 

 

 

 

 

n

 

 

 

 

 

 

 

 

p

Доверительные интервалы для параметров нормальной совокупности

Свойства выборок из нормальных совокупностей.

Для выборки из совокупности с нормальным распределением справедлива следующая теорема.

Теорема Фишера.

Åñëè X1; :::; X2 выборка из совокупности с нормальным распределением N(a; 2); тогда

 

 

n

(Xj

X

)2

 

 

nS2

 

 

(n 1)S02

 

деление с n 1

 

 

 

 

 

 

 

 

 

имеет хи-квадрат распре-

 

P

 

2 - независимы.

 

1.) статистика

j=1 2

= 2

=

2

 

 

степенью свободы.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2.) Случайные величины X; S

 

 

 

 

 

 

 

 

 

 

Следствие из теоремы Фишера. Статистика

 

 

 

p

 

 

 

 

 

 

p

 

 

 

 

 

 

 

 

 

 

 

n

(X a)

=

 

n 1(X a)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

S0

 

 

 

 

 

 

S

 

имеет распределение Стьюдента c n 1 степенью свободы. В этих формулах

1

 

n

 

 

 

 

1

 

n

 

 

 

Xj

 

 

 

 

 

X

 

 

 

 

 

 

 

 

 

S2 = n

(Xj X)2; S02 = n

 

1

=1

 

(Xj X)2:

 

 

 

 

 

 

 

 

 

j=1

Доказательство.

По определению случайная величина имеет распределение Стьюдента с n 1 степенью свободы, если она равна отношению

 

t(n

 

1) =

 

 

 

Z

 

 

 

 

 

 

 

:

 

 

 

 

 

 

 

 

 

q

1

 

 

 

 

 

n2 1

 

 

 

 

n 1

В этом выражении Z - нормально распределена с параметрами 0,1, а 2

имеет хи-

2

 

 

 

 

 

 

 

n 1

 

 

n 1 степенью свободы и случайные

 

квадрат распределение с

 

 

 

 

 

 

величины Z; n 1 - независимы.

Как уже неоднократно было замечено, если каждый элемент выборки Xj; имеет нормальное распределение N(a; 2); то статистика

p

n(X a)

имеет стандартное нормальное распределение. Из теоремы Фишера следует, что, во-первых, статистика

1

n

 

 

 

nS2

 

Xj

 

 

2

(Xj X)2 = 2 :

=1

 

 

 

 

 

 

6

распределена по закону хи-квадрат с n 1 степенью свободы. А во-вторых,

случайные величины

 

p

 

(

 

 

 

a)

 

 

 

 

nS2

 

 

 

 

 

 

 

 

 

 

 

 

 

n

X

è

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

независимы.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Поэтому статистика

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

p

 

(

 

a)

 

 

p

 

 

 

 

 

p

 

(

 

a)

:

 

 

X

=

n 1(X a)

=

X

n

n

 

 

 

 

 

 

 

 

 

 

pnS2=(n 1)

 

 

 

 

S

 

 

 

 

 

 

S0

имеет распределение Стьюдента с n 1 степенью свободы.

7

Соседние файлы в папке Лекции Мат.стат. (2007-2008)