
Лекции Мат.стат. (2007-2008) / stat8n_07
.pdf
Лекция 8.
Еще немного о свойствах оценок максимального правдоподобия.
4. Пусть X = (X1; :::; Xn) - выборка из совокупности с распределением из регулярного семейства распределений F и при всех реализациях вы- борки X функция L(X; ) имеет, как функция от ; один локальный макси-
мум. Пусть b(X) - оценка метода максимального правдоподобия параметра: Предположим также, что
E @3 ln f(Xj; ) < 1; @ 3
если распределение совокупности непрерывно, или
E @3 ln P (Xj; ) < 1 @ 3
если распределение - дискретно. Пусть для функции ( ) от параметра
существует |
0( ) = 0 ïðè âñåõ |
2 |
: Тогда оценка метода максимального |
||||||||||
|
6 |
|
|
|
|
|
|
|
|
|
|
|
|
правдоподобия (X) = ( ) параметра ( ) асимптотически нормальна с |
|||||||||||||
|
b |
|
b |
|
|
|
|
|
|||||
параметрами |
( ); ( ) = |
j |
0 |
( )j |
|
Это означает, что |
|||||||
|
pi( ) : |
|
|
|
|
|
|||||||
|
|
p |
|
|
|
|
|
|
(x) |
||||
|
|
|
|
|
|
( ) |
|
||||||
|
P |
|
|
|
|
n( |
( )) < x |
|
|||||
|
|
|
|
|
|
|
b |
|
|
|
|
|
при больших n: (Напомним, что (x) - функция распределения стандартного нормального закона.)
Замечание Из асимптотической нормальности b(X) с параметрами a =( ); = ( ) следует и состоятельность оценки b функции ( ).
Асимптотическое сравнение оценок.
Пусть, как и раньше, X = (X1; :::; Xn) - выборка из совокупности с распределением из регулярного семейства распределений F : Предположим,
что оценка b асимптотически нормальна с параметрами ( ); ( ): Это озна-
чает, что при больших n распределение
p
n(b ( ))
( )
приближаетсяp к стандартному нормальному распределению. А распределе- íèå n(b ( )) приближается к нормальному с нулевым математическим
ожиданием и дисперсией 2( ):
Определение. Для асимптотически нормальной статистики b назовем
2( ) асимптотической дисперсией.
Введем понятие асимптотической эффективности, которое является аналогом понятия эффективности для случая конечных выборок.
1

Определение. Пусть b асимптотически нормальна с параметрами ( ); ( ):
Асимптотической эффективностью этой оценки называется число
eff(b) = |
( 0( ))2 |
|
|
|
: |
|
|
i( ) 2( ) |
|
||
Свойство 4 оценок максимального правдоподобия утверждает, что при |
|||
раметра ( ) асимптотически нормальна с параметрами ( ); j 0 j= |
bi( ): |
||
достаточно широких условиях оценка максимального правдоподобия |
ïà- |
p
Это означает, что асимптотическая эффективность оценки максимального правдоподобия равна 1, то есть равна при довольно широких предположениях оценки максимального правдоподобия - асимптотически эффективны
è
Db ( 0( )2)=ni( ):
Пример. Пусть X = (X1; :::; Xn) - выборка из совокупности с нормальным распределением N( ; 2): Рассмотрим две оценки неизвестного пара-
метра -
b1 = X; b2 = mbe = X([n=2]+1):
Известно, что при некоторых условиях выборочная медиана асимптоти- чески нормальна с параметрами me; 1=(2f(me) (f(me) - значение плотности
совокупности в точке me). В нашем случае совокупность имеет нормальное
распределение с математическим ожиданием и дисперсией 2: Äëÿ äëÿ p
этой совокупности me = è f(me) = 1=( 2 ): Значит асимптотическая дисперсия выборочной медианы равна 2=2:
Как было подсчитано ранее для рассматриваемой модели i( ) = 1= 2:
Асимптотическая эффективность выборочной медианы, как оценки параметра равна
eff(b2) = 2= = 0:637::
Как уже не раз вычислялось
DX = 2 : n
Статистика X - оценка максимального правдоподобия параметра : Эта
оценка является эффективной.
При больших n дисперсия выборочной медианы
2
Dmbe 2n :
Поэтому, если при использовании медианы в качестве оценки параметра
понадобилось n наблюдений, то при использовании выборочного среднего понадобится n0 = 2n= для того, чтобы добиться одинаковой точности. Это
не зависит от значений и :
2

Доверительное (интервальное) оценивание. Доверительные интервалы.
Как обычно, рассматриваем выборку X = (X1; :::; Xn) из параметриче- ского семейства F :
Определение. Доверительным интервалом называется интервал со слу- чайными концами (T1(X); T2(X)); который с заданной вероятностью накрывает неизвестный параметр распределения
P (T1(X) < < T2(X)) = 1
для любого 2 : Вероятность 1 ; с которой доверительный интервал накрывает параметр ; называется доверительной вероятностью. Аналогич-
ным образом определяется доверительный интервал для любой функции
( ):
Доверительные интервалы могут быть, вообще говоря, односторонними (либо T1(X) может равняться 1; либо T2(X) может равняться 1):
Прежде, чем описывать какие-то общие методы построения доверительных интервалов, рассмотрим пример. Начнем с нормально распределенной генеральной совокупности.
Пример. Пусть X = (X1; :::; Xn) - выборка из совокупности, имеющей нормальное распределение N( ; 2); 2 (1; 1): Мы хотим построить до-
верительный интервал с доверительной вероятностью 1 :
Полезно вспомнить, что любая линейная комбинация независимых слу- чайных величин, каждая из которых нормально распределена, также имеет нормальное распределение.
Рассмотрим статистику
|
p |
|
|
|
|
|
G(X; ) = |
|
n(X |
) |
: |
||
|
|
|
|
|||
|
|
|
|
|||
|
|
|
|
|
|
Эта статистика - линейная функция от элементов выборки и параметра : Случайная величина G(X; ) имеет нормальное распределение с параметрами 0,1. Поэтому можно найти числа t1 < t2 такие, что
P t1 < |
p |
|
|
|
|
< t2 = 1 : |
n( |
X |
) |
||||
|
|
|||||
|
|
|
|
|||
|
|
|
|
Разрешая теперь неравенство, стоящее в скобках относительно ; мы
получаем |
X + pn |
< < X + pn |
= 1 : |
||||||||||
P |
|||||||||||||
|
|
|
|
t1 |
|
|
|
t2 |
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
В частности, если 1 = 0:95; t1 = u0:025 = 1:96; t2 = u0:975 = 1:96; òî
P X |
1p: n |
< < X + |
pn |
= 1 : |
||||
|
|
|
96 |
|
|
|
1:96 |
|
3

Здесь u - квантиль уровня стандартного нормального закона. Длина доверительного интервала
(t2 t1)
T2(X) T1(X) = p : n
Естественно возникает вопрос, как нужно выбирать t1 è t2; чтобы длина доверительного интервала была минимальной? В нашей задаче t1; t2 âûáè- раются при условии
(t2) (t1) = 1 :
Поэтому, для того, чтобы построить доверительный интервал минимальной длины, нужно найти условный минимум разности t2 t1 при указанном
выше условии. А это означает, что нужно искать t1; t2; минимизирующие t2 t1 ( (t2) (t1) (1 )): Необходимое условие экстремума приводит
к уравнениям
1 0(t2) = 0; 1 + 0(t1) = 0:
Откуда следует, что
0(t1) = 0(t2):
Так как плотность стандартного нормального распределения - симметрич- ная функция, то
t1 |
= t2 |
= u 2 ; t2 |
= u1 2 : |
|
|
|
|
Длина минимального доверительного интервала равна
2u1
l = p 2 n
Можно теперь поставить такой вопрос. Сколько нужно провести экспериментов (какой должен быть объем выборки), чтобы длина доверительного интервала с заданной доверительной вероятностью, не превосходила некоторого числа "? Ответ на этот вопрос дается неравенством
l = |
2u |
|
< "; n > |
2u |
|
|
2 |
|
pn2 |
" |
2 |
: |
|||||
|
1 |
|
|
|
1 |
|
|
|
Общий принцип построения доверительных интервалов.
Пусть X = (X1; :::; Xn) - выборка из совокупности с распределением
F (x; ); 2 :
Построение доверительных интервалов для параметра можно разбить
на три этапа.
1. Cначала по выборке нужно построить статистику G(X; ); распределение которой не зависит от и полностью известно.
P (G(X; ) < x) = G(x):
4
При этом предполагается, что при фиксированном X функция G(X; ) непрерывна и строго монотонна по :
Статистика G(X; ) называется центральной.
2. Найти квантили g1; g2 распределения G(x) такие, что
P (g1 < G(X; ) < g2) = 1 :
3. Разрешить неравенство g1 < G(X; ) < g2 относительно : Полученный интервал для и является доверительным интервалом
P (T1(X) < < T2(X)) = 1 :
Пример. Пользуясь общей схемой, построим доверительный интервал для параметра ; если выборка X = (X1; :::; Xn) взята из совокупности с равномерным распределением R[0; ]; 2 (0; 1):
Сначала нужно построить статистику G(X; ); распределение которой не зависит от : Функция распределения и плотность распределения элемента
выборки Xj равны соответственно |
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
F (x; ) = |
8x ; x 2 [0; ] |
|
f(x; ) = (1 |
; x 2 [0; ]: |
|
|
||||||||||||
|
|
> |
0; x |
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
0; x = [0; ] |
|
|
|||||||||||
Рассмотрим |
|
<1; x ; |
|
|
|
|
|
2 |
|
|
|
|
|
||||||
|
> |
|
|
|
|
|
|
Функцию распределения макси- |
|||||||||||
|
|
: |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
G(X; ) = X(n)= : |
|
|
|
|
|
|
|
|
|
|
|||||||
|
статистику |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
мума мы уже не раз вычисляли |
|
|
|
8xn ; x [0; ] |
|
||||||||||||||
F(n)(x) = P (X(n) < x) = (F (x; ))n = |
|
||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
> |
0;nx |
|
0 |
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2 |
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
<1; x |
|
: |
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
> |
|
|
|
|
|
|
||
Рассмотрим |
|
|
|
|
|
|
|
|
|
|
: |
|
|
|
|
|
|
|
|
P (G(X < ) < x) = P |
|
X(n) < x = F(n)(x ) = 8xn; x |
0 |
[0; ] = |
|||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
> |
0; x |
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2 |
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
<1; x |
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
> |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
: |
|
|
|
|
|
|
8
>0; x 0
<
= xn; x 2 [0; 1] = G(x):
>
:1; x 1:
Для любых 0 g1 < g2 1
P g1 |
< |
|
|
|
< g2 = G(g2) G(g1) = g2n g1n: |
|||
|
|
X(n) |
|
|
|
|
||
Выберем g1; g2 так, чтобы g2n g1n = 1 : Тогда |
||||||||
|
P |
|
|
g(2 |
< < g1 |
= 1 : |
||
|
|
|
|
X n) |
|
X(n) |
|
5

Если взять g2 |
= 1; òî 1 g1 |
= 1 è g1 |
= p : Длина этого доверительного |
|||||
|
n |
|
|
|
n |
|
|
|
интервала равна |
|
1 |
|
|
|
|||
|
|
X(n) |
1 : |
|||||
|
|
|
|
|
||||
|
|
|
|
|
||||
|
|
|
n |
|||||
|
|
|
|
|
||||
|
|
|
p |
Доверительные интервалы для параметров нормальной совокупности
Свойства выборок из нормальных совокупностей.
Для выборки из совокупности с нормальным распределением справедлива следующая теорема.
Теорема Фишера.
Åñëè X1; :::; X2 выборка из совокупности с нормальным распределением N(a; 2); тогда
|
|
n |
(Xj |
X |
)2 |
|
|
nS2 |
|
|
(n 1)S02 |
|
|||||||||||
деление с n 1 |
|
|
|
|
|
|
|
|
|
имеет хи-квадрат распре- |
|||||||||||||
|
P |
|
2 - независимы. |
|
|||||||||||||||||||
1.) статистика |
j=1 2 |
= 2 |
= |
2 |
|
||||||||||||||||||
|
степенью свободы. |
|
|
|
|
|
|
|
|||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
2.) Случайные величины X; S |
|
|
|
|
|
|
|
|
|
|
|||||||||||||
Следствие из теоремы Фишера. Статистика |
|||||||||||||||||||||||
|
|
|
p |
|
|
|
|
|
|
p |
|
|
|
|
|
|
|||||||
|
|
|
|
|
n |
(X a) |
= |
|
n 1(X a) |
||||||||||||||
|
|
|
|
|
|
|
|||||||||||||||||
|
|
|
|
|
|
|
S0 |
|
|
|
|
|
|
S |
|
имеет распределение Стьюдента c n 1 степенью свободы. В этих формулах
1 |
|
n |
|
|
|
|
1 |
|
n |
|
|
|
|
Xj |
|
|
|
|
|
X |
|||||
|
|
|
|
|
|
|
|
|
||||
S2 = n |
(Xj X)2; S02 = n |
|
1 |
|||||||||
=1 |
|
(Xj X)2: |
||||||||||
|
|
|
|
|
|
|
|
|
j=1 |
Доказательство.
По определению случайная величина имеет распределение Стьюдента с n 1 степенью свободы, если она равна отношению
|
t(n |
|
1) = |
|
|
|
Z |
||
|
|
|
|
|
|
|
: |
||
|
|
|
|
|
|
||||
|
|
|
q |
1 |
|
||||
|
|
|
|
n2 1 |
|||||
|
|
|
|
n 1 |
|||||
В этом выражении Z - нормально распределена с параметрами 0,1, а 2 |
|||||||||
имеет хи- |
2 |
|
|
|
|
|
|
|
n 1 |
|
|
n 1 степенью свободы и случайные |
|||||||
|
квадрат распределение с |
|
|
|
|
|
|
величины Z; n 1 - независимы.
Как уже неоднократно было замечено, если каждый элемент выборки Xj; имеет нормальное распределение N(a; 2); то статистика
p
n(X a)
имеет стандартное нормальное распределение. Из теоремы Фишера следует, что, во-первых, статистика
1 |
n |
|
|
|
nS2 |
|
|
Xj |
|
|
|||||
2 |
(Xj X)2 = 2 : |
||||||
=1 |
|||||||
|
|
|
|
|
|
6

распределена по закону хи-квадрат с n 1 степенью свободы. А во-вторых,
случайные величины |
|
p |
|
( |
|
|
|
a) |
|
|
|
|
nS2 |
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
n |
X |
è |
|
|
|
|
|
|
|
|||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
2 |
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
независимы. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Поэтому статистика |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
p |
|
( |
|
a) |
|
|
p |
|
|
|
|
|
p |
|
( |
|
a) |
: |
|||||||
|
|
X |
= |
n 1(X a) |
= |
X |
||||||||||||||||||||
n |
n |
|||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||
pnS2=(n 1) |
|
|
|
|
S |
|
|
|
|
|
|
S0 |
имеет распределение Стьюдента с n 1 степенью свободы.
7