Лекции Мат.стат. (2007-2008) / stat8n_07

Лекция 8.

Еще немного о свойствах оценок максимального правдоподобия.

4. Пусть X = (X1; :::; Xn) - выборка из совокупности с распределением из регулярного семейства распределений F и при всех реализациях вы- борки X функция L(X; ) имеет, как функция от ; один локальный макси-

мум. Пусть b(X) - оценка метода максимального правдоподобия параметра: Предположим также, что

E @3 ln f(Xj; ) < 1; @ 3

если распределение совокупности непрерывно, или

E @3 ln P (Xj; ) < 1 @ 3

если распределение - дискретно. Пусть для функции ( ) от параметра

при больших n: (Напомним, что (x) - функция распределения стандартного нормального закона.)

Замечание Из асимптотической нормальности b(X) с параметрами a =( ); = ( ) следует и состоятельность оценки b функции ( ).

Асимптотическое сравнение оценок.

Пусть, как и раньше, X = (X1; :::; Xn) - выборка из совокупности с распределением из регулярного семейства распределений F : Предположим,

что оценка b асимптотически нормальна с параметрами ( ); ( ): Это озна-

чает, что при больших n распределение

p

n(b ( ))

( )

приближаетсяp к стандартному нормальному распределению. А распределе- íèå n(b ( )) приближается к нормальному с нулевым математическим

ожиданием и дисперсией 2( ):

Определение. Для асимптотически нормальной статистики b назовем

2( ) асимптотической дисперсией.

Введем понятие асимптотической эффективности, которое является аналогом понятия эффективности для случая конечных выборок.

1

Определение. Пусть b асимптотически нормальна с параметрами ( ); ( ):

Асимптотической эффективностью этой оценки называется число

p

Это означает, что асимптотическая эффективность оценки максимального правдоподобия равна 1, то есть равна при довольно широких предположениях оценки максимального правдоподобия - асимптотически эффективны

è

Db ( 0( )2)=ni( ):

Пример. Пусть X = (X1; :::; Xn) - выборка из совокупности с нормальным распределением N( ; 2): Рассмотрим две оценки неизвестного пара-

метра -

b1 = X; b2 = mbe = X([n=2]+1):

Известно, что при некоторых условиях выборочная медиана асимптоти- чески нормальна с параметрами me; 1=(2f(me) (f(me) - значение плотности

совокупности в точке me). В нашем случае совокупность имеет нормальное

распределение с математическим ожиданием и дисперсией 2: Äëÿ äëÿ p

этой совокупности me = è f(me) = 1=( 2 ): Значит асимптотическая дисперсия выборочной медианы равна 2=2:

Как было подсчитано ранее для рассматриваемой модели i( ) = 1= 2:

Асимптотическая эффективность выборочной медианы, как оценки параметра равна

eff(b2) = 2= = 0:637::

Как уже не раз вычислялось

DX = 2 : n

Статистика X - оценка максимального правдоподобия параметра : Эта

оценка является эффективной.

При больших n дисперсия выборочной медианы

2

Dmbe 2n :

Поэтому, если при использовании медианы в качестве оценки параметра

понадобилось n наблюдений, то при использовании выборочного среднего понадобится n0 = 2n= для того, чтобы добиться одинаковой точности. Это

не зависит от значений и :

2

Доверительное (интервальное) оценивание. Доверительные интервалы.

Как обычно, рассматриваем выборку X = (X1; :::; Xn) из параметриче- ского семейства F :

Определение. Доверительным интервалом называется интервал со слу- чайными концами (T1(X); T2(X)); который с заданной вероятностью накрывает неизвестный параметр распределения

P (T1(X) < < T2(X)) = 1

для любого 2 : Вероятность 1 ; с которой доверительный интервал накрывает параметр ; называется доверительной вероятностью. Аналогич-

ным образом определяется доверительный интервал для любой функции

( ):

Доверительные интервалы могут быть, вообще говоря, односторонними (либо T1(X) может равняться 1; либо T2(X) может равняться 1):

Прежде, чем описывать какие-то общие методы построения доверительных интервалов, рассмотрим пример. Начнем с нормально распределенной генеральной совокупности.

Пример. Пусть X = (X1; :::; Xn) - выборка из совокупности, имеющей нормальное распределение N( ; 2); 2 (1; 1): Мы хотим построить до-

верительный интервал с доверительной вероятностью 1 :

Полезно вспомнить, что любая линейная комбинация независимых слу- чайных величин, каждая из которых нормально распределена, также имеет нормальное распределение.

Рассмотрим статистику

Эта статистика - линейная функция от элементов выборки и параметра : Случайная величина G(X; ) имеет нормальное распределение с параметрами 0,1. Поэтому можно найти числа t1 < t2 такие, что

Разрешая теперь неравенство, стоящее в скобках относительно ; мы

В частности, если 1 = 0:95; t1 = u0:025 = 1:96; t2 = u0:975 = 1:96; òî

3

Здесь u - квантиль уровня стандартного нормального закона. Длина доверительного интервала

(t2 t1)

T2(X) T1(X) = p : n

Естественно возникает вопрос, как нужно выбирать t1 è t2; чтобы длина доверительного интервала была минимальной? В нашей задаче t1; t2 âûáè- раются при условии

(t2) (t1) = 1 :

Поэтому, для того, чтобы построить доверительный интервал минимальной длины, нужно найти условный минимум разности t2 t1 при указанном

выше условии. А это означает, что нужно искать t1; t2; минимизирующие t2 t1 ( (t2) (t1) (1 )): Необходимое условие экстремума приводит

к уравнениям

1 0(t2) = 0; 1 + 0(t1) = 0:

Откуда следует, что

0(t1) = 0(t2):

Так как плотность стандартного нормального распределения - симметрич- ная функция, то

Длина минимального доверительного интервала равна

2u1

l = p 2 n

Можно теперь поставить такой вопрос. Сколько нужно провести экспериментов (какой должен быть объем выборки), чтобы длина доверительного интервала с заданной доверительной вероятностью, не превосходила некоторого числа "? Ответ на этот вопрос дается неравенством

Общий принцип построения доверительных интервалов.

Пусть X = (X1; :::; Xn) - выборка из совокупности с распределением

F (x; ); 2 :

Построение доверительных интервалов для параметра можно разбить

на три этапа.

1. Cначала по выборке нужно построить статистику G(X; ); распределение которой не зависит от и полностью известно.

P (G(X; ) < x) = G(x):

4

При этом предполагается, что при фиксированном X функция G(X; ) непрерывна и строго монотонна по :

Статистика G(X; ) называется центральной.

2. Найти квантили g1; g2 распределения G(x) такие, что

P (g1 < G(X; ) < g2) = 1 :

3. Разрешить неравенство g1 < G(X; ) < g2 относительно : Полученный интервал для и является доверительным интервалом

P (T1(X) < < T2(X)) = 1 :

Пример. Пользуясь общей схемой, построим доверительный интервал для параметра ; если выборка X = (X1; :::; Xn) взята из совокупности с равномерным распределением R[0; ]; 2 (0; 1):

Сначала нужно построить статистику G(X; ); распределение которой не зависит от : Функция распределения и плотность распределения элемента

8

>0; x 0

<

= xn; x 2 [0; 1] = G(x):

>

:1; x 1:

Для любых 0 g1 < g2 1

5

Доверительные интервалы для параметров нормальной совокупности

Свойства выборок из нормальных совокупностей.

Для выборки из совокупности с нормальным распределением справедлива следующая теорема.

Теорема Фишера.

Åñëè X1; :::; X2 выборка из совокупности с нормальным распределением N(a; 2); тогда

имеет распределение Стьюдента c n 1 степенью свободы. В этих формулах

Доказательство.

По определению случайная величина имеет распределение Стьюдента с n 1 степенью свободы, если она равна отношению

величины Z; n 1 - независимы.

Как уже неоднократно было замечено, если каждый элемент выборки Xj; имеет нормальное распределение N(a; 2); то статистика

p

n(X a)

имеет стандартное нормальное распределение. Из теоремы Фишера следует, что, во-первых, статистика

6

распределена по закону хи-квадрат с n 1 степенью свободы. А во-вторых,

имеет распределение Стьюдента с n 1 степенью свободы.

7