Лекции Мат.стат. (2007-2008) / stat7_07

Лекция 7 Методы нахождения оценок.

Метод моментов.

Пусть X1; :::; Xn - выборка из совокупности с распределением из параметрического семейства F : По выборке нужно построить оценку параметра : Рассмотрим функцию от элемента выборки g(Xj) такую, что

Eg(Xj) = h( ):

Рассмотрим выборочное среднее

Случайные величины g(Xj); j = 1; :::; n независимы и одинаково распределены. По закону больших чисел при n ! 1

p

g(X) ! h( ):

Определение. Оценкой метода моментов параметра называется ста- тистика b(X); являющаяся решением уравнения

h(b) = g(X):

Из уравнения метода моментов следует, что

b(X) = h 1(g(X)):

В методе моментов чаще всего используют g(Xj) = Xjk è EXjk = k( ): Тогда уравнение метода моментов выглядит так

Пример. Пусть производится выборка из совокупности с равномерным распределением R[0; ]; > 0: Возьмем

g(Xj) = Xj; EXj = 2:

Тогда уравнение метода моментов

X= b: 2

Оценка метода моментов

b(X) = 2X:

1

Можно взять, например, g(Xj) = Xjk: Ïðè ýòîì

раметр, то метод моментов можно использовать для построения векторной оценки b(X) = (b1(X); :::; bp(X)) векторного параметра : Для этого нужно составить систему p уравнений метода моментов с p неизвестными.

Сначала рассматриваются функции g1(Xj); :::; gp(Xj): Вычисляются математические ожидания этих функций Eg1(Xj) = h1( ); :::; Egp(Xj) = hp( ): И затем составляется система уравнений метода моментов

gk(X) = hk(b); k = 1; 2; :::; p:

Обычно, при использовании метода моментов gk(Xj) = Xjk; k = 1; :::; p: Тогда система уравнений метода моментов выглядит так:

Xk = k(b); k = 1; 2; :::; p:

Пример. Пусть выборка производится из совокупности с нормальным распределением. Неизвестные параметры = (a; ): Пусть g1(Xj) = Xj è g2(Xj) = Xj2: Тогда h1( ) = EXj = a; h2( ) = EXj2 = 2 + a2:

Система уравнений для нахождения оценок для параметров a; имеет

âèä

X = ba; X2 = b2 + ba2:

Отсюда находим, что

ba(X) = X; (b(X))2 = X2 (X)2 = S2:

2

Свойства оценок метода моментов.

Оценки, полученные методом моментов, обычно состоятельны и асимптотически нормальны. Сформулируем и докажем утверждение о состоятельности оценок метода моментов для простого случая.

Теорема. Пусть X = (X1; :::; Xn) - выборка из совокупности с функ-

Но последовательность случайных величин g(Xj); j = 1; :::; n последовательность независимых случайных величин, одинаково распределенных и Eg(Xj) = h( ): По закону больших чисел при n ! 1

p

g(X) ! h( ):

Из уравнения метода моментов

g(X) = h(b)

находим оценку параметра

b(X) = h 1(g(X)):

Òàê êàê h 1 непрерывная функция, то по теореме Слуцкого при n ! 1

(X) p h 1(h( )) = : b !

Повторим еще раз, что достоинство оценок метода моментов состоит в том, что часто они легко вычисляемы и при довольно общих предположениях, состоятельны и асимптотически нормальны.

Метод максимального правдоподобия.

Пусть L(x; ) функция правдоподобия для параметрического семейства

распределений F : Здесь x некоторая реализация выборки X = (X1; :::; Xn) из этого семейства.

Как уже говорилось, для дискретного семейства распределений зна- ÷ение функции правдоподобия равно вероятности наблюдать реализацию x при каждом значении : Если семейство распределений F абсолютно непрерывно, то значений функции правдоподобия равно значению совìестной плотности распределений случайных величин (X1; :::; Xn) в точке x (это значение зависит от значений ).

3

Если в результате эксперимента наблюдается реализация x; то метод максимального правдоподобия в качестве оценки параметра предлагает брать такое значение ; при котором появление этой реализации наиболее

вероятно (правдоподобно).

Определение. Оценкой максимального правдоподобия параметра на-

зывается

b(X) : L(X; b) L(X; ); для любых 2 :

Или иными словами

L(X; b) = sup L(X; ):

2

Если функция правдоподобия L(X; ) дифференцируема по и максимум этой функции достигается во внутренней точке множества ; то оценка максимального правдоподобия находится из уравнения

Если в параметрическом семействе распределений каждое распределение задается векторным параметром = ( 1; :::; p); если функция

L(X; 1; :::; p) дифференцируема по всем k; k = 1; :::; p и если максимум функции правдоподобия достигается во внутренней точке множества ; то

оценка максимального правдоподобия

Пример. Пусть F семейство нормальных распределений с параметром= (a; ): Функция правдоподобия для этого семейства распределений

4

Выпишем теперь систему уравнений максимального правдоподобия для нахождения оценок параметров a и :

nn

XX

Оценки максимального правдоподобия в этом случае

ba = X; b = S:

Пример. Предположим, что выборка произведена из совокупности с равномерным распределением R[0; ]; > 0: Плотность распределения в

этом случае равна

(

1 ; x 2 [0; ] f(x; ) =

0; x 2= [0; ]:

Из графика этой функции (по ) видно, что максимальное значение

функции правдоподобия достигается при b(X) = X(n):

Свойства оценок максимального правдоподобия.

1. Åñëè X = (X1; :::; Xn) - выборка из совокупности с распределением из регулярного семейства распределений F и при всех реализациях выборки X функция L(X; ) имеет, как функция от ; один локальный максимум, то

b(X) - оценка метода максимального правдоподобия параметра является

состоятельной оценкой.

2. Если выполнены условия, сформулированные в пункте 1 и

E @3 ln f(Xj; ) < 1; @ 3

то оценка метода максимального правдоподобия параметра асимптотиче- ски нормальна с параметрами ; i(1 ) : Это означает, что

p

P ( ni( )(b ) < x) (x)

при больших n:

5

3. Принцип инвариантности. Одно из полезных свойств метода максимального правдоподобия является инвариантность этого метода относительно преобразований параметра :

Пусть X = (X1; :::; Xn) - выборка из совокупности с распределением из семейства распределений F = fF (x; ); 2 g: Параметр = ( 1; :::; p): Пусть ( ) некоторая функция от параметра и для любого 2

( ) = = ( 1; :::; q) 2 B:

Предположим, что для любого 2 B существует 1( ) = 2 : То есть мы предполагаем, что функция ( ) задает взаимно однозначное отображе-

íèå

B:

Поэтому

F (x; ) = F (x; 1( )):

Если выборка производится из совокупности с распределением F (x; );

то можно считать что выборка производится из совокупности с распределением F (x; 1( )): При этом параметры и связаны уравнением = ( ):

Из определения функции правдоподобия следует, что

L(X; ) = L(X; 1( )):

Поэтому, если b точка максимума для функции L(X; 1( )); à b - точка

максимума для функции L(X; ); то

L(X; 1(b)) = L(X; b):

Отсюда

b = (b):

4. Укажем еще одно свойство оценок максимального правдоподобия. Пусть X = (X1; :::; Xn) - выборка из совокупности с распределением из ре-

гулярного семейства распределений F : Пусть = ( ) непрерывная функция, у которой существует 0( ) и для которой существует непрерывная

6