Нов-ПМС-1

3. Инвариантность.

Полезным свойством оценок максимального правдоподобия (МП) является их инвариантность относительно преобразований параметра.

При решении уравнений правдоподобия относительно параметра оказывается, что их проще решать относительно

91

3.3. Теорема об асимптотической нормальности и эффективности оценок максимального правдоподобия

1. Оценка максимального правдоподобия *m является

состоятельной оценкой параметра ; т.е. * P .

m

n

2. При определѐнных условиях оценка максимального правдоподобия является асимптотически нормальной и эффективной.

Теорема 3.3.

Пусть функция правдоподобия L(x; )

а) дважды дифференцируема по параметру и б) математическое ожидание от функции вклада равно

нулю M[U(X; )=0],

в) кроме того -M 2 ln L(X, ) in ( ) R2 ( ) 0 .2

Тогда оценка максимального правдоподобия стремится к случайной величине

(дисперсия совпадает с дисперсией эффективной оценки). Здесь 0 - истинное значение оцениваемого параметра.

Доказательство: Доказательство свойства асимптотической нормальности оценки МП (если рассматривать скалярный параметр) основывается на

разложении функции вклада Un( )=Un( X ;) в ряд Маклорена относительно истинного значения параметра 0.

Поскольку *m состоятельная оценка параметра , то при достаточно большом объѐме выборки (n>>1), она будет близка к истинному значению 0. Поэтому функция вклада может быть представлена в виде ряда Маклорена в окрестности точки

0.

92

К случайной величине

применима центральная предельная теорема, по которой и с учѐтом соотношений:

3.4. Метод моментов. Теоремы о свойствах оценок, полученных методом моментов

Исторически первым методом точечного оценивания неизвестных параметров является метод моментов,

Решая эти уравнения относительно 1,...,r, получаем значения оценок параметров.

Замечания.

1). Число уравнений в системе (3.1) должно совпадать с числом неизвестных параметров.

2). В системе уравнений (3.1) могут одновременно присутствовать уравнения как для начальных, так и для центральных моментов.

Рассмотрим теоретическое обоснование этого метода:

Теорема 3.4. Известно, что выборочные моменты Ank( X )

являются несмещѐнными и состоятельными оценками

теоретических моментов k( ).

Доказательство: Проверим выполнение достаточного условия состоятельности:

взаимно непрерывное соответствие между параметрами 1,...,r и начальными моментами 1,...,r, т.е. существуют непрерывные функции 1,...,r такие, что i=i(1,...,r),

Таким образом, метод моментов при определѐнных условиях приводит к состоятельным оценкам; при этом уравнения (3.1) во многих случаях просты и их решение (в отличие от метода МП) не связано с большими вычислительными трудностями.

Когда теоретические моменты нужного порядка отсутствуют (например, распределение Коши), метод моментов неприменим. Оценки метода моментов, вообще говоря, не эффективны. Их обычно используют в качестве первых приближений, на основании которых можно определять другими методами оценки с большей эффективностью..

Пример. (Модель гамма, оценивание параметров методом

совокупности случайной величины с плотностью распределения

Иногда возникают задачи оценивания по неполной выборке, т.е. когда некоторые наблюдения отсутствуют. В таких случаях говорят о цензурированных данных.

Типичными примерами цензурирования являются следующие планы испытаний на надѐжность: берѐтся контрольная выборка из n изделий, "времена жизни" которых независимые одинаково распределѐнные случайные величины. Наблюдаются либо моменты отказов за заданное время t (1-й тип цензурирования), либо моменты первых r отказов, где r<n (2-й тип цензурирования).

В обоих случаях достигается экономия времени на проведение эксперимента (получение исходных данных), что является важным фактором в реальных условиях.

1-й тип цензурирования определяется заданием такого интервала (t1,t2), что наблюдаются лишь значения Xi(t1,t2).

2-й тип определяется заданием двух целых чисел r1, r2 0 таких, что наблюдаются лишь значения порядковых статистик

X(k) при r1+1 k n-r2.

97

Если соответствующее ограничение с какой-нибудь одной стороны отсутствует, то говорят о простом цензурировании.

Рассмотренные методы оценки параметров могут быть применены к цензурированным данным.

Задачи и решения

Методы получения точечных оценок

Метод максимального правдоподобия

Пусть Х непрерывная случайная величина с плотностью распределения f(x,) зависящая от неизвестного параметра , значение которого и требуется оценить по выборке объема n.

Плотность распределения X :

Функцией правдоподобия L() выборки объема n называется плотность выборочного вектора (3.2), которая рассматривается при фиксированных значениях x , т.е. функция правдоподобия

– это функция неизвестного параметра

n

L(θ) fxi (xi ; θ).

i 1

Пусть Х – дискретная случайная величина, причем Р(Х=х)=р=р(х, ) есть функция неизвестного параметра . Для оценки параметра получена конкретная выборка x1,…,xn объема n. Функция правдоподобия выборки объема n равна

вероятности того, что компоненты выборочного вектора X примут фиксированные значения x , т.е.

98

Метод максимального правдоподобия заключается в том, что в качестве оценки неизвестного параметра выбирается

значение ˆ , достигающее максимума функции правдоподобия.

θ

Такую оценку называют максимально правдоподобной. В дискретном случае максимально правдоподобная оценка неизвестного параметра есть такое значение *, при котором вероятность появления данной конкретной выборки максимальна. Для упрощения вычислений удобно использовать ln L( ).

Максимально правдоподобные оценки состоятельны, асимптотически эффективны и асимптотически нормально распределены. Если для параметра существует эффективная оценка, то метод максимального правдоподобия дает именно эту оценку.

Задача 29

Найти МП-оценки математического. ожидания m и дисперсии 2 нормально распределѐнной генеральной совокупности.

Решение: Пусть x1,...,xn - выборка наблюдений случайной величины Х с плотностью распределения

Найдѐм функцию правдоподобия L(m,2)

Логарифмическая функция правдоподобия равна

Используя условия максимума lnL(m,2) получим систему уравнений для нахождения МП-оценок:

99

Из первого уравнения системы находим m 1n xi x

Подставляя это значение во второе уравнение, получаем

2 1n (xi x)2 D*X .

Итак, выборочное среднее x является несмещѐнной и состоятельной оценкой m, а также эффективной оценкой в

случайной величины. Х, имеющей распределение Пуассона с

Найдѐм логарифмическую функцию правдоподобия: ln L( )=-ln(x1!...xn!)(xi)ln-n.

Получим уравнение для определения МП - оценки:

100