Конспект лекций Глазова / 12.3. Мет макс правдопод

12.3. Метод максимума правдоподобия.

Этот регулярный метод оценивания более сложен в реализации, чем метод моментов, но в большинстве случаев дает оценки более высокого качества. В осознанной и изученной форме метод предложен Р. Фишером в 1921 г., хотя в неявной форме он применялся еще Гауссом в начале 19 века. В данном пункте мы рассмотрим метод максимума правдоподобия (метод МП) в применении к оценке параметров непрерывного распределения; применение в случае дискретного распределения будет показано непосредственно на примерах (см. п. 12.4).

Идея метода. Пусть имеется класс распределений , с одним параметром а и получена выборка x=(x₁, x₂, ..., x_n). При заданной выборке ее плотность вероятности есть функция от а, называемая функцией правдоподобия:

.

В качестве оценки максимума правдоподобия параметра а (МП-оценки) возьмем то значение , при котором L (при заданном x) максимально. Естественно, что при другой заданной выборке значение , доставляющее максимум L, будет, вообще говоря, уже другим; значит построенная таким способом оценка есть функция от x, т. е. статистика. Найти для данного класса распределений МП-оценку параметра a, значит для каждого возможного x найти такую , что

,

т. е. найти такую функцию , что

.

Вышесказанное о функции правдоподобия относится и к случаю дискретного распределения генеральной СВ (см. п. 11.3).

Уравнение правдоподобия. В дальнейшем будем считать, что дважды дифференцируема по а на . Стационарные (подозрительные на экстремум) точки функции правдоподобия - это корни уравнения

,

(12.3.1)

называемого уравнением правдоподобия. Если хотя бы одна стационарная точка a_m на существует, то достаточным (но не необходимым) условием того, что она есть локальный максимум (а не точка перегиба и не минимум), является неравенство

;

(12.3.2)

если ни один локальный максимум на не существует, то максимум реализуется на границе .

Чаще всего (но не всегда) проще решать не уравнение (12.3.1), а эквивалентное ему уравнение

,

называемое логарифмическим уравнением правдоподобия. Достаточное условие, что его корень есть локальный максимум, имеет вид

.

Если локальных максимумов несколько, берется тот из них, при котором достигается максимальное значение L. Если имеет хотя бы одну границу, то значения в точках локальных максимумов сравнивается со значениями L на границах и берется та точка, в которой L максимальна (эта точка называется глобальным максимумом). Т. о. математически МП-оценка это глобальный максимум функции (логарифмической функции) правдоподобия.

Алгоритм построения МП-оценки как функции .

1)Для данной модели, т.е. совокупности класса распределений и оцениваемого параметра, записываем выражение плотности вероятности выборки; если выборка простая, то

;

далее рассматриваем эту плотность как функцию а, т. е. как функцию правдоподобия выборки. Аналогично поступаем и в случае дискретного распределения генеральной СВ (см. п. 12.4).

2) Находим логарифмическую функцию правдоподобия ; для простой выборки

.

3) Дифференцированием обеих функций правдоподобия и приравниванием нулю записываем уравнение правдоподобия и логарифмическое уравнение правдоподобия; оставляем то из них, которое проще решить.

4) Решаем выбранное уравнение. Если корни уравнения не выражаются через выборочные значения в явном виде, прибегаем к приближенным методам решений уравнений, например, к методу Ньютона-Рафсона.

5) Для каждого корня уравнения проверяем, является ли он точкой максимума, минимума или точкой перегиба.

6) Устанавливаем, имеются ли границы в области определения оцениваемого параметра а. Путем сравнения значений L в локальных максимумах и на границах находим глобальный максимум в форме функции . Это и есть искомая оценка.

Случай нескольких параметров. Метод максимума правдоподобия можно применять и в случае, когда требуется оценить несколько параметров распределения. Пусть имеется класс распределений с m параметрами и получена выборка x=(x₁, x₂, ..., x_n) объемом n. При заданной выборке ее плотность вероятности есть функция m переменных от а, называемая m-мерной функцией правдоподобия:

.

В качестве оценки максимума правдоподобия вектора параметров а (МП-оценки) возьмем то значение , при котором L (при заданном x) максимально. Это значение является или одним из корней системы уравнений правдоподобия

,

(12.3.3)

или достигается на границе m-мерной области . В подробной записи система (12.3.3) выглядит как

,

,

......................

......................

,

а система логарифмических уравнений правдоподобия

,

как

,

,

......................

......................

.

Достаточное условие того, что решение любой из этих систем есть локальный максимум, имеет вид

detB<0,

где

, i,j=1, 2, ..., m

- матрица вторых производных. Алгоритм построения МП-оценки как функции тот же, что в случае оценки одного параметра.

Свойства МП-оценок. МП-оценки обладают рядом замечательных свойств, которые в совокупности делают метод максимума правдоподобия лучшим из известных регулярных методов оценивания. Перечислим эти свойства без доказательства.

1. МП-оценка всегда состоятельна.

2. Если в данном классе распределений с параметром а для какой-то функции существует НГД-оценка (т. е. данный класс есть экспоненциальное семейство, см. п. 11.3), то:

а) уравнение правдоподобия имеет единственный корень, доставляющий МП-оценку ;

б) НГД-оценка для равна .

3. Если в данном классе распределений с параметром а НГД-оценка не существует ни для какой функции от параметра а (т. е. данный класс не является экспоненциальным семейством), то уравнение правдоподобия не обязано иметь единственный корень.

4. При выполнении условий регулярности (см. п. 11.3) МП-оценка:

а) асимптотически эффективна;

б) асимптотически нормальна.

5. МП-оценка может быть смещенной, но всегда асимптотически несмещенна.