39. Метод максимального правдоподобия.

Сущность метода

Основная статья: Праводоподобие принятой последовательности

Пусть есть выборка   из распределения  , где   — неизвестные параметры. Пусть   — функция правдоподобия, где  . Точечная оценка

называется оце́нкой максима́льного правдоподо́бия параметра  . Таким образом оценка максимального правдоподобия — это такая оценка, которая максимизирует функцию правдоподобия при фиксированной реализации выборки.

Часто вместо функции правдоподобия   используют логарифмическую функцию правдоподобия  . Так как функция   монотонно возрастает на всей области определения, максимум любой функции   является максимумом функции  , и наоборот. Таким образом

,

Если функция правдоподобия дифференцируема, то необходимое условие экстремума - равенство нулю ее градиента:

Достаточное условие экстремума может быть сформулировано как отрицательная определенность гессиана - матрицы вторых производных:

Важное значение для оценки свойств оценок метода максимального правдоподобия играет так называемая информационная матрица, равная по определению:

В оптимальной точке информационная матрица совпадает с математическим ожиданием гессиана, взятым со знаком минус:

Свойства

• Оценки максимального правдоподобия, вообще говоря, могут быть смещёнными (см. примеры), но являютсясостоятельными, асимптотически эффективными и асимптотически нормальными оценками. Асимптотическая нормальность означает, что

где   - асимптотическая информационная матрица

Асимптотическая эффективность означает, что асимптотическая ковариационная матрица   является нижней границей для всех состоятельных асимптотически нормальных оценок.

• Если   — оценка метода максимального правдоподобия, параметров  , то   является оценкой максимального правдоподобия для  , где g-непрерывная функция (функциональная инвариантность). Таким образом, законы распределения данных можно параметризовать различным образом.

Условный метод максимального правдоподобия

Условный метод максимального правдоподобия (Conditional ML) используется в регрессионных моделях. Суть метода заключается в том, что используется не полное совместное распределение всех переменных (зависимой и регрессоров), а только условное распределение зависимой переменной по факторам, то есть фактически распределение случайных ошибок регрессионной модели. Полная функция правдоподобия есть произведение «условной функции правдоподобия» и плотности распределения факторов. Условный ММП эквивалентен полному варианту ММП в том случае, когда распределение факторов никак не зависит от оцениваемых параметров. Это условие часто нарушается в моделях временных рядов, например вавторегрессионной модели. В данном случае, регрессорами являются прошлые значения зависимой переменной, а значит их значения также подчиняются той же AR-модели, то есть распределение регрессоров зависит от оцениваемых параметров. В таких случаях результаты применения условного и полного метода максимального правдоподобия будут различаться.

40. Способы сравнения оценок. Среднеквадратический подход. Эффективные оценки.    Пусть   - выборка объема   из параметрического семейства распределений  , где  .

Определение 8.

Говорят, что оценка   лучше оценки   в смысле среднеквадратического подхода, если для любого    , и хотя бы при одном   это неравенство строгое.

Оценки могут быть несравнимы: например, при некоторых 

 ,

при других   - наоборот.

Существует ли среди всех оценок наилучшая в смысле среднеквадратического подхода? Скептик с философским взглядом на мир сразу ответит "нет". Докажем, что он прав.

Теорема 6.

В классе всех возможных оценок наилучшей оценки в смысле среднеквадратического подхода не существует.

Доказательство теоремы 6.  Пусть, напротив,   - наилучшая, то есть для любой другой оценки  , при любом 

Пусть   - произвольная точка  . Рассмотрим оценку (статистику)  . Тогда

при любом   . Возьмем   и получим следующее неравенство:

Поэтому   . В силу произвольности   это выполнено при любом   :

Но это возможно только если   (оценка в точности отгадывает неизвестный параметр). То есть   даже не является статистикой. Такого типа примеры привести можно (например, по выборке из   можно точно указать   ), но математической статистике здесь делать нечего.

Упражнение. Объяснить словесно доказательство теоремы 6.

Если в очень широком классе всех оценок наилучшей не существует, то, возможно, следует сузить класс рассматриваемых оценок (или разбить класс всех оценок на отдельные подклассы и в каждом искать наилучшую).

Обычно рассматривают оценки, имеющие одинаковое смещение   . Обозначим через   класс оценок, имеющих смещение   :

Здесь   - класс несмещенных оценок.

Определение 9.

Оценка   называется эффективной оценкой в классе   , если она лучше (не хуже) всех других оценок класса   в смысле среднеквадратического подхода. То есть для любой   , для любого

Определение 10.

Эффективная оценка в классе   (несмещенных оценок) называется просто эффективной.

Замечание 9. Для  , по определению дисперсии,

так что сравнение в среднеквадратичном несмещенных оценок - это сравнение их дисперсий. Поэтому эффективную оценку (в классе   ) часто называют несмещенной оценкой с равномерно минимальной дисперсией. Равномерность подразумевается по всем  . Для 

так что сравнение в среднеквадратичном оценок с одинаковым смещением - это также сравнение их дисперсий.