6.3.2. Метод максимального правдоподобия
Метод максимального правдоподобия является одним из наиболее универсальных методов оценивания неизвестных параметров распределений.
Пусть - выборка из генеральной совокупности, имеющей функцию распределения , зависящую от неизвестного скалярного параметра (задана параметрическая модель наблюдений).
Если
закон распределения наблюдаемой
случайной величины
является непрерывным, т.е. существует
плотность вероятностей
,
то функция
,
рассматриваемая при фиксированной выборке как функция параметра , называется функцией правдоподобия.
Если
наблюдаемая случайная величина
имеет дискретный закон распределения,
задаваемый вероятностями
,
то функция правдоподобия определяется
равенством:
.
Оценкой
максимального правдоподобия
параметра называется такое значение
параметра
,
при котором функция правдоподобия
при заданной выборке
достигает максимума:
При
фиксированном
функция правдоподобия задает закон
распределения случайного вектора
,
координаты которого
являются копиями наблюдаемой случайной
величины
:
в
случае непрерывном;
в
случае дискретном.
Поэтому смысл метода максимального правдоподобия заключается в том, что в качестве оценки выбирается такое значение параметра , при котором вероятность получения данных выборочных значений , как реализации случайного вектора , максимальна.
Если функция правдоподобия дифференцируема по , то оценку максимального правдоподобия можно найти, решив относительно уравнение правдоподобия
,
естественно, убедившись при этом, что решение доставляет функции правдоподобия именно максимум.
Часто
бывает удобнее исследовать на экстремум
не функцию правдоподобия
,
а ее логарифм
.
Поскольку функции
и
имеют максимум в одной и той же точке в
силу монотонного возрастания
логарифмической функции, то оценку
максимального правдоподобия
можно найти также, решив относительно
равносильное уравнение
правдоподобия
.
Если
параметр
является векторным, то для отыскания
оценки максимального правдоподобия
следует решить систему
уравнений правдоподобия
или равносильную систему уравнений
Все
изложенные результаты остаются в силе
и при оценивании не самого параметра
,
а некоторой параметрической функции
.
Ценность оценок максимального правдоподобия обусловлена следующими их свойствами, справедливыми при весьма общих предположениях (без доказательства):
-
оценка максимального правдоподобия
является состоятельной
оценкой неизвестного параметра
:
;
-
оценка максимального правдоподобия
является асимптотически
эффективной оценкой неизвестного
параметра
:
,
где
- эффективная оценка параметра
;
-
оценка максимального правдоподобия
является асимптотически
нормальной оценкой неизвестного
параметра
,
т.е. при соответствующей нормировке
закон распределения оценки максимального
правдоподобия
является
нормальным:
Это свойство очень важно для нахождения
вероятностей отклонения оценки от
истинного значения параметра.
Однако метод максимального правдоподобия не всегда приводит к несмещенным оценкам и уравнения (системы уравнений) для нахождения оценок максимального правдоподобия могут решаться довольно сложно.
Пример
1.
Наблюдаемая случайная величина
имеет нормальный закон распределения
с
неизвестным математическим ожиданием
и известной дисперсией
,
то есть имеет плотность вероятностей
вида:
.
Найти по выборке
оценку максимального правдоподобия
параметра
.
Решение. Найдем функцию правдоподобия:
.
Найдем логарифм функции правдоподобия:
.
Составим уравнение правдоподобия:
.
Решение уравнения правдоподобия :
,
откуда
.
Таким
образом, в нормальной модели
оценка максимального правдоподобия
является несмещенной, состоятельной и
эффективной оценкой неизвестного
математического ожидания
.
Заметим, что к тому же результату в данной модели приводит и метод моментов, но существенно проще:
,
то есть
.
Пример
2.
Наблюдаемая случайная величина
имеет нормальный закон распределения
с
известным математическим ожиданием
и неизвестной дисперсией
,
то есть имеет плотность вероятностей
вида:
.
Найти по выборке
оценку максимального правдоподобия
параметра
.
Решение. Найдем функцию правдоподобия:
.
Найдем логарифм функции правдоподобия:
.
Составим уравнение правдоподобия:
.
Решение уравнения правдоподобия :
,
откуда
.
Таким
образом, в нормальной модели
оценка максимального правдоподобия
является несмещенной, состоятельной и
эффективной оценкой неизвестной
дисперсии
(показать самостоятельно!).
Заметим, что к тому же результату в данной модели приводит и метод моментов, но существенно проще:
,
то есть
.
Пример
3.
Наблюдаемая случайная величина
имеет нормальный закон распределения
с
неизвестным математическим ожиданием
и неизвестной дисперсией
,
то есть имеет плотность вероятностей
вида:
.
Найти по выборке
оценку максимального правдоподобия
параметра
.
Решение. Найдем функцию правдоподобия:
.
Найдем логарифм функции правдоподобия:
.
Для нахождения оценки максимального правдоподобия двумерного параметра составим систему уравнений правдоподобия:
.
Решение системы уравнений правдоподобия:
Таким
образом, в общей нормальной модели
оценка максимального правдоподобия
.
При этом, выборочное среднее
является несмещенной, состоятельной и
эффективной оценкой неизвестного
математического ожидания
,
а выборочная дисперсия
является асимптотически несмещенной,
состоятельной и асимптотически
эффективной оценкой неизвестной
дисперсии
.
Заметим, что к тому же результату в данной модели приводит и метод моментов, но существенно проще:
,
то есть
.
Пример 4. Наблюдаемая случайная величина имеет закон распределения Пуассона с неизвестным параметром :
.
Найти по выборке оценку максимального правдоподобия параметра .
Решение. Найдем функцию правдоподобия:
Найдем логарифм функции правдоподобия:
.
Составим уравнение правдоподобия:
.
Решение уравнения правдоподобия :
, откуда .
Заметим, что к такому же результату в данной модели приводит и метод моментов.