3.4.4 Метод наибольшего (максимального) правдоподобия

Задача оценки параметров распределения заключается в получении наиболее правдоподобных оценок неизвестных параметров распределения генеральной совокупности на основании выборочных данных. Кроме метода моментов для определения точечной оценки параметров распределения используется также метод наибольшего правдоподобия. Метод наибольшего правдоподобия был предложен английским статистиком Р. Фишером в 1912 г.

Пусть для оценки неизвестного параметра  случайной величины Х из генеральной совокупности с плотностью распределения вероятностей p(x)= p(x, ) извлечена выборка x₁,x₂,…,x_n. Будем рассматривать результаты выборки как реализацию n-мерной случайной величины (X₁,X₂,…,X_n). Рассмотренный ранее метод моментов для получения точечных оценок неизвестных параметров теоретического распределения не всегда дает наилучшие оценки. Методом поиска оценок, обладающих необходимыми (наилучшими) свойствами, является метод максимального правдоподобия.

В основе метода максимального правдоподобия лежит условие определения экстремума некоторой функции, называемой функцией правдоподобия.

Функцией правдоподобия ДСВ Х называют функцию аргумента :

L (x₁,x₂,…,x_n; )=p(x₁; ) p(x₂; )… p(x_n; ),

где x_1,…, x_n – фиксированные варианты выборки,  – неизвестный оцениваемый параметр, p(x_i; ) – вероятность события X=x_i.

Функцией правдоподобия НСВ Х называют функцию аргумента :

L (x₁,x₂,…,x_n; )=f(x₁; ) f(x₂; )… f(x_n; ),

где f(x_i; ) – заданная функция плотности вероятности в точках x_i.

В качестве точечной оценки параметров распределения  принимают такое его значение при котором функция правдоподобия достигает своего максимума. Оценкуназываютоценкой максимального правдоподобия. Т.к. функции L и L достигают своего максимума при одинаковых значениях , то обычно для нахождения экстремума (максимума) используют L как более удобную функцию.

Для определения точки максимума L надо воспользоваться известным алгоритмом для вычисления экстремума функции:

1. найти первую частную производную ;

2. приравняв производную к нулю, найти корень уравнения – критическую точку ;

3. найти вторую частную производную в точкеx, если <0, в точке=функция L достигает своего максимума.

В том случае, когда плотность вероятности зависит от двух неизвестных параметров – ₁ и ₂, то находят критические точки, решив систему уравнений:

Итак, согласно методу наибольшего правдоподобия, в качестве оценки неизвестного параметра  принимается такое значение *, при котором распределения выборкиx₁,x₂,…,x_n максимальна.

Задача 8. Найдем методом наибольшего правдоподобия оценку для вероятностиp в схеме Бернулли,

Проведем n независимых повторных испытаний и измерим число успехов, которое обозначим m. По формуле Бернулли вероятность того, что будет m успехов из n –– есть функция правдоподобия ДСВ.

Решение: Составим функцию правдоподобия .

Согласно методу наибольшего правдоподобия, найдем такое значение p, которое максимизирует L, а вместе с ней и ln L.

Тогда логарифмируя L, имеем:

Производная функции lnL по p имеет вид и в точке экстремума равна нулю. Поэтому, решив уравнение, имеем.

Проверим знак второй производной в полученной точке:

. Т.к. при любых значениях аргумента, то найденное значениеp есть точка максимума.

Значит, – наилучшая оценка для.

Итак, согласно методу наибольшего правдоподобия, оценкой вероятности p события А в схеме Бернулли служит относительная частота этого события .

Если выборка x₁, x₂,…, x_n извлечена из нормально распределенной совокупности, то оценки для математического ожидания и дисперсии методом наибольшего правдоподобия имеют вид:

.

Найденные значения совпадают с оценками этих параметров, полученными методом моментов. Т.к. дисперсия смещена, то ее необходимо умножить на поправку Бесселя. Тогда она примет вид , совпадая с выборочной дисперсией.

Задача 9. Пусть дано распределение Пуассона где приm=x_i имеем . Найдем методом наибольшего правдоподобия оценку неизвестного параметра.

Решение:

Составив функцию правдоподобия L и ее логарифм ln L. Имеем:

.

Найдем производную от lnL: и решим уравнение . Полученная оценка параметра распределения примет вид: Тогдат.к. привторая частная производнаято это точка максимума. Т.о., в качестве оценки наибольшего правдоподобия параметра для распределения Пуассона можно принять выборочное среднее.

Можно убедиться, что при показательном распределении функция правдоподобия для выборочных значенийx₁, x₂, …, x_n имеет вид:

.

Оценка параметра распределения  для показательного распределения равна: .

Достоинством метода наибольшего правдоподобия является возможность получить «хорошие» оценки, обладающие такими свойствами, как состоятельность, асимптотическая нормальность и эффективность для выборок больших объемов при самых общих условиях.

Основным недостатком метода является сложность решения уравнений правдоподобия, а также то, что не всегда известен анализируемый закон распределения.