§ 4. Метод максимального правдоподобия

Метод максимального правдоподобия точечной оценки неизвестных параметров заданного распределения сводится к отысканию максимума функции одного или нескольких оцениваемых параметров.

Дискретные случайные величины. Пусть - дискретная случайная величина, которая в результате опытов приняла возможные значения . Допустим, что вид закона распределения величины задан, но неизвестен параметр , которым определяется этот закон. Требуется найти его точечную оценку

Обозначим вероятность того, что в результате испытания величина примет значение через .

Функцией правдоподобия дискретной случайной величины называют функцию аргумента :

Оценкой максимального правдоподобия параметра называют такое его значение , при котором функция правдоподобия достигает максимума.

Функции и достигают максимума при одном и том же значении , поэтому вместо отыскания максимума функции ищут, что удобнее, максимум функции .

Логарифмической функцией правдоподобия называют функцию .

Точку максимума функции аргумента можно искать, например, так:

1. Найти производную

2. Приравнять производную нулю и найти критическую точку - корень полученного уравнения (его называют уравнением правдоподобия).

3. Найти вторую производную если вторая производная при отрицательна, то - точка максимума.

Найденную точку максимума принимают в качестве оценки максимального правдоподобия параметра

Непрерывные случайные величины. Пусть - непрерывная случайная величина, которая в результате испытаний приняла значения . Допустим, что вид плотности распределения функции задан, но неизвестен параметр , которым определяется эта функция.

Функцией правдоподобия непрерывной случайной величины называют функцию аргумента

Оценку максимального правдоподобия неизвестного параметра распределения непрерывной случайной величины ищут так же, как в случае дискретной случайной величины.

Если плотность распределения непрерывной случайной величины определяется двумя неизвестными параметрами и , то функция правдоподобия есть функция двух независимых аргументов и :

Далее находят логарифмическую функцию правдоподобия и для отыскания ее максимума составляют и решают систему

Примеры с решениями

Пример 1. Найти методом максимального правдоподобия точечную оценку неизвестного параметра (вероятность появления события в одном испытании) биномиального распределения:

где - число появлений события в -м опыте, - количество испытаний в одном опыте, -число опытов.

Решение. В данном случае функция правдоподобия имеет вид:

Учитывая, что и получим

или

Напишем логарифмическую функцию правдоподобия:

Найдем первую производную по :

Приравняем первую производную нулю и решим полученное уравнение. Получим критическую точку:

Найдем вторую производную по :

Легко проверить, что при вторая производная отрицательна, следовательно, эта точка есть точка максимума и ее надо принять в качестве оценки максимального правдоподобия неизвестной вероятности биномиального распределения:

Очевидно, что если появлений события наблюдалось в опытах, то

Пример 2. Найти методом максимального правдоподобия по выборке точечную оценку неизвестного параметра показательного распределения, плотность которого

Решение. Составим функцию правдоподобия

учитывая, что и, следовательно,

Найдем логарифмическую функцию правдоподобия:

Найдем первую производную по

Запишем уравнение правдоподобия, для чего приравняем первую производную нулю:

Найдем критическую точку, для чего решим полученное уравнение относительно

Найдем вторую производную по

Легко проверить, что при вторая производная отрицательна, следовательно, эта точка есть точка максимума. Значит, в качестве оценки максимального правдоподобия надо принять величину, обратную выборочной средней:

Задачи

Задача 1. Случайная величина имеет геометрическое распределение:

где - число испытаний, произведенных до появления события, - вероятность появления события в одном испытании, . Найти методом максимального правдоподобия точечную оценку параметра .

Задача 2. Найти методом максимального правдоподобия по выборке точечную оценку параметра гамма-распределения (параметр известен), плотность которого

.

Задача 3. Случайная величина (число появлений события в независимых испытаниях) подчинена закону распределения Пуассона с неизвестным параметром :

где - число испытаний в одном опыте, -число появлений события в -м опыте ( ). Найти методом максимального правдоподобия по выборке точечную оценку неизвестного параметра распределения Пуассона.