Метод максимального правдоподобия.

Одним из основных методов получения оценок параметров генеральной совокупности по данным выборки является метод максимального правдоподобия, предложенный Р.Фишером. Основу метода составляет функция правдоподобия, выражающая плотность вероятности (либо вероятность) совместного появления результатов выборки х₁, х₂, ..., х_n. Совместное распределение этих величин задается в виде произведения частных распределений, поскольку предполагается, что наблюдения независимы, и, следовательно, функция правдоподобия имеет вид

L(х₁, x₂, ..., x_n, ) =

в случае дискретного распределением, заданного вероятностями P(x,), и

L(x₁, x₂, ..., x_n, ) =

в случае непрерывного распределения с плотностью f(x,).

Из определения функции правдоподобия следует, что чем вероятнее (правдоподобнее) оказывается набор значений (х₁.х₂,…,х_n) случайной величины ξ, при фиксированном θ, тем больше значение функции правдоподобия. Поэтому в качестве оценки неизвестного параметра  принимается такое значение , которое максимизирует функцию правдоподобия.

Если параметр , где  - замкнутая область допустимых значений параметра, то мы имеем задачу математического программирования:

найти такое , чтобы L( )=

Поиск оценки упрощается, если максимизировать не саму функцию правдоподобия, а её логарифм, потому что максимумы L(Х,θ) и lnL(Х,θ) достигаются при одном и том же значении параметра . Функцию l_n(x₁,...,x_n,) =lnL(Х,θ) называют логарифмической функцией правдоподобия.

Если максимум функции l_n(x₁,...,x_n,) достигается внутри допустимой области , то в точке максимума выполняются необходимые условия экстремума:

=0, для любого i = 1,2,…,k или =0.

Полученная система уравнений называется уравнениями правдоподобия. Корни этой системы  =(_⁽ⁿ⁾,_⁽ⁿ⁾,…,_k⁽ⁿ⁾) могут соответствовать максимуму, минимуму функции L(x₁,...,x_n,), а также являться точками перегиба. Необходимо проверить, что полученное решение  есть точка максимума.

Отсюда следующий алгоритм для отыскания оценки параметра : решают уравнение или систему уравнений правдоподобия, получаемых приравниванием производной (частных производных) по параметру (параметрам)  нулю: . Затем отбирают то решение, которое соответствует именно максимуму функции lnL, то есть вторая производная в данной точке должна быть отрицательной: Иногда функция правдоподобия имеет несколько максимумов, и приходится искать наибольший среди них.

Иногда этот алгоритм не действует, поскольку функция правдоподобия достигает максимума не во внутренней точке, а на границе некоторой области, либо когда она не дифференцируема в точке максимума. Такие случаи называют нерегулярными.

Достаточные условия регулярности (в одномерном случае) следующие:

1. в интервале всех возможных значений параметра  плотность f(x,) трижды дифференцируема по , причем , где , C не зависит от ;

2. тождество можно дважды дифференцировать под знаком интеграла по параметру θ;

3. информация Фишера конечна и положительна.

Теорема Если выполнены условия регулярности 1–3, то:

1. решение уравнения правдоподобия существует;

2. – состоятельная оценка параметра ;

3. распределение оценки асимптотически нормально c параметрами  и .

4. оценка максимального правдоподобия асимптотически эффективна.

Если для оценки максимального правдоподобия выполнены условия теоремы 7.4.1 (теорема Рао-Фреше-Крамера), то справедливо утверждение:

Теорема Если эффективная (по Рао-Фреше-Крамеру) оценка существует, то она является оценкой максимального правдоподобия.

Однако, это не означает, что любая оценка максимального правдоподобия эффективна. Но если оценка максимального правдоподобия оказывается неэффективна, это значит, что эффективных оценок вообще нет, хотя при этом могут существовать оценки с дисперсией, сколь угодно близкой к минимальной _n.

Следует также отметить, что метод максимального правдоподобия иногда дает те же оценки, что и метод моментов, а иногда – другие. Бывает, что ни один из этих методов не дает хороших оценок, и приходится использовать другие методы.

А. Дискретные распределения

Задача Найти методом максимального правдоподобия оценку вероятности "успеха"  в схеме испытаний Бернулли.

Решение. Рассмотрим случайную величину =

тогда функция вероятностей случайной величины  запишется в виде

Р(х, ) =

Логарифмическая функция правдоподобия для одного испытания будет иметь вид

l₁()= ln P(x,) =

Для n испытаний и m “успехов” в n испытаниях получаем

l_n ()= m ln + (n–m) ln(1–).

Отсюда приравнивая производную нулю l_n() = =0, получим оценку = . Проверим знак второй производной: l''_n()= .

Таким образом, относительная частота появления события является оценкой вероятности «успеха» в одном испытании Бернулли, найденной методом максимального правдоподобия. Поскольку , то оценка является несмещенной оценкой вероятности.

Задача Найти методом максимального правдоподобия оценку параметра  распределения Пуассона.

Решение. Выпишем функцию правдоподобия:

L = .

Найдем точку максимума логарифмической функции правдоподобия, для чего приравняем к нулю ее первую производную по :

ln L = ( ) ln  n  ln(x₁!x₂!…x_n!) , = = 0.

Получаем ^* = . Убедимся, что полученное значение  является точкой максимума. Для этого найдем вторую производную и проверим ее знак в точке ^*: Если в последнее уравнение подставить

^*= , то вторая производная будет отрицательна, значит является точкой максимума.