1.3 Метод максимального правдоподобия (ммп)

Метод максимального правдоподобия (метод МП) предложен Рональд Айлмер Фишером в 1912. Идея ММП такова.

В ходе сбора и обработки данных о наработках и отказах объекта (изделия, устройства) получена информация, которую будем рассматривать как полную выборку из генеральной совокупности исследуемых объектов . Эта выборка - совокупность возможных значений независимых, одинаково распределенных случайных величин.

Принимается гипотеза о виде функции распределения или плотности распределения , где и - параметры распределения, подлежащие определению.

Исследуется вероятность получения выборки , рассматриваемой как совокупность возможных значений независимых, одинаково распределенных случайных величин. Эта вероятность равна:

,

где – совместная плотность распределения векторной случайной величины с компонентами . Это вероятность того, что будут получены отказы в моменты .

Вводится функция правдоподобия

,

которая должна быть максимизирована по параметрам . Это оценка вероятности появления сложного события - совместного появления значений элементов выборки .

Пусть – вектор параметров. Тогда оценкой максимального правдоподобия неизвестного вектора распределения непрерывной случайной величины называют такое его значение для которого функция правдоподобия принимает наибольшее значение при полученных выборочных данных . Это можно в общем виде записать

.

Необходимое и достаточное условие максимума в точке имеет вид:

; .

Выражение в левой части неравенства представляет собой матрицу Гессе, которая должна быть симметричной и отрицательно определенной. При наличии нескольких максимумов необходимо выбрать наибольший.

Удобно использовать функцию , имеющую максимум в той же точке, что и . Если , т.е. имеем два параметра, то необходимые условия оптимальности представляют собой два алгебраические уравнения

_,

которые и являются уравнениями правдоподобия. Решение системы уравнений дает оптимальные значения параметров

При выполнении достаточно общих условий эти оценки являются состоятельными и асимптотически эффективными. В общем случае оценки являются смещенными (см. на с. 544 в кн. Крамер Г. «Математические методы статистики». – М.: Мир, 1975. – 648 с.). В литературе отмечается, что метод максимального правдоподобия является достаточно универсальным и плодотворным методом оценивания. Более того, он полезен и при малых выборках, в том числе усеченных (или цензурированных), алгоритмы обработки которых мы рассмотрим ниже.

Здесь же рассмотрим уравнения правдоподобия для наиболее употребительных стандартных распределений.

Для экспоненциального распределения с плотностью вероятности функция правдоподобия имеет вид или _.

Необходимое условие экстремума при этом имеет вид из которого находим решение . Кроме того, очевидно, что при равна , то есть отрицательна. Значит, оценка есть оценка максимального правдоподобия.

Для нормального распределения с плотностью

функция правдоподобия или

Необходимые условия экстремум

_.

Решая эту систему уравнений, получим искомые оценки

и

_{Заметим, что оценка дисперсии смещена. И следует ввести поправку Бесселя, т.е. умножить на коэффициент N/(N-1). Матрица Гессе – диагональная с отрицательными элементами на главной диагонали .}

_{Для других более «сложных» распределений решение задачи существенно усложняется в связи с необходимостью решение достаточно сложных нелинейных алгебраических уравнений. И мы их рассмотрим более подробно ниже.}