8. Статистическое оценивание параметров модели. Метод моментов. Метод максимального правдоподобия.

Пусть задана выборка конечного объема x_i,  . Положим, что известна гипотетическая модель, описывающая эмпирические данные с точностью до неизвестных параметров  .  Задача статистического оценивания параметров состоит в поиске таких оценок  , являющихся функциями элементов выборки

,

которые являются лучшими в смысле некоторых критериев качества.

Точечное оценивание параметров можно осуществлять методами:

• моментов (М-оценивание);

• максимального правдоподобия (МП-оценивание);

• минимума   (МХК-оценивание);

• робастными (устойчивыми к отклонению модели от номинальной);

• другими.

Рассмотрим оценивание параметров методами моментов и максимального правдоподобия.

Метод моментов. Пусть некоторая непрерывная случайная величина Х описывается моделью  . Необходимо оценить неизвестные параметры   модели по выборке конечного объема X = {x_i,  }, полученной из генеральной совокупности.  Суть М-оценивания состоит в приравнивании оценок моментов (начальных, центральных) эмпирического распределения соответствующим теоретическим моментам выбранной модели, являющимся функциями неизвестных параметров модели, и в решении полученной системы уравнений.  Количество уравнений в системе определяется количеством искомых параметров.  Начальные и центральные теоретические моменты порядка k могут быть получены из выражений

а их оценки   – по выборке объема n. Полагая, что   являются состоятельными оценками характеристик m_k( ) и m_k( ), приравняем их друг другу и получим систему уравнений

решая ее относительно неизвестных параметров  , получим М-оценки  м

Метод максимального правдоподобия. Пусть в результате статистического наблюдения получена выборка X = {x_i,  }, которая описывается некоторой моделью   Согласно методу максимального правдоподобия /1, 3, 5, 10/ искомые оценки   определяются из условия

,

где L – функция правдоподобия, определяемая как

. При условии независимости элементов выборки хi выражение (31) дает отсчет совместной плотности вероятностей – меру правдоподобия получения {хi} при каждом формальном  . Следовательно, можно найти значение  , максимизирующее функцию правдоподобия.  Вместо L удобнее работать с ln L, поскольку от работы с произведением можно перейти к работе с суммой. Кроме того, в большинстве случаев удается избавиться от экспоненциальной зависимости в плотности распределения вероятности.  Таким образом, МП-оценки параметров   можно найти из системы уравнений: где k – количество искомых оценок параметров.  8. Пусть необходимо оценить параметры a и l экспоненциальной модели методом максимального правдоподобия. Составим функцию правдоподобия L и получим lnL МП-оценки   и   найдем из системы уравнений: , что недопустимо. Следовательно, оценка   для экспоненциальной модели не существует. Действительно, в точке х = a плотность вероятности экспоненциального распределения претерпевает разрыв первого рода.  Найдем  . ,  ,  . .