Методы построения оценок (метод моментов, метод максимального правдоподобия)

Рассмотрим методы определения точечных оценок параметров от которых зависит распределение генеральной совокупности X.

В математической статистике разработано большое число методов оценивания неизвестных параметров по данным случайной выборки, из которых в приложениях наиболее часто используются:

- метод моментов;

- метод максимального правдоподобия;

Мы рассмотрим

Метод моментов.

Метод моментов был предложен английским статистиком К. Пирсоном и является одним из первых общих методов оценивания. Он состоит в следующем.

Пусть имеется случайная выборка из генеральной совокупности X, распределение которой известно с точностью до вектора параметров

Требуется найти оценку параметра по случайной выборке .

Будем предполагать, что у случайной величины X существуют первые r моментов: m_k = EX^k, k=1,2…,r. Ясно, что величины m_k являются функциями неизвестного вектора параметров , т.е. m_k = m_k ( )

Рассмотрим выборочные моменты

Выборочные моменты являются состоятельными оценками соответствующих моментов генеральной совокупности X, поэтому при большом объеме выборки m_k , к= 1,…r, можно заменить соответственно моментами и

выборки

В методе моментов в качестве точечной оценки

вектора параметров в берут

статистику , значение которой для любой реализации случайной

выборки получают как решение системы уравнений

k=1,…,r

Можно показать, что при определенных условиях оценка, полученная методом моментов, является состоятельной и имеет асимптотически нормальное распределение, т.е. ее распределение при n→∞ стремится к нормальному.

Замечание 24.10

Метод моментов не применим, когда моменты генеральной совокупности нужного порядка не существуют (например, для распределения Коши, у которого не существует даже начальный момент первого порядка — математическое ожидание ).

Пример 24.7.

Методом моментов найдем оценку параметра θ = p в биномиальной модели, где р есть вероятность „успеха" в любом из п независимых повторных наблюдений, а

случайная величина — число „успехов". Случайной выборкой в данном случае являются n дискретных случайных величин Х_i, каждая из которых принимает значение 1 с вероятностью р и 0 с вероятностью 1—р. При этом

а математическое ожидание .Если в результате n независимых наблюдений мы получили выборочное значение , то уравнение, которое нужно составить согласно методу моментов, имеет вид np = k .

Получаем . Следовательно, точечной оценкой параметра р является относительная частота.

Метод максимального правдоподобия.

Одним из наиболее универсальных методов оценивания параметров является метод максимального правдоподобия (предложенный Р. Фишером), суть которого состоит в следующем.

Рассмотрим функцию правдоподобия случайной выборки

из генеральной совокупности X, распределение которой известно с точностью до параметра в

Определение 24.9

Оценкой максимального правдоподобия параметра в называют статистику , значения в которой для любой выборки х_n удовлетворяют условию , то есть для выборки функция правдоподобия, как функция аргумента достигает наибольшего значения.

Мы исходим из того, что те величины, которые мы наблюдаем, являются наиболее вероятными. Тогда и произведение вероятностей (плотностей) – функция правдоподобия - наблюдаемых значений мы вправе ожидать принимающим наибольшее значение.

Как мы помним из математического анализа необходимым условием экстремума является равенство нулю производной (в случае функции нескольких переменных – частной)

но поскольку взятие производной от большого произведения технически сложно, рассматривают не саму функцию правдоподобия, а ее натуральный логарифм , что упрощает уравнение, а точку экстремума оставляет неизменной.

Определение 24.10

Эти два уравнения называют уравнениями правдоподобия. Для наиболее важных семейств распределений уравнение правдоподобия имеет единственное решение .

Пример 24.8.

Применим метод максимального правдоподобия для оценки параметра θ = р в биномиальной модели, где р имеет смысл вероятности „успеха" в любом из n независимых повторных испытаний (испытаний по схеме Бернулли), в которых было зафиксировано k „успехов".

В рассматриваемом случае значения функции правдоподобия L(k;p) есть вероятность появления к „успехов" в серии из n испытаний. Эта вероятность, как известно, определяется по формуле Бернулли, т.е.

Находя

получаем уравнение правдоподобия в виде

'

откуда получаем = k/n. Нетрудно убедиться в том, что р есть точка максимума L(k;p). Следовательно, оценка максимального правдоподобия вероятности р совпадает с относительной частотой „успеха" в n испытаниях.

Замечание 24.11

Мы рассмотрели метод моментов и метод максимального правдоподобия для дискретных случаев. Для абсолютно непрерывных величин суть методов остается той же, но становится технически более сложной, поэтому мы оставили эту часть за рамками рассмотрения.