1.3. Точечные оценки. Методы нахождения точечных оценок Опорный конспект

Одной из центральных задач математической статистики является задача оценки теоретического распределения случайной величины на основе выборочные данных. При этом предполагается, что закон распределения генеральной совокупности известен, но не известны его параметры, такие, на­пример, как математическое ожидание и дисперсия. Любое значение этих параметров, вычисленное на основании ограниченного количества опытов, все­гда будет содержать элемент случайности. Такое приближенное, случайное значение называют статистической оценкой и обозначают .

Чтобы статистические оценки давали хорошие приближения оцениваемых параметров, они должна удовлетворять определенным требованиям. Эти требования заключаются в том, что оценка должна быть состоятельной, несмещенной и желательно эффективной.

Оценка называется состоятельной, если при неограничен­ном увеличении выборки она сходится по вероятности к оцени­ваемому параметру: для любого > 0.

Оценка называется несмещенной (оценкой без системати­ческой ошибки), если ее математическое ожидание при любом п равно оцениваемому параметру: .

Оценка называется эффективной (в некотором классе оценок), если она имеет минимальную дисперсию в этом классе.

Выборочное среднее является несмещенной и состоятельной оценкой математического ожидания, а несмещенной и состоятельной оценкой дисперсии является исправленная выборочная дисперсия.

Наиболее распространенными методами получения точечных оценок параметров распределения являются: метод моментов, метод максимального правдоподобия (ММП) и метод наименьших квадратов (МНК).

Метод моментов для нахождения точечных оценок неизвестных параметров заданного распределения состоит в приравнивании теоретических моментов распределения к соответствующим эмпирическим моментам, найденным по выборке.

Основу метода максимального правдоподобия составляет функция правдоподобия, выражающая плот­ность вероятности (либо вероятность) совместного появления результатов выборки . Совместное распределение этих величин задается в виде произведения частных распределений (поскольку предполагается, что наблюдения независимы), и, сле­довательно, функция правдоподобия имеет вид

для дискретной случайной величины и

для непрерывной случайной величины.

Согласно методу максимального правдоподобия в качестве оценки неизвестного параметра понимается такое значение , которое максимизирует функцию правдоподобия. Нахож­дение оценки упрощается, если максимизировать не саму фун­кцию правдоподобия, а ее логарифм, так как максимумы L и lnL достигаются при одном и том же значении . Величину lnL иног­да называют логарифмической функцией правдоподобия.

Обычно для отыскания оценки параметра (одного или не­скольких) решают уравнение или систему уравнений правдопо­добия, получаемых приравниванием производной (частных производных) по параметру (параметрам) к нулю: Затемотбирают то решение, которое соответствует максимуму фун­кции lnL, т.е. вторая производная этой функции в данной точке должна быть отрицательна.

Метод нахождения оценки неизвестного параметра, основанный на минимизации суммы квадратов отклонений выборочных данных от определяемой оценки , называетсяметодом наименьших квадратов.

Другими словами, в МНК требуется найти такое значение , которое минимизировало бы сумму