П. 3 Методы нахождения точечных оценок

Универсального метода нахождения точечных оценок не существует. Имеется несколько хорошо зарекомендовавших себя методов нахождения этих оценок. Рассмотрим некоторые из них.

1. Метод моментов (Пирсона). Пусть известен закон распределения случайной величины X, содержащий неизвестные параметры . Произведём выборку объемаn этой случайной величины. По методу моментов k выборочных моментов приравниваются к k первым моментам случайной величины X. Из полученной системы уравнений и находим оценки параметров.

Так, если распределение зависит от одного параметра θ (например, задан вид плотности распределения ), то для нахождения его оценки надо решить относительноθ одно уравнение:

. (4)

(есть функция отθ).

Если распределение зависит от двух параметров (например, вид плотности распределения ), то надо решить относительноθ₁ и θ₂ систему уравнений:

(5)

И, наконец, если надо оценить n параметров - надо решить одну из систем вида:

или (6)

Метод моментов является наиболее простым методом оценки параметров. Он был предложен в 1894 г. английским математиком К. Пирсоном. Оценки методом моментов, как правило, состоятельны, однако их эффективность часто значительно меньше единицы.

2. Метод максимального правдоподобия (МП-метод). Этот метод разработан английским математиком Р.Э. Фишером. Оценки, получаемые с его помощью, как правило, являются наиболее надёжными и особенно предпочтительны в случае малого числа наблюдений.

Метод максимального правдоподобия состоит в определении оценок , максимизирующих функцию правдоподобия. Эта функция строиться следующим образом. Пусть- результаты наблюдений случайных величин, совместное распределение вероятностей которых зависит от неизвестных параметров, т.е. представляет собой условную плотность вероятностей. Условная плотность совместного распределения вероятностей случайных величинназываетсяфункцией правдоподобия. При фиксированных значениях выборки функция правдоподобия является только функцией неизвестных параметров, т.е..

По методу максимального правдоподобия в качестве оценок для выбираются такие значения, при которых «наблюдаемые» величинынаиболее вероятны, другими словами, значениямаксимизируют функцию правдоподобия.

Пусть X – дискретная случайная величина и ,- её закон распределения вероятностей. Тогда вероятность того, что элементы выборки (независимые случайные величины) примут конкретные значения, определяется равенством

.

Поскольку эта функция определяет совместное распределение вероятностей, то, следовательно, она является функцией правдоподобия. Таким образом, для дискретной случайной величины с законом распределения функция правдоподобия определяется соотношением

. (7)

При оценке параметров распределения непрерывной случайной величины X с плотностью распределения по МП-методу функция правдоподобия определяется следующим образом:

, (8)

где - произведение.

Оценка параметров θ_i, построенная по выборочным значениям случайной величины X и максимизирующая функцию , называетсяоценкой максимального правдоподобия или МП-оценкой.

Для упрощения вычислений МП-оценок часто бывает удобным рассматривать логарифм функции правдоподобия, т.е. .

При максимизации функции (8) x_i считаются фиксированными, а МП-оценки параметров определяются решением системы уравнений

, (9)

или

. (10)

Системы (9) или (10) называются системами уравнений правдоподобия.

Замечание: МП-метод не всегда даёт оценки, удовлетворяющие требованиям несмещённости, эффективности и состоятельности.

3. Метод наименьших квадратов. Пусть требуется измерить некоторую величину X и по результатам n измерений ,, гдеε_i – ошибки измерений, а θ – точное значение измеряемой величины.

По методу наименьших квадратов требуется найти такое значение , являющееся оценкой неизвестного параметраθ, которое минимизирует функцию

, (11)

т.е. минимизирует сумму квадратов отклонений выборочных данных от параметра θ.