Модуль 4 Лекция 24. Статистические оценки

Понятие оценки как функции выборки.

Виды оценок

Точечные оценки. Свойства несмещенности, состоятельности и эффективности.

Неравенство Рао-Крамера

Отыскание оценок методом моментов.

Метод максимального правдоподобия.

Интервальные оценки. Доверительные интервалы и области.

Лемма Фишера Приложение: распределения Стьюдента и ²

Понятие оценки. Виды оценок

Рассмотрим следующую общую задачу. Имеется случайная величина , закон распределения которой содержит неизвестный параметр . Требуется найти подходящую оценку для параметра  по результатам n независимых опытов, в каждом из которых величина X приняла определенное значение.

Обозначим наблюденные значения случайной величины

.                      

Их можно рассматривать как n «экземпляров» случайной величины X, то есть n  независимых случайных величин, каждая из которых распределена по тому же закону, что и случайная величина .

Обозначим  оценку для параметра . Любая оценка, вычисляемая на основе материала, должна представлять собой функцию величин (Х₁… ,Х_n ):

= (Х₁… ,Х_n )            

и, следовательно, сама является величиной случайной. Закон распределения  зависит, во-первых, от закона распределения величины X (и, в частности, от самого неизвестного параметра ); во-вторых, от числа опытов n. В принципе этот закон распределения может быть найден известными методами теории вероятностей.

Предъявим к оценке  ряд требований, которым она должна удовлетворять, чтобы быть в каком-то смысле «доброкачественной» оценкой.

Пусть (Х₁… ,Х_n ) ­ выборка из распределения P и F(x) и F_n(х) ­ соответственно теоретическая и эмпирическая функции распределения. На

F_n(х) можно смотреть как на функцию распределения некоторой дискретной

случайной величины, принимающей n значений: Х₁… ,Х_n ­ c вероят­ностями, равными 1/n (если какое­-либо значение встретится в выборке k

раз, то этому значению соответствует вероятность k/n). Об этом распреде­лении говорят как об эмпирическом (экспериментальном) или выборочном распределении (отсюда и термин эмпирическая функция распределения для F_n(х) ) Как для исходного распределения P вводятся различные числовые характеристики (математическое ожидание, или среднее, дисперсия, моменты и т. д.), так и для эм­пирическогo распределения, связанного с выборкой (Х₁… ,Х_n ), вводятся аналогичные характеристики, называемые эмпирическими (или выборочными): выборочное среднее, выборочная дисперсия и т.д. Таким образом, эмпирическая (или выборочная) характеристика является статистическим аналогом соответствующей теоретической характеристики, аналогично тому, как эмпирическая функция распределения F_n(х) является статистическим аналогом теоретической функции распределения F(x). В общем случае, если g = Eg(X) есть некоторая теоретическая характеристика наблюдаемой случайной величины­, то ее статистический аналог, т. е. соответствующая эмпирическая (или выборочная) характеристика, вычисляется по формуле

Замечание 24.1. Любое значение искомого параметра, вычисленное на основе ограниченного числа опытов, всегда будет содержать элемент случайности. Такое приближенное, случайное значение мы будем называть оценкой параметра. Например, оценкой для математического ожидания может служить среднее арифметическое наблюденных значений случайной величины в n независимых опытах. При очень большом числе опытов среднее арифметическое будет с большой вероятностью весьма близко к математическому ожиданию. Если же число опытов n невелико, то замена математического ожидания средним арифметическим приводит к какой-то ошибке. Эта ошибка в среднем тем больше, чем меньше число опытов. Так же будет обстоять дело и с оценками других неизвестных параметров. Любая из таких оценок случайна; при пользовании ею неизбежны ошибки. Желательно выбрать такую оценку, чтобы эти ошибки были по возможности минимальными.

Оценка неизвестных параметров. Задача оценивания неизвестных параметров возникает в тех случаях, когда функция распределения генеральной совокупности известна с точностью до параметра θ (тета: обозначение параметра) . В этом случае необходимо найти такую статистику (функцию) (Х₁… ,Х_n ), выборочное значение = (x₁, x₂, …x_n) которой для рассматриваемой реализации (x₁, x₂, …x_n) случайной выборки можно было бы считать приближенным значением параметра .

Статистику (Х₁… ,Х_n ), выборочное значение которой для любой реализации (x₁, x₂, …x_n) принимают за приближенное значение неизвестного параметра θ, называют его точечной оценкой или просто оценкой, а — значением точечной оценки (просто оценки).

Возможным является и иной подход к решению рассматриваемой задачи: найти такие статистики _ (Х₁… ,Х_n ) и ^ (Х₁… ,Х_n ) чтобы с вероятностью α выполнялось неравенство P ( _ (Х₁… ,Х_n ) ≤ θ ≤ ^ (Х₁… ,Х_n )) = α, то есть с заданной вероятностью значение параметра попадало бы в полученный интервал.

В этом случае говорят об интервальной оценке для θ. Интервал

( _ (Х₁… ,Х_n ) ≤ θ ≤ ^ (Х₁… ,Х_n ))называют доверительным интервалом для θ с коэффициентом (уровнем) доверия α