Точечные оценки

Замечание. Термин «точечная» связан с тем, что в качестве заменителя неизвестного параметра предлагается конкретное число. Это «хорошо», поскольку позволяет поставить конкретное значение в формулу распределения и тем самым полностью его восстановить, и «плохо», поскольку мы не знаем, насколько хорошо наше приближение. Соответствующие формулы являются асимптотическими и является ли наше (точное) n (точно) достаточным для такого вывода неочевидно. Более того (как будет показано далее) существует непреодолимый «зазор» между оценкой и истинным значением параметра (информационное неравенство) о-

Итак, оценка - это функция от нашей выборки. Но функций от выборки можно придумать великое множество. Очевидно, что эта функция должна еще «хорошо приближать» оцениваемый параметр. Поэтому оценка должна удовлетворять нескольким условиям:

Определения.

Оценка (Х₁… ,Х_n ) называется состоятельной оценкой параметра θ, если

(Х₁… ,Х_n )→ θ по вероятности при n→∞

Кроме того, желательно, чтобы, пользуясь величиной вместоθ, мы по крайней мере не делали систематической ошибки в сторону завышения или занижения, т. е. чтобы выполнялось условие

Оценка (Х₁… ,Х_n )называется несмещенной, если

Е ((Х₁… ,Х_n )) = θ

Наконец, желательно, чтобы выбранная несмещенная оценка обладала по сравнению с другими «хорошими» оценками наименьшей дисперсией, т. е.

D[] = min .

Оценка, обладающая таким свойством, называется эффективной.

Замечание. На практике не всегда удается удовлетворить всем этим требованиям. Например, может оказаться, что, даже если эффективная оценка существует, формулы для ее вычисления оказываются слишком сложными, и приходится удовлетворяться другой оценкой, дисперсия которой несколько больше. Иногда применяются - в интересах простоты расчетов - незначительно смещенные оценки (см., например, описание выборочной дисперсии). Таким образом, выбор оценки всегда предваряется рассмотрением соответствия ее указанным требованиям и ее эффективности.

Замечание. Несмещенность и состоятельность – это лишь два из требований, предъявляемых к оценкам. Также существенными является (не рассматриваемая здесь) инвариантность относительно сдвига, и др.

Определение. Выборочное среднее =. Выборочное среднее является средним значением (математическим ожиданием) для эмпирической функции распределения.

Пример. Выборочное среднее является несмещенной состоятельной оценкой для математического ожидания.

Определение. Выборочная дисперсия . Выборочная дисперсия характеризует среднеквадратичное отклонение выборочных величин от выборочного среднего.

Замечание. В определении выборочной дисперсии должен бы использоваться множитель (смещенная оценка) , а не, но тогда не соблюдается условие несмещенности. Выборочную дисперсию с множителемназывают еще исправленнойвыборочной дисперсией.

Пример. Выборочная дисперсия является несмещенной состоятельной оценкой для дисперсии

Замечание. Так же как и для дисперсии (см. свойства дисперсии) для выборочной дисперсии для удобства вычислений нередко пользуются таким равенством :

Пример. Дана выборка 92, 94, 103, 105, 106. Найти оценки для математического ожидания и (несмещенную) дисперсии.

Выборочное среднее:

Определение. Выборочный (начальный) момент порядка k

. Выборочный момент является моментом порядка k для эмпирической функции распределения.

Пример. Выборочный момент порядка k является несмещенной состоятельной оценкой начального момента k-го порядка.

Замечание. Аналогично случаю начальных моментов случайной величины Х, выборочное среднее (выборочное математическое ожидание) является выборочным начальным моментом 1 порядка

Определение. Выборочный (центральный) момент порядка k

Пример. Выборочный центральный момент k-го порядка является состоятельной оценкой центрального момента k-го порядка.

Замечание. Аналогично случаю центральных моментов случайной величины Х, выборочная дисперсия является выборочным центральным моментом 2

порядка

Определение. Случайной выборкой объема n, отвечающей паре случайных величин (X,Y) называется набор n независимых, одинаково распределенных пар случайных величин (X₁ , Y₁ ), (X₂ , Y₂ ), … (X_n , Y_n ), каждая из которых имеет такое же совместное распределение как и пара величин (X,Y)

Определение. Выборочная ковариация

Определение. Выборочный коэффициент корреляции

Пример. Выборочная ковариация является несмещенной состоятельной оценкой ковариации

Пример. Выборочный коэффициент корреляции является состоятельной оценкой коэффициента корреляции

Вернемся к рассмотрению эффективной оценки . Из группы оценок, удовлетворяющих несмещенности, состоятельности и пр., выбирают наиболее эффективную, то есть оценку с наименьшей дисперсией

Рассмотренные выше оценки являются наиболее эффективными (в своих классах).

Замечание. Иногда вместо термина „эффективная оценка" говорят „несмещенная оценка с минимальной дисперсией", „оптимальная оценка".

Итак, дисперсия оценки – часто используемая мера качества оценки. Чем она меньше, тем оценка лучше. Однако, при определенных условиях существует нижняя граница для величины этой дисперсии, которую уже нельзя улучшить. То есть, даже самая лучшая оценка будет иметь дисперсию не меньшую некоторой величины. Соответствующее утверждение носит название Неравенства Рао-Крамера.

D (Х₁… ,Х_n ) 1 / nI(), где - количество информации по Фишеру (информация Фишера) – частная производная логарифма плотности (в случае непрерывной модели, или вероятности – дискретной) по параметру, а(Х₁… ,Х_n ) - несмещенная оценка неизвестного параметра θ.

Определение. Оценка (Х₁… ,Х_n ) называется асимптотически нормальной с дисперсией Δ², если

(– ) сходится при n →∞ по распределению к стандартному нормальному закону (нормальное распределение при нулевом математическом ожидании и дисперсии, равной 1)