Нов-ПМС-1

2.5. Неравенство Рао-Крамера и эффективные оценки

Рассмотрим задачу оценивания заданной параметрической

функции () в модели F={F(x, ),}. Пусть модель F - регулярна, ( ) - дифференцируема и T - класс всех несмещенных оценок (). Тогда имеет место следующая теорема.

Равенство здесь имеет место тогда и только тогда, когда Т -

Модель F - регулярна, поэтому дифференцируя это тождество по и учитывая (2.7), получаем

Используя неравенство Коши-Буняковского и формулу (2.8) для определения фишеровской информации, получаем

тогда, когда Т( X ) и U( X ;) линейно связаны.▓

71

Неравенство (2.11) называется неравенством РаоКрамера. Оно определяет нижнюю границу дисперсии всех несмещѐнных оценок заданной параметрической функции ( ) для регуляных моделей.

Если существует оценка T* T , для которой нижняя граница Рао-Крамера достигается, то еѐ называют эффективной. Эффективная оценка является оптимальной и согласно теореме 2.2 она единственна. Из теоремы 2.3 следует, что критерием эффективности оценки является представление (2.12). Будем называть этот критерий оптимальности критерием Рао-Крамера. Если для оценки Т* выполнено соотношение (2.12), то из формулы (2.13) следует

( )= 1 D [T*] a( )

т.е. для дисперсии эффективной оценки справедлива формула

D [T*]=a( )( ) (2.14)

Отметим следующее: вклад выборки U( X ;) однозначно определяется моделью, поэтому представление (2.12) единственно. Следовательно, эффективная оценка может существовать только для одной параметрической функ-ции

() и не существует ни для какой другой функции параметра, отличной от a ( )+b, где а и b - константы.

Замечание.

Если Т=Т( X ) оценка со смещением b( ) и b( ) - дифференцируема, то неравенство Рао-Крамера будет иметь вид:

обобщающее (2.11).

72

2.6. Достаточные статистики. Теорема факторизации Неймана - Фишера

Рассмотренные ранее критерии имеют ограниченную применимость по двум причинам:

1)они требуют жѐстких условий регулярности исходной модели;

2)в лучшем случае позволяют находить оптимальные

оценки для отдельных параметрических функций (). Более эффективным способом построения оптимальных оценок

является использование достаточных статистик.

По определению статистика Т=Т( X ) называется

достаточной для модели F={F(x, ),} (или для параметра

P ( X A T( X )=t) не зависит от . Это свойство статистики Т

означает, что она содержит всю информацию о параметре , имеющуюся в выборке.

Действительно, вероятность любого события, которое

очевидно, является достаточной статистикой. Обычно стремятся найти достаточную статистику наименьшей размерности, представляющую исходные данные в наиболее сжатом виде. В этом смысле говорят о минимальной достаточной статистике. Такая статистика важна при обработке больших массивов статистической информации.

Достаточные статистики находят на основании следующей теоремы.

Теорема 2.4. (Неймана-Фишера, критерий факторизации).

Для того чтобы статистика Т( X ) была достаточной для , 73

т.е. выполняется представление (2.15). При получении данного выражения использовалась формула условной вероятности.

В формуле (2.17) используется свойство: вероятность пересечения событий равна сумме вероятностей.

(2.17), получаем:

Доказательство для непрерывной модели аналогично. ▓ Теорема 2.5. Если существует эффективная оценка, то

существует и достаточная статистика.

Доказательство: Если *m эф=T(X) - эффективная оценка

параметра , то она удовлетворяет условию Рао-Крамера, т.е.

ln L(X; )

a( ) T(X) , т.е.

ln L(X; ) a( ) T(X) d (X)

в таком виде представляется функция правдоподобия, а значит выполняется условие факторизации.

Замечание.

Если эффективная. оценка не существует, то достаточная статистика может существовать!

Итак, эффективная оценка существует только тогда, когда имеется достаточная статистика. Но достаточная статистика может существовать и при отсутствии эффективной оценки, т.е. условие достаточности является

75

менее ограничительным, чем условие существования эффективной оценки.

Пример. Случайная величина имеет нормальное

распределение ~N(m,). Найти достаточную статистику для оценки M .

Решение:

x 2

f(x, )= 1 e 2 2

2

Запишем функцию правдоподобия и применим критерий факторизации (2.15)

достаточная для оценки математического ожидания.

Задачи и решения

Точечные оценки и их свойства

~

Точечной оценкой θ неизвестного параметра называется приближенное значение этого параметра, полученное по выборке. Оценка есть некоторая функция

= (x1,…,xn). Любую функцию элементов выборки называют

~

статистикой. θ называется состоятельной оценкой параметра

76

дисперсией называется оптимальной оценкой. Для дисперсии несмещенной оценки выполняется неравенство Рао-Крамера

где in() информация Фишера, содержащаяся в выборке объема n относительно неизвестного параметра , и вычисляемая по следующим формулам:

для непрерывной случайной величины:

in (θ) nM [{ θ ln(f(x, θ))}2 ],

для дискретной случайной величины:

in (θ) nM [{ θ ln(p(x, θ))}2 ],

где p(x, )=P{X=x}.

Эффективной оценкой называется несмещенная оценка ˆ

θ 0

параметра , дисперсия которой достигает своего наименьшего

Оценка называется асимптотически нормально распределенной если

Простейший метод статистического оценивания – метод подстановки или аналогии – состоит в том, что в качестве оценки той или иной числовой характеристики (среднего, дисперсии и др.) генеральной совокупности берут соответствующую характеристику распределения выборки – выборочную характеристику.

Задача 18

Пусть x1,…,xn выборка из генеральной совокупности с конечным математическим ожиданием m и дисперсией 2. Используя метод подстановки, найти оценку m. Проверить

несмещенность и состоятельность полученной оценки.

~

Решение: По методу подстановки в качестве оценки m математического ожидания надо взять математическое ожидание распределения выборки – выборочное среднее. Таким образом, получаем

Чтобы проверить несмещенность и состоятельность выборочного среднего как оценки m, рассмотрим эту статистику как функцию выборочного вектора (x1,…,xn). По определению выборочного вектора имеем: и D[Xi]=2, i=1,…,n , причем Xi – независимые в совокупности случайные величины.

Следовательно,