Математическая статистика. Учебное пособие

функция от , то по свойствам условного математического ожидания имеем

θ* = E( ( ) | ) = ( ).

В частности, любая оценка, являющаяся полной и достаточной, является единственной эффективной оценкой (в своем классе ).

В общей ситуации для вычисления E(θ* | ) следует сначала вычислить условное математическое ожидание относительно события = , а затем в получившуюся функцию от вместо аргумента подставить .

Оценку, эффективную в классе несмещённых оценок 0, будем называть просто эффективной.

Для проверки эффективности оценки полезна следующая теоре-

ма.

Теорема 9 (неравенство Рао — Крамера). Пусть {θ, θ Θ}

состоит из распределений, абсолютно непрерывных относительно некоторой меры µ на R, и пусть θ — плотность распределения θ относительно меры µ. Пусть выполнены следующие условия регуляр-

(RR)информация Фишера

(θ) = E(∂ ln θ( 1))2

∂θ

положительна и непрерывна по θ. Тогда для любых θ Θ и 1 справедливо неравенство

Для оценок с нулевым смещением неравенство Рао — Крамера принимает простой вид:

Dθ* 1(θ).

Оценка θ* называется -эффективной в классе оценок со смещением (θ), если выполняются условия регулярности и для этой оценки достигается нижняя граница в неравенстве Рао — Крамера.

Имеет место следующий критерий -эффективности.

Теорема 10. Пусть выполнены условия регулярности. Тогда функция правдоподобия Ψ (θ) допускает представление

Ψ (θ) = (θ) ( 1,..., )+ (θ) ( 1, . . . , )

тогда и только тогда, когда оценка θ* = ( ) является -эффек- тивной (в своём классе оценок с фиксированным смещением).

Иногда полезной оказывается следующая теорема.

Теорема 11. При выполнении условий регулярности несмещённая -эффективная оценка совпадает с оценкой максимального правдоподобия.

Отметим, что:

1.-эффективная оценка является достаточной статистикой.

2.Правая часть в неравенстве Рао — Крамера зависит только от смещения оценки и параметрического семейства.

3.-эффективная оценка в классе оценок со смещением (θ) с необходимостью является эффективной в этом же классе.

ПРИМЕРЫ РЕШЕНИЯ ЗАДАЧ

Задача 9.1. Пусть θ*1 и θ*2 — две несмещённые эффективные оценки параметра θ. Доказать, что θ*1 = θ*2 с вероятностью 1.

Решение

2

несмещённой. Вычислим её среднеквадратическое отклонение. В

Подставим эти выражения в вышеприведённое соотношение и вычислим математические ожидания обеих частей:

Но оценка θ* принадлежит 0, т. е. она не лучше, например, эффективной оценки θ*1. Поэтому

E(θ* − θ)2 E(θ*1 − θ)2.

Следовательно,

E (θ*1 − θ*2 )2 = 1 E(θ* − θ*)2 0, 2 4 1 2

т. е. E(θ*1 − θ*2)2 = 0. Тогда θ*1 = θ*2 п. н., что и требовалось доказать.

Задача 9.2. Пусть имеется выборка из распределения Пуассона с параметром λ. Найти эффективную оценку для λ.

Решение

Мы уже знаем, что статистика является полной и достаточной для параметра λ (см. задачи и ). Следовательно, — эффективная оценка. Осталось вспомнить, что смещение равно нулю:

E = E 1 = λ.

Задача 9.3. Проверить, является ли -эффективной оценка максимального правдоподобия параметра λ распределения Пуассона.

Решение

Проверим сначала условия регулярности. Условие (R) выполнено: функция

√ λ( ) = λ /2 −λ/2/√ !

при всех = 0, 1, . . . непрерывно дифференцируема по λ.

Чтобы проверить выполнение условия (RR), вычислим информацию Фишера:

Вспомним, что E 1 = λ и D 1 = λ. Тогда

Итак, информация Фишера (λ) = 1 конечна, положительна и

λ

непрерывна по λ при всех положительных λ.

Оценка максимального правдоподобия параметра λ распределения Пуассона — это выборочное среднее (см. задачу ). Эта оценка является несмещённой. Вычислим её дисперсию, которая совпадает с левой частью неравенства Рао — Крамера:

D = D 1 = λ .

Правая часть неравенства Рао — Крамера равна

Итак, оценка максимального правдоподобия является -эффек- тивной в классе 0.

Можно решить эту же задачу, используя критерий -эффектив-

∏

=1

Тогда по критерию -эффективности оценка является -эффек- тивной в своём классе, а именно в классе несмещённых оценок.

Отметим, что решать задачу вторым способом можно даже в том случае, когда нет оценки, «подозрительной» на -эффективность.

Задача 9.4. Пусть 1, . . . , — выборка из распределения с конечным первым моментом. Найти условное математическое ожидание E( 1 | ).

Решение

Элементы выборки независимы и одинаково распределены. Поэтому совместное распределение пары ( , ) не зависит от{1, . . . , }. Следовательно,

E( 1 | ) = E( 2 | ) = . . . = E( | ).

Задача 9.5. Найти эффективную оценку параметра распределения Бернулли усреднением какой-либо несмещённой оценки по статистике .

Решение

Возьмём несмещённую оценку * = 1 и вычислим E( * | ). Из

задачи следует, что * = E( * | ) = E( 1 | ) = . Полученная оценка является единственной эффективной оценкой в классе

несмещённых оценок, поскольку представляет собой полную и

156 Глава 9. Эффективность и -эффективность

достаточную статистику для параметра распределения Бернулли (см. задачи и ).

Задача 9.6. Проверить, является ли -эффективной оценка максимального правдоподобия параметра распределения Бернулли.

Решение

Оценку максимального правдоподобия ^ = параметра мы нашли в задаче . Оценка , очевидно, является несмещённой: E = E 1 = . Её среднеквадратическое отклонение от параметраравно

E( − )2 = D = D 1/ = (1 − )/ .

Правая часть неравенства Рао — Крамера имеет вид (1 − )/ и совпадает со среднеквадратическим отклонением оценки . Следовательно, оценка является -эффективной.

Задача 9.7. Пусть θ* — эффективная оценка в классе оценок со смещением, равным αθ, α — постоянная, отличная от −1. Построить эффективную оценку в классе несмещённых оценок.

Решение

Легко видеть, что оценка

θ** = θ*/(1 + α)

является несмещённой. Вместе с этим она является эффективной, так как из равенства

θ* = E(θ* | θ*)

вытекает, что

E(θ** | θ*) = E(θ*/(1 + α) | θ*) = θ*/(1 + α) = θ**,

что гарантирует эффективность θ**.

Задача 9.8. Пусть 1, . . . , — выборка из равномерного распределения на отрезке [0, θ]. Найти эффективную несмещённую оценку неизвестного параметра θ.

является единственной (несмещённой) эффективной оценкой параметра θ.

Следующий пример демонстрирует, что при менее удачном выборе усредняемой оценки вычисления могут потребовать определенных усилий.

Задача 9.9. Пусть 1, . . . , — выборка из равномерного распределения на отрезке [0, θ]. Найти смещение и дисперсию оценки θ* = 2 1 неизвестного параметра θ. Улучшить эту оценку усреднением при фиксированном значении полной и достаточной статистики( ). Найти смещение и дисперсию улучшенной оценки. Является ли улучшенная оценка эффективной?

Решение

Оценка 2 1 является несмещённой оценкой параметра θ (см. задачу ), а статистика ( ) — достаточной и полной (см. задачи

и).

Найдём совместное распределение 1 и ( ). Покажем, что при условии ( ) = величина 1 с вероятностью 1/ совпадает с ( ) и, следовательно, равна ; с вероятностью же ( −1)/ величина 1 не совпадает с ( ) и имеет равномерное распределение на отрезке

[0, ].

Отметим, что плотность ( ) абсолютно непрерывной случайной величины есть вероятность попадания в интервал бесконечно малой длины :

( ) = P( ( , + )).

Для краткости будем писать { = } вместо { ( , + )}. Плотность ( ) ( ) случайной величины ( ) уже хорошо извест-

на (см. задачу ): ( ) ( ) = −1/θ при [0, θ]. Следователь-

но, P( ( ) = ) = −1 /θ при [0, θ]. Аналогично для 1: P( 1 = ) = /θ при [0, θ]. Найдём условную вероятность

P( 1 = | ( ) = ).

Очевидно, P( 1 = | ( ) = ) = 0 при > . Пусть = . Тогда

P( 1 = , ( ) = ) = P( 1 = , ( ) = ) = = P( 1 = , 2 < , . . . , < ) +

+ P( 1 = , 2 = , 3 < , . . . , < ) + . . . =

Отметим, что мы пренебрегли слагаемыми вида

P( 1 = , 2 = , 3 < , . . . , < ) = −2( )2/θ

в силу того, что они имеют меньший порядок малости по сравнению с

главным членом P( 1 = )P( 2 < ) ·. . . ·P( < ) = −1 /θ . Аналогично рассматривается случай < :

P( 1 = , ( ) = ) = P( 1 = , 2 = , 3 < . . . , < )+

+P( 1 = , 2 < , 3 = , 4 < , . . . , < ) + . . . =

=( − 1)P( 1 = )P( 2 = )P( 3 < ) · . . . · P( < ) =

=( − 1) −2 .

θ

Отсюда получаем, что при <

Так как 1 I( < ) есть плотность равномерного на отрезке [0, ]

распределения, то, действительно, при условии ( ) = случайная величина 1 с вероятностью 1/ равна и с вероятностью ( −1)/ имеет равномерное распределение на отрезке [0, ]. Следовательно,

Задача 9.10. Проверить -эффективность оценки максимального правдоподобия параметра θ > 0 равномерного на отрезке [0, θ] распределения.

Решение

Проверим регулярность этого семейства. Плотность этого распределения имеет вид

значения, никакой ограниченный интервал (0, ) не может быть носителем этого семейства распределений: P( 1 (0, )) < 1 при1 из равномерного распределения на отрезке [0, θ] с параметром θ > . Возьмём в качестве носителя луч = (0, +∞) — он при любом θ > 0 обладает свойством P( 1 ) = 1. Уменьшить существенно этот носитель не удастся — из него можно исключать лишь множества нулевой лебеговой меры.

Покажем, что условие (R) не выполнено: множество тех , при каждом из которых функция √ θ( ) дифференцируема по θ, абсолютно пусто. При фиксированном > 0 изобразим функциюθ( ) как функцию переменной θ. Видим, что при любом функция θ( ), равно как и корень из неё, не является непрерывной по θ и тем более дифференцируемой. Следовательно, условие (R) не выполнено.