Математическая статистика. Учебное пособие

Среднеквадратическое отклонение несмещённой (проверьте!) оценки − 1/2 равно

E( − 1/2 − θ)2 = D( − 1/2) = D 1 = 121 .

Среднеквадратическое отклонение оценки (1) равно

E( (1) − θ)2 = D (1) + (E (1) − θ)2 =

1 2

=( + 1)2( + 2) + ( + 1)2 = ( + 1)( + 2).

И, наконец, среднеквадратическое отклонение оценки ( ) рав-

но

Таким образом, вторая и третья оценки эквивалентны в среднеквадратичном смысле и лучше, чем первая (при 21).

б) Так же, как и в п. а, обозначим = −θ, = 1, 2, . . . , . Тогда

Отсюда получаем

E( (1) + (1 − )( ( ) − 1) − θ)2 = E( (1) + (1 − )( ( ) − 1))2 =

( )2

= D( (1) + (1 − )( ( ) − 1)) + E( (1) + (1 − )( ( ) − 1)) .

D( (1) + (1 − )( ( ) − 1)) =

=2D (1) + (1 − )2D ( ) + 2 (1 − )cov( (1), ( )) =

=( 2 + (1 − )2)D (1) + 2 (1 − )cov( (1), ( )) =

=2 − 1.

+ 1

Таким образом, окончательно получаем

Нетрудно заметить, что единственный минимум этой функции достигается при = 1/2. Это означает, что среди всех оценок максимального правдоподобия параметра θ наилучшей в среднеквадратическом смысле является оценка ( (1) + ( ) − 1)/2.

Задача 7.4. Пусть 1, . . . , — выборка из равномерного распределения на отрезке [0, θ]. Существует ли наилучшая асимптотически

√

нормальная оценка среди оценок θ*, = ( + 1) , = 1, 2, . . .?

Таким образом, чем больше , тем лучше оценка в смысле асимптотического подхода, а значит, наилучшей не существует.

Задача 7.5. Пусть 1, . . . , — выборка из равномерного распределения на отрезке [0, 2θ]. При помощи асимптотического подхода сравнить выборочное среднее и выборочную медиану как оценки параметра θ.

σ22(θ) = θ2.

Таким образом, выборочное среднее лучше в смысле асимптотического подхода.

Отметим, что явно выписать среднеквадратическое отклонение выборочной медианы — технически весьма сложно (как и в предыдущей задаче).

Задача 7.6. Пусть 1, . . . , — выборка из равномерного распределения на отрезке [0, θ]. Найти оценку параметра θ, наилучшую в среднеквадратичном смысле в классе оценок вида θ* = ( ).

Нетрудно заметить, что точка минимума этого квадратного трёхчлена переменной равна

Итак, наилучшей в среднеквадратичном смысле оценкой являет-

ся +2+1 ( ).

Задача 7.7. Пусть 1, . . . , — выборка из смещённого показательного распределения с плотностью

Сравнить в среднеквадратичном смысле оценки − 1, (1) и(1) − 1/ параметра сдвига β.

что 1, . . . , — выборка из показательного распределения с параметром 1 и статистика (1) имеет показательное распределение с параметром . Тогда 1 = 1 + β, (1) = (1) + β и

E( − 1) = E 1 − 1 = E 1 + β − 1 = β,

E (1) = E (1) + β = β + 1/ ,

E( (1) − 1/ ) = β.

Теперь найдём среднеквадратические отклонения:

E( − 1 − β)2 = D( − 1) = D = D 1 = D 1 = 1 ,

E( (1) − β)2 = D (1) + (E (1) − β)2 = D (1) + 12 = 22 , E( (1) − 1/ − β)2 = D( (1) − 1/ ) = D (1) = D (1) = 12 .

Таким образом, (1) − 1/ лучше двух других оценок, а оценка(1) лучше, чем − 1 (при 3).

ЗАДАЧИ ДЛЯ САМОСТОЯТЕЛЬНОГО РЕШЕНИЯ

Задача 7.8. Пусть 1, . . . , 2 — выборка объёма 2 из нормального распределения со средним и дисперсией σ2. Сравнить в среднеквадратичном смысле оценки параметра σ2

Задача 7.9. Пусть 1, . . . , — выборка из нормального распределения со средним и с дисперсией σ2. Найти оценку дисперсии, наилучшую в среднеквадратичном смысле в классе оценок вида

Найти её смещение.

Задача 7.10. Пусть 1, . . . , — выборка из равномерного распределения на отрезке [0, θ]. Сравнить оценки θ*, = + ( ), = = 0, 1, 2, . . ., параметра θ в среднеквадратичном смысле.

Задача 7.11. Пусть 1, . . . , — выборка из равномерного распределения на отрезке [θ, 2θ]. Рассматривается класс несмещённых оценок для θ вида (1) + ( ). Сравнить оценки из этого класса в среднеквадратичном смысле.

Задача 7.12. Пусть 1, . . . , — выборка из нормального распределения с известным средним и с неизвестной дисперсией σ2. При помощи асимптотического подхода сравнить следующие оценки параметра σ2:

Задача 7.13. Пусть 1, . . . , — выборка из нормального распределения со средним и дисперсией σ2 > 0. При помощи асимптотического подхода сравнить выборочное среднее и выборочную медиану как оценки параметра .

Задача 7.14. Пусть 1, . . . , — выборка из распределения, являющегося смесью двух нормальных распределений, а именно, 92% составляет нормальное распределение со средним и дисперсией 1, 8% составляет нормальное распределение с тем же средним и дисперсией 16. При помощи асимптотического подхода сравнить выборочное среднее и выборочную медиану как оценки параметра .

Задача 7.15. Пусть 1, . . . , — выборка из показательного распределения с параметром α. Существует ли наилучшая асимптотиче-

√

ски нормальная оценка среди оценок α*, = !/ , = 1, 2, . . .?

Г Л А В А 8

Полные и достаточные статистики

Пусть {θ, θ Θ} — некоторое параметрическое семейство распределений и пусть 1, . . . , — выборка из распределения θ.

Статистика = ( ), построенная по выборке = ( 1, . . . , ), называется достаточной для параметра θ, если условное распределение выборки при фиксированном значении статистики

не зависит от параметра θ (поскольку условное распределение определяется с точностью до эквивалентности, корректнее было бы сказать, что найдётся вариант условного распределения, не зависящий от параметра θ).

Достаточность означает, что в содержится вся информация о выборке, достаточная для построения оптимальных оценок (строгое определение оптимальности мы дадим ниже). Дальнейшая конкретизация положения выборочных значений бессмысленна.

Пусть выполнено условие доминирования относительно некоторой меры µ на R, т. е. это параметрическое семейство состоит из распределений, абсолютно непрерывных относительно µ. Обозначим через θ плотность распределения θ относительно меры µ. Тогда справедлив следующий критерий достаточности статистики.

Теорема 7 (Неймана — Фишера о факторизации). Статистика

является достаточной для параметра θ тогда и только тогда, когда функция правдоподобия может быть представлена в виде

Ψ (θ) = ϕ( ( 1, . . . , ), θ) · ( 1, . . . , )

для некоторых измеримых функций ϕ и .

Очевидно, это представление равносильно представлению (с другими ϕ и )

(θ) = ϕ( ( 1, . . . , ), θ) + ( 1, . . . , ).

Отметим, что сама выборка = ( 1, . . . , ) является -мерной достаточной статистикой для любого параметра.

Статистика = ( 1, . . . , ) называется полной, если функция E ( ) переменной θ равна тождественно нулю тогда и только тогда, когда P( ( ) = 0) = 1 при любом значении параметра θ Θ.

Как мы увидим в дальнейшем, при нахождении оптимальных оценок нам окажутся чрезвычайно полезны статистики, являющиеся одновременно достаточными и полными. Поэтому мы будем проверять (по определению) полноту тех или иных достаточных статистик. Заметим, что необходимым условием проверки полноты по определению является знание распределения статистики.

ПРИМЕРЫ РЕШЕНИЯ ЗАДАЧ

Задача 8.1. Пусть 1, . . . , — выборка из распределения Бернулли с параметром . Является ли достаточной статистикой параметра ?

Решение

Найдём условное распределение выборки при фиксированном значении статистики . Пусть {0, 1, . . . , } и числа 1, . . . ,{0, 1} таковы, что 1 + · · · + = . Тогда

Таким образом, при условии = любой набор из единиц

и − нулей имеет одну и ту же вероятность 1/ и не зависит от

параметра , что и означает достаточность .

Уместно сразу проверить полноту найденной достаточной статистики.

Задача 8.2. Доказать полноту статистики = для выборки из распределения Бернулли с параметром .

Решение

Хорошо известно, что величина = 1 + . . . + имеет биномиальное распределение с параметрами и . Поэтому

Сумма ∑ ( / ) является полиномом степени не выше

=0

переменной = /(1− ). Предположение о том, что E ( ) = 0 для