Математическая статистика. Учебное пособие

где B(α, β) = R1 α−1(1 − )β−1 — бета-функция Эйлера.

0

Аналогично находим E( Ψ ( )):

Z1

E( Ψ ( )) = · (1 − ) − = B( + 2, − + 1).

0

Таким образом, байесовская оценка параметра имеет следующий вид:

=+ 1.

+ 2

Задача 6.5. Пусть дана выборка из распределения Пуассона, причём параметр λ принимает значения 1 и 2 с вероятностями 1/3 и 2/3 соответственно. Построить байесовскую оценку параметра λ.

Решение

Функцию правдоподобия распределения Пуассона мы нашли в задаче :

=1

Так как P(λ = 1) = 1 − P(λ = 2) = 1/3, то

Аналогично находим

Задача 6.6. Пусть дана выборка из смещённого показательного распределения с плотностью

причём β равномерно распределено на отрезке [0, 1]. Построить байесовскую оценку параметра β.

Ψ (β) = β− · I(β (1)).

Так как β имеет равномерное распределение на отрезке [0, 1], то

где = min{1, (1)}.

где = min{1, (1)}.

ЗАДАЧИ ДЛЯ САМОСТОЯТЕЛЬНОГО РЕШЕНИЯ

Задача 6.7. Пусть дана выборка из нормального распределения со средним и единичной дисперсией, причём параметр имеет нормальное распределение с известным средним и известной дисперсией σ2. Построить байесовскую оценку параметра .

Задача 6.8. Пусть дана выборка из нормального распределения со средним и единичной дисперсией, причём параметр имеет распределение Бернулли с параметром 1/2. Построить байесовскую оценку параметра .

Задача 6.9. Построить байесовскую оценку параметра θ равномерного распределения на отрезке [0, θ], если параметр θ имеет:

а) плотность ( ) = 1/ 2 при 1; б) равномерное распределение на отрезке [0, 1].

Задача 6.10. Построить байесовскую оценку параметра θ распределения с плотностью 2 /θ2 на отрезке [0, θ], если параметр θ имеет:

а) равномерное распределение на отрезке [0, 1]; б) плотность 3θ2 на отрезке [0, 1];

в) распределение Парето с параметрами β и 1, где значение β > 0 известно.

Задача 6.11. Пусть дана выборка из распределения Бернулли с параметром , причём имеет плотность ( ) = λ λ−1 на отрезке [0, 1], где значение λ > 0 известно. Построить байесовскую оценку параметра .

Задача 6.12. Пусть дана выборка из распределения Пуассона с параметром λ, причём λ имеет показательное распределение с параметром 1. Построить байесовскую оценку параметра λ.

Задача 6.13. Пусть дана выборка из распределения Бернулли с параметром , причём принимает значения 1/2 и 1/3 с одинаковыми вероятностями. Построить байесовскую оценку параметра .

Задача 6.14. Пусть дана выборка из геометрического распределения с параметром , причём равномерно распределено на множестве {1/4, 1/2, 3/4}. Построить байесовскую оценку параметра .

Г Л А В А 7

Сравнение оценок

Пусть { θ, θ Θ} — некоторое параметрическое семейство распределений. Пусть 1, . . . , — выборка из распределения θ и θ* = θ* ( 1, . . . , ) — некоторая оценка параметра θ, построенная по данной выборке.

Среднеквадратическим отклонением (или функцией потерь) оценки θ* параметра θ называется величина

δθ* (θ) = E(θ* − θ)2.

Среднеквадратическое отклонение оценки связано с дисперсией и смещением оценки следующим равенством:

E(θ* − θ)2 = Dθ* + 2 (θ),

где (θ) = Eθ* −θ. Для несмещённых оценок среднеквадратическое отклонение совпадает, очевидно, с дисперсией оценки.

В соответствии со среднеквадратическим подходом оценка θ* не хуже оценки θ**, если при любом θ Θ выполняется неравенство

E(θ* − θ)2 E(θ** − θ)2.

В соответствии со среднеквадратическим подходом оценка θ* лучше оценки θ**, если θ* не хуже оценки θ** и хотя бы для одного θ Θ выполняется неравенство

E(θ* − θ)2 < E(θ** − θ)2.

Следует отметить, что среднеквадратический подход задаёт лишь частичный порядок на множестве всех возможных оценок параметра θ — две функции потерь могут быть несравнимы. В дальнейшем мы найдём довольно широкие классы оценок, в которых возможно указать оценку с минимальной функцией потерь.

Наряду со среднеквадратическим часто применяется асимптотический подход к сравнению оценок. Он удобен для сравнения асимптотически нормальных оценок в случае, когда объём выборки очень велик. Если асимптотически нормальная оценка θ* с коэффициентом асимптотической нормальности σ2(θ) удовлетворяет некоторым дополнительным условиям, то для неё при → ∞ имеет место следующая эквивалентность (см. задачу ):

σ2(θ) δθ* (θ) .

Согласно асимптотическому подходу, асимптотически нормальная оценка θ*1 с коэффициентом асимптотической нормальности σ21(θ) лучше асимптотически нормальной оценки θ*2 с коэффициентом σ22(θ), если при любом θ Θ выполняется неравенство σ21(θ) σ22(θ) и хотя бы для одного θ Θ выполняется строгое неравенство σ21(θ) <

< σ22(θ).

Так же, как и среднеквадратический подход, асимптотический подход задаёт лишь частичный порядок, причём лишь на множестве асимптотически нормальных оценок. Однако во многих ситуациях асимптотический подход эффективен, в то время как среднеквадратический подход приводит к существенным техническим затруднениям.

ПРИМЕРЫ РЕШЕНИЯ ЗАДАЧ

Задача 7.1. Пусть 1, . . . , — выборка из нормального распределения с известным средним и с неизвестной дисперсией σ2. Сравнить в среднеквадратичном смысле оценки параметра σ2

Решение

Несмещённость оценки 02 показана в задаче , вторая оценка, очевидно, также является несмещённой:

E 12 = E( 1 − )2 = D 1 = σ2.

Таким образом, решение задачи сводится к нахождению дисперсий рассматриваемых оценок.

В силу следствия леммы Фишера (см. теорему на стр. ) статистика

( − 1) 02/σ2

имеет распределение хи-квадрат с −1 степенями свободы или, что то же самое, распределение суммы − 1 квадратов независимых стандартных нормальных величин. Но тогда

D(( − 1) 02/σ2) = ( − 1)Dη2 = ( − 1)(Eη4 − (Eη2)2) = 2( − 1),

где η имеет стандартное нормальное распределение. Отсюда получаем

Статистика 12, в отличие от 02, есть сумма независимых случайных величин, поэтому

Здесь случайная величина η = ( 1 − )/σ имеет стандартное нормальное распределение.

Также можно заметить, что статистика 12/σ2 имеет распределение хи-квадрат с степенями свободы, и вычислить D 12 точно так же, как это было сделано для 02.

Таким образом, для всех σ > 0 и для всех > 1

E( 12 − σ2)2 < E( 02 − σ2)2,

что означает, что оценка 12 лучше в среднеквадратичном смысле.

Задача 7.2. Пусть 1, . . . , — выборка из равномерного распределения на отрезке [0, θ]. Сравнить оценки 2 , ( ), +1 ( ) и(1) + ( ) параметра θ в среднеквадратичном смысле.

Решение

Оценка 2 является несмещённой (см. задачу ), а значит, её среднеквадратическое отклонение совпадает с дисперсией и равно

Здесь мы воспользовались результатом задачи .

Таким образом, при > 2 первая оценка является худшей в среднеквадратичном смысле, вторая и четвёртая идентичны друг другу и лучше первой, а третья самая лучшая.

Задача 7.3. Пусть 1, . . . , — выборка из равномерного распределения на отрезке [θ, θ + 1].

а) Сравнить в среднеквадратичном смысле оценки − 1/2, (1) и ( ) − 1 параметра θ.

б) Найти оценку параметра θ, наилучшую в среднеквадратичном смысле в классе оценок вида (1) + (1 − )( ( ) − 1), [0, 1].

Решение

а) Заметим, что случайные величины = − θ, = 1, 2, . . . , , имеют равномерное распределение на отрезке [0, 1]. Тогда (1) =