Математическая статистика. Учебное пособие
.pdfГлава 1. Выборочные характеристики |
31 |
Задача 1.40. Пусть 1, . . . , и 1, . . . , — две независимые выборки одинакового объёма из одного и того же непрерывного распределения, а * и * — эмпирические функции распределения, построенные по этим выборкам. Доказать, что для любого (0, 1] справедливо равенство
P( R | |
* |
( ) |
− |
* |
| |
< |
) |
(1 2 | | < | 2 = 0), |
sup |
|
|
|
( ) |
= P |
sup |
где = ξ1 + · · · + ξ , = 1, . . . , 2 , причём случайные величины ξ
независимы и P(ξ = 1) = P(ξ = −1) = 1/2, = 1, . . . , 2 .
Задача 1.41. Пусть 1, . . . , — выборка из распределения Бернулли с параметром , *( ) — эмпирическая функция распределения и ( ) — функция распределения выборки. Доказать (без использования теоремы Гливенко — Кантелли), что при → ∞ с вероятностью 1 имеет место сходимость
sup | *( ) − ( )| → 0.
R
Задача 1.42. Пусть 1, . . . , — выборка из распределения на множестве целых чисел. Положим = P( 1 = ), Z. Обо-
значим через ν ( ) число элементов выборки, равных . Доказать, |
|||||||||||
что |
|
|
|
1 ∞ |
|
ν ( ) |
− |
|
|||
Z | * |
− |
1 |
| |
|
|||||||
2 = |
|
|
|||||||||
sup P ( ) |
|
P( |
) |
= |
|
∑ |
|
|
|
|
. |
|
|
|
|
|
|
|
|
|
|
|
|
−∞
Задача 1.43. Пусть 1, . . . , — выборка из распределения Коши с параметрами и σ2. Доказать, что E| ( )| < ∞ при 2−1, а математические ожидания E (1) и E ( ) не существуют.
Г Л А В А 2
Метод моментов
Пусть {θ, θ Θ} — некоторое параметрическое семейство распределений, целиком определяющихся значением θ. Параметр θ принимает значения из некоторого множества Θ, которое называется множеством возможных значений параметра. Обычно Θ есть подмножество -мерного евклидова пространства R .
Примерами параметрических семейств распределений служат все известные из курса теории вероятностей распределения: распределение Бернулли B , (0, 1); показательное распределение Eα, α > 0; равномерное распределение U[0, θ], θ > 0; нормальное распределение Nα,σ2 , α R, σ2 > 0, и т. д.
Пусть 1, . . . , — выборка из распределения θ, θ Θ R . Оценкой параметра θ назовём статистику θ* = θ* ( 1, . . . , ),
приближающую неизвестную величину θ в том или ином смысле.
В случае одномерного параметра θ ( = 1) оценка метода моментов этого параметра строится следующим образом. Выбирается функция : R → R такая, что E ( 1) существует и функция
(θ) = E ( 1)
обратима в области Θ.
Оценкой метода моментов называется оценка θ* Θ такая, что
(θ* ) = ( ) = 1 ∑ ( ).
=1
Глава 2. Метод моментов |
33 |
Так как функция обратима, то существует обратная функция −1 и
|
|
|
|
1 |
|
|
|
θ* = −1 |
( |
( ) = −1( |
|
=1 |
( )). |
||
|
|
) |
|
|
∑ |
||
Ясно, что оценка, построенная по методу моментов, не единственна и зависит от выбора функции . В качестве чаще всего выбирают степенные функции ( ) = , = 1, 2, . . . В этом случае
(θ) = E 1 , |
θ = −1(E 1 ), |
θ* = −1( |
|
). |
В случае многомерного параметра θ ( 2) для построения оценки метода моментов параметра θ выбираются функций : R → R,= 1, . . . , , и рассматриваются функции
(θ) = E ( 1).
Функции выбираются таким образом, чтобы система уравнений
(θ) = , |
= 1, . . . , , |
была однозначно и непрерывно разрешима относительно -мерного параметра θ. Оценкой метода моментов называется оценка θ* Θ такая, что
(θ* ) = |
( ) |
, |
= 1, . . . , . |
ПРИМЕРЫ РЕШЕНИЯ ЗАДАЧ
Задача 2.1. Пусть 1, . . . , — выборка из нормального распределения с параметрами и σ2. Используя метод моментов, построить оценку:
а) неизвестного математического ожидания ; б) неизвестной дисперсии σ2, если известно; в) двумерного параметра ( , σ2).
34 |
Глава 2. Метод моментов |
|||
|
Решение |
|
||
|
а) Возьмём функцию ( ) = . Тогда |
|
||
|
( ) = E ( 1) = E 1 = , |
|||
т. е. = E 1 и, следовательно, * = |
|
. |
|
|
|
|
|||
|
б) Пусть ( ) = 2. Тогда |
|
||
|
(σ2) = E ( 1) = E 12 = σ2 + 2, |
σ2 = E 12 − 2. |
||
Поэтому (σ2)* = 2 − 2.
в) Используя функции 1( ) = и 2( ) = 2, получаем
1( , σ2) |
= |
E 1( 1) = E 1 = , |
|
||
2( , σ2) |
= |
E 2 |
( 1) = E 2 |
= 2 |
+ σ2. |
|
|
|
1 |
|
|
Решая систему
{
* = ,
( * )2 + (σ2)* = 2,
находим оценки метода моментов: * = и (σ2)* = 2 − ( )2 = = 2.
Задача 2.2. Используя функции ( ) = , = 1, 2, . . ., построить оценку метода моментов параметра θ > 0 равномерного распределения на отрезке [0, θ].
Решение
Так как
|
|
|
|
θ |
|
|
|
|
|
|
|
θ |
||
|
|
(θ) = E ( 1) = E 1 |
= Z0 · |
1 |
|
|
|
|
||||||
|
|
|
= |
|
|
|
, |
|||||||
|
θ |
+ 1 |
||||||||||||
то θ = |
√ |
|
, и, значит, θ* |
|
√ |
|
|
|
|
|||||
|
|
|
|
|||||||||||
( + 1)E 1 |
, = |
|||||||||||||
( + 1) |
. |
|||||||||||||
|
|
|
|
|
|
|
|
|
|
|
||||
Глава 2. Метод моментов |
35 |
||||||||
Задача 2.3. Найти оценку метода моментов параметра θ равно- |
|||||||||
мерного распределения на отрезке: |
|
||||||||
а) [θ − 1, θ + 1], θ R; б) [0, 2θ], θ > 0; в) [−θ, θ], θ > 0. |
|
||||||||
Решение |
|
|
|
|
|
|
|
||
а) Выберем функцию ( ) = . Получим |
|
||||||||
E 1 = θ, |
θ* = |
|
|
|
. |
|
|
||
|
|
||||||||
б) С той же функцией ( ) = имеем |
|
||||||||
E 1 = θ, |
θ* = |
|
|
|
. |
|
|
||
|
|
||||||||
в) Выбор той же функции приведёт нас к уравнению E 1 |
= 0, |
||||||||
неразрешимому относительно θ. Выберем ( ) = 2. Тогда |
|
||||||||
|
θ2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
E 12 = |
θ* = √3 2. |
|
|||||||
|
, |
|
|||||||
3 |
|
||||||||
Задача 2.4. Используя функции 1( ) = и 2( ) = 2, построить оценку векторного параметра ( , ) равномерного распределения на отрезке [ , ], < .
Решение
Решая систему уравнений
E 1 = ( + )/2,
E 2 = 2 + 2 + ,
1 3
получаем (по условию < )
|
|
|
= |
E 1 − √ |
3E 12 − 3(E 1)2 |
, |
||||||
|
|
|
= E 1 + √ |
|
|
|
, |
|||||
|
|
|
3E 12 − 3(E 1)2 |
|||||||||
откуда * |
|
√ |
|
, * = |
|
+ √ |
|
. |
||||
|
|
3 2 |
3 2 |
|||||||||
= |
|
|||||||||||
|
|
|
− |
|
||||||||
36 Глава 2. Метод моментов
Задача 2.5. Используя функции ( ) = , = 1, 2, . . ., построить оценку метода моментов параметра α > 0 по выборке из показательного распределения с параметром:
а) α; б) 1/α.
Решение
a) Так как -й момент показательного распределения с параметром α равен !/α , то
|
! |
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|||||||||
|
|
|
|
|
||||||||||||
(α) = E 1 = |
|
, |
α = √ !/E 1 , |
α*, = √ !/ . |
||||||||||||
α |
||||||||||||||||
б) Аналогично получаем |
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
(α) = E 1 = !α , |
α = |
√ |
|
|
α*, = |
√ |
|
|
. |
|||||||
|
|
, |
/ ! |
|||||||||||||
E 1 / ! |
||||||||||||||||
|
|
|
|
|
|
|
|
|
||||||||
Задача 2.6. Используя функцию ( ) = , построить оценку параметра θ > 0, если распределение выборки имеет плотность:
а) θ θ−1 при [0, 1]; |
|
|
|
|
б) 2 /θ2 при [0, θ]. |
||||||||||
Решение |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
а) Находим первый момент: |
|
|
|
|
|
|
|
|
|
||||||
|
1 |
|
|
|
|
|
θ |
||||||||
(θ) = E 1 = Z0 θ θ = |
|||||||||||||||
|
. |
|
|
||||||||||||
θ + 1 |
|||||||||||||||
Отсюда |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
θ* |
|
|
|
|
|
− |
|
|
|
|
|
|
|
||
= /(1 |
). |
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
б) Аналогично имеем |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
(θ) = E 1 = Zθ |
2 2 |
|
2θ |
|
θ* = 3 |
|
/2. |
||||||||
= |
, |
|
|||||||||||||
θ2 |
3 |
||||||||||||||
0
Глава 2. Метод моментов |
37 |
Задача 2.7. Можно ли методом моментов с помощью какой-ни- будь функции ( ) получить оценку параметра распределения Бернулли, отличную от ?
Решение
Докажем, что это невозможно. Так как 1 принимает значения 1 и 0 с вероятностями и 1 − соответственно, то
( ) = E ( 1) = (1) + (0)(1 − ).
Если (0) = (1), то функция не зависит от и оценку построить нельзя. Пусть (0) ̸= (1). Тогда
= |
E ( 1) − (0) |
, |
* |
= |
( ) − (0) |
. |
|
(1) − (0) |
|
|
(1) − (0) |
||
|
|
|
||||
Заметим, что для выборки из распределения Бернулли
|
|
1 |
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
∑ |
− ) (0), |
||||||||||||
|
|
|
|
|
|
|||||||||||
|
( ) = |
|
|
( ) = (1) + (1 |
||||||||||||
|
|
|
|
|
=1 |
|
|
|
|
|
|
|
|
|
|
|
откуда |
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
* = |
(1) + (1 − ) (0) − (0) |
|
|
|
|
||||||||||
|
|
= . |
||||||||||||||
|
|
|
|
|
|
(1) − (0) |
|
|
|
|
|
|
||||
Задача 2.8. Пусть и — два распределения с известными математическими ожиданиями и соответственно, причём < . Пусть θ является смесью распределений и :
θ = θ + (1 − θ) , 0 θ 1.
Построить оценку метода моментов параметра θ по выборке из распределения θ.
Решение |
|
|
|
|
Пусть ( ) = . Тогда |
Z |
Z |
|
|
|
Z |
|
||
(θ) = E 1 = |
θ( ) = |
|
θ ( )+ |
(1−θ) ( ) = θ +(1−θ) |
|
R |
R |
R |
|
38 |
Глава 2. Метод моментов |
||||||
и, следовательно, |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
θ = |
− E 1 |
, |
θ* = |
− |
. |
|
|
− |
|
|||||
|
|
|
|
− |
|||
Задача 2.9. Используя метод моментов с функцией ( ) = , построить оценку параметра сдвига β R смещённого показательного распределения с плотностью
{ |
если β, |
β− , |
|
β( ) = |
если < β. |
0, |
Решение
Нетрудно заметить, что β есть плотность распределения случайной величины ξ + β, где ξ имеет показательное распределение с параметром 1. Действительно, вспоминая формулу плотности линейного преобразования случайной величины
|
|
( ) = |
1 |
|
ξ( |
− |
, |
|
|
|
|||||
|
ξ+ |
|
| | |
) |
|||
находим:
ξ+β( ) = ξ( − β) = −( −β)I( − β 0) = β( ).
Отсюда легко найти математическое ожидание смещённого показательного распределения: E 1 = E(ξ + β) = β + 1. Теперь найдём оценку метода моментов:
(β) = E |
|
= β + 1, |
β* |
|
|
− |
|
1 |
= |
1. |
|||||
|
|
|
|
|
|
||
Глава 2. Метод моментов |
39 |
Задача 2.10. Пусть дана выборка из двухпараметрического показательного распределения с плотностью
α,β( ) = |
{0, |
если < β. |
|
α−1 −( −β)/α, |
если β, |
Построить оценки метода моментов параметров масштаба α > 0 и сдвига β R.
Решение
Из формулы, приведённой в решении задачи , следует, что α,β есть плотность случайной величины αξ+β, где ξ имеет показательное распределение с параметром 1. Тогда E 1 = E(αξ + β) = α + β и
D 1 = D(αξ + β) = α2 и, значит, E 12 = α2 + (α + β)2. Решая систему уравнений
{
E 1 = α + β,
E 12 = α2 + (α + β)2,
получаем α = √E 12 − (E 1)2 и β = E 1 − α, откуда находим оценки метода моментов:
√
α* = 2 − ( )2 = , β* = − .
Задача 2.11. Пусть дана выборка из распределения с плотностью
α( ) = |
{0, |
если < 0. |
|
3 2α−3 −( /α)3 , |
если 0, |
Построить оценку метода моментов параметра α > 0 с помощью функции ( ) = .
Решение
40 |
|
Глава 2. Метод моментов |
Найдём -й момент данного распределения: |
||
|
∞ |
∞ |
E 1 = |
Z0 |
· 3 2α−3 −( /α)3 = α Z0 ( /α) −( /α)3 ( /α)3 = |
∞Z
= α /3 − = α · Γ( /3 + 1),
0
где Γ(λ) = ∞R λ−1 − — гамма-функция. Отсюда находим оценку
0
метода моментов:
(α) = E 1 = α · Γ( /3 + 1), |
α*, = |
√ |
|
|
|
|
. |
|
|
Γ( /3 + 1) |
|||||||
|
|
|
|
|
|
|||
Задача 2.12. Пусть дана выборка из гамма-распределения с параметрами α > 0 и β > 0. Построить оценки метода моментов:
а) параметра α, если значение β известно; б) параметра β, если значение α известно; в) векторного параметра (α, β).
Решение
Плотность гамма-распределения с параметрами α > 0 и β > 0 равна
|
αβ |
|
|
|
α,β( ) = |
|
β−1 |
−α , |
0. |
|
||||
|
Γ(β) |
|
|
|
