Математическая статистика. Учебное пособие
.pdf
Глава 8. Полные и достаточные статистики |
131 |
любого (0, 1) означает, что любая точка (0, ∞) является корнем этого полинома. Следовательно, все коэффициенты ( / ) полинома равны нулю. Таким образом, ( / ) = 0 при всех = = 0, 1, . . . , , и, следовательно, — полная статистика.
Задача 8.3. Пусть 1, . . . , — выборка из нормального распределения с нулевым средним и дисперсией σ2. Найти достаточную статистику для параметра σ2 со значениями в R.
Решение
Выпишем логарифмическую функцию правдоподобия (см. задачу ) и воспользуемся критерием Неймана — Фишера:
|
|
1 |
|
|
∑ |
||||
(σ2) = − 2 ln 2π − 2 ln σ2 − 2σ2 |
||||
2 = ϕ( 2, σ2). |
||||
|
|
|
=1 |
|
Таким образом, статистика 2 является достаточной для параметра σ2.
Задача 8.4. Доказать достаточность и полноту статистики для выборки из нормального распределения со средним и дисперсией 1.
Решение |
|
|
|
|
|
||
В очередной раз воспользуемся задачей |
и выпишем логариф- |
||||||
мическую функцию правдоподобия: |
|
|
|||||
|
1 |
|
|
|
|||
|
|
|
|
|
∑ |
− )2 = |
|
( ) = − 2 ln 2π − 2 |
|||||||
( |
|||||||
|
|
|
|
|
=1 |
|
|
=− 2 ln 2π − 2 2 + − 22 =
=( ) + ϕ( , ),
где ( ) = ln(2π)− /2 − 2/2 и ϕ( , ) = − 2/2. По критерию Неймана — Фишера отсюда получаем, что является достаточной статистикой для параметра .
132 |
Глава 8. Полные и достаточные статистики |
Докажем полноту найденной достаточной статистики. Поскольку статистика имеет нормальное распределение со средним и дисперсией 1/ (см. задачу ), предположение о том, что E ( ) = = 0 для любого действительного числа , означает тождественное равенство нулю интеграла
|
|
∞ |
|
1 |
Z |
( ) −( − )2 /2 ≡ 0, |
|
√ |
|
||
2π/
−∞
причём интеграл сходится абсолютно. Следовательно, абсолютно сходится и тождественно равен нулю интеграл
∞Z
( ) ≡ |
( ) , |
−∞
где ( ) = ( ) − 2 /2. Представим функцию в виде разности положительной и отрицательной частей: ( ) = +( ) − −( ), где
+( ) = ( ) |
I( ( ) > 0) |
|
0 и |
−( ) = |
− |
( ) I( ( ) < 0) |
|
0. |
|||||
· |
|
|
|
|
|
|
|
|
· |
|
|||
Ввиду равенства ( ) ≡ 0 при всех совпадают значения инте- |
|||||||||||||
гралов |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
∞ |
|
|
|
|
∞ |
|
|
|
|
|
|
+( ) = |
Z |
+( ) = |
Z |
−( ) = −( ). |
|
|
|||||||
|
|
−∞ |
|
|
|
|
−∞ |
|
|
|
|
|
|
Отсюда при = 0 вытекает равенство |
|
|
|
|
|
||||||||
|
|
|
|
∞ |
|
|
|
∞ |
|
|
|
|
|
|
|
= |
Z |
+( ) = |
Z |
−( ) . |
|
|
|||||
−∞ −∞
Если = 0, то обе знакопостоянные функции +( ) и −( ) равны нулю почти всюду, и, соответственно, ( ) = 0. Поэтому ( ) = = 0 почти всюду относительно меры Лебега, и, значит, статистика является полной.
Глава 8. Полные и достаточные статистики |
133 |
Если же > 0, то функции +( ) = +( )/ и −( ) = −( )/ являются плотностями некоторых абсолютно непрерывных распределений + и − на R. Таким образом, совпадают следующие преобразования Лапласа:
|
∞ |
∞ |
|
ϕ+( ) = |
Z |
+( ) ≡ Z |
−( ) = ϕ−( ). |
−∞ −∞
Теперь можно воспользоваться тем, что преобразования Лапласа ϕ−( ) и ϕ+( ) однозначно определяют функции − и +: если ϕ−( ) = ϕ+( ) для всех , то −( ) = +( ) почти всюду. Следовательно, +( ) = −( ) почти всюду относительно меры Лебега, и, соответственно, ( ) = 0. Поэтому ( ) = 0 почти всюду относительно меры Лебега, и статистика является полной.
Если читатель не знаком со свойствами преобразования Лапласа (и формулой обращения, в частности), то можно перейти от преобразований Лапласа к более знакомым преобразованиям Фурье — характеристическим функциям, формула обращения для которых доказывается в курсе теории вероятностей.
Рассмотрим аналитическое продолжение ϕ+( ) и ϕ−( ) на плоскость комплексного переменного. Функции
|
∞ |
|
ϕ+( + ) = |
Z |
( + ) +( ) |
|
−∞ |
|
и |
∞ |
|
|
|
|
ϕ−( + ) = |
Z |
( + ) −( ) |
−∞
являются аналитическими на всей комплексной плоскости и совпадают на вещественной прямой. По внутренней теореме единственности эти функции совпадают на всей комплексной плоскости, и в частности на мнимой прямой = 0. Осталось заметить, что ϕ+( ) и ϕ−( ) суть характеристические функции в точке распределений
134 |
Глава 8. Полные и достаточные статистики |
+ и − соответственно. Из совпадения характеристических функций следует равенство плотностей +( ) = −( ) почти всюду.
Отсюда, как уже показано выше, следует, что ( ) = 0 почти всюду относительно меры Лебега, и, значит, статистика является полной.
Задача 8.5. Пусть 1, . . . , — выборка из нормального распределения со средним и дисперсией σ2. Найти достаточную для двумерного параметра ( , σ2) статистику со значениями в R2.
Решение
Выпишем логарифмическую функцию правдоподобия (которую мы нашли в задаче ) и воспользуемся критерием Неймана — Фишера:
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
||
|
∑ |
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
( , σ2) = − 2 ln 2π − 2 ln σ2 − 2σ2 |
− )2 = |
|
|
|
||||||||||||
|
( |
|
|
|
||||||||||||
|
|
|
|
|
|
=1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2 |
|
|
|
||||
|
|
|
|
1 |
|
|
|
|||||||||
|
∑ |
|||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
= − 2 ln 2π − 2 ln σ2 − 2σ2 |
|
|
|
|
|
σ2 = |
||||||||||
|
2 − 2σ2 − |
|||||||||||||||
|
|
|
|
|
|
=1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
2 |
|
|
|
|
|
|||||||
= − |
|
ln 2π − |
|
ln σ2 − |
|
− |
|
− |
|
. |
|
|
|
|||
2 |
2 |
2σ2 |
2σ2 |
σ2 |
|
|
|
|||||||||
Очевидно, мы получили функцию от , σ2, и 2, т. е. все слагаемые должны быть отнесены к факторизационной компоненте ϕ, откуда следует, что достаточной является двумерная статистика =
= ( , 2).
Задача 8.6. Пусть 1 — достаточная статистика для θ, а ( ) — обратимая функция. Доказать, что 2 = ( 1) является достаточной для θ.
Решение
По критерию Неймана — Фишера
Ψ (θ) = ϕ( 1, θ) ( ) = ϕ( −1( 2), θ) ( ) = ϕ1( 2, θ) ( ),
Глава 8. Полные и достаточные статистики |
135 |
что и означает достаточность статистики 2.
Задача 8.7. Пусть 1, . . . , — выборка из равномерного распределения на отрезке [0, θ]. Найти достаточную для параметра θ статистику со значениями в R.
Решение
По критерию Неймана — Фишера достаточной статистикой для θ будет максимальная порядковая статистика: = ( ). Действительно,
1
Ψ (θ) = θ · I( ( ) < θ).
Мы можем положить
ϕ( , θ) = |
1 |
· I( ( ) < θ), |
( ) ≡ 1. |
θ |
Задача 8.8. Пусть 1, . . . , — выборка из равномерного распределения на отрезке [0, θ], θ > 0. Доказать, что статистика ( ) является полной для параметра θ.
Решение
Нам известна плотность максимальной порядковой статистики (см. задачу ), и мы можем выписать соответствующее математическое ожидание:
Zθ
E ( ( )) = ( ) −1θ− .
0
Равенство нулю этого математического ожидания при всех θ > 0 равносильно равенству нулю интегралов
Zθ
( ) −1 .
0
136 |
Глава 8. Полные и достаточные статистики |
Как известно из курса функционального анализа, если функцияинтегрируема по Лебегу, то интеграл R ( ) как функция верх-
него предела есть почти всюду дифференцируемая функция и её производная почти всюду равна подынтегральной функции:
Z
( ) = ( ).
Таким образом, если Rθ ( ) −1 = 0 для всех θ > 0, то функ-
0
ция ( ) почти всюду равна нулю, что и означает полноту статистики( ) для параметра θ.
Если читатель знаком с π- и λ-системами множеств, то можно доказать полноту статистики ( ) другим способом. Обозначим
( ) = ( ) −1.
Так как интегралы от функции ( ) равны нулю на любых отрезках с началом в нуле, то равны нулю (как разности таких интегралов) и интегралы вида
θZ2
( )
θ1
при любых положительных θ1 < θ2. Докажем, что тогда равны нулю и интегралы Z
( ) ,
по борелевским множествам B(R+).
Соберём в одно множество все такие борелевские множества на [0, +∞), интегралы по которым от функции равны нулю:
Z
= { B(R+): ( ) = 0}.
Глава 8. Полные и достаточные статистики |
137 |
Заметим, что (θ1, θ2) для любых положительных θ1 < θ2 и R+ (так как R+ есть счётное объединение непересекающихся интервалов, интеграл от по каждому такому интервалу равен нулю, а значит, и интеграл от по всей положительной полуоси равен нулю). Далее, если , то и , так как
Z |
∞ |
|
( ) = Z |
( ) − Z ( ) = 0. |
|
|
0 |
|
И, наконец, пусть { } 1 — последовательность попарно несов-
местных множеств из . Тогда из σ-аддитивности интеграла следует, |
||||||
что |
Z |
|
|
|
∞ |
|
|
=1 |
|
|
∑ |
|
|
|
∞ |
|
( ) = |
=1 |
Z ( ) = 0. |
|
|
|
|
|
|
|
|
Таким образом, мы показали, что образует так называемую λ-систему множеств, при этом содержит все открытые интервалы на [0, +∞). С другой стороны, множество всех интервалов вместе с пустым множеством образует π-систему (т. е. замкнутую относительно конечных пересечений систему множеств). Тогда, так как
, по теореме Дынкина о π-λ-системах сигма-алгебра σ( ), порождённая классом , содержится в : σ( ) . Но минимальной σ-алгеброй, содержащей все открытые интервалы, является боре-
левская σ-алгебра B(R+). Тогда B(R+) . Но это означает, что
R
( ) = 0 для любого B(R+), что и требовалось.
Теперь рассмотрим множество +, на котором функция ( ) строго положительна и множество −, на котором функция ( ) строго отрицательна. Оба эти множества являются борелевскими, так как функция измерима. Значит,
ZZ
( ) = |
( ) = 0. |
+ −
Но на этих множествах подынтегральная функция (строго) знакопостоянна, а значит, равенство нулю интегралов возможно лишь в
138 |
Глава 8. Полные и достаточные статистики |
случае, когда оба множества имеют нулевую меру Лебега. Таким образом, функция ( ), а вместе с ней и функция ( ), почти всюду равна нулю, откуда следует полнота статистики ( ).
Задача 8.9. Пусть 1, . . . , — выборка из равномерного распределения на отрезке [ , ]. Достаточна ли для двумерного параметра ( , ) статистика ? Статистика ( )? Двумерная статистика
( (1), ( ))?
Решение
По критерию Неймана — Фишера достаточной статистикой для параметра θ = ( , ) будет двумерная статистика = ( (1), ( )). Действительно,
Ψ (θ) = I( ( ) < )I( (1) > ) · ( − )− .
Положим
ϕ( , θ) = I( ( ) < )I( (1) > ) · ( − )− , |
( ) ≡ 1. |
Ни одна из порядковых статистик не является достаточной по критерию Неймана — Фишера, так как невозможно факторизовать, например, функцию I( (1) > ) так, чтобы одна компонента зависела только от параметра, а другая — только от порядковой статистики.
Заметим, что можно построить и скалярную достаточную статистику, воспользовавшись взаимно однозначным отображением R2 в
R.
Задача 8.10. Пусть 1, . . . , — выборка из равномерного распределения на отрезке:
а) [θ, θ + 1]; б) [θ, 2θ].
Найти достаточную для параметра θ статистику со значениями в R2.
Решение
a) Запишем функцию правдоподобия:
Ψ (θ) = I( ( ) < θ + 1)I( (1) > θ) = I( ( ) − 1 < θ < (1)).
Глава 8. Полные и достаточные статистики |
139 |
По критерию Неймана — Фишера достаточной статистикой является двумерная статистика = ( (1), ( )), хотя параметр скалярный.
б) Аналогично имеем:
Ψ (θ) = I( ( ) < 2θ)I( (1) > θ) = I( ( )/2 < θ < (1)).
По критерию Неймана — Фишера достаточной статистикой является двумерная статистика = ( (1), ( )).
Задача 8.11. Найти достаточную статистику для параметра сдвига β R смещённого показательного распределения с плотностью
β− , |
если β, |
β( ) = {0, |
если < β. |
Является ли достаточная статистика полной? Является ли достаточной статистикой?
Решение |
|
|
Функция правдоподобия имеет следующий вид (см. задачу |
): |
|
Ψ (β) = β− · I( (1) > β). |
|
|
Если положить |
|
|
ϕ( , β) = β · I( (1) < β), |
( ) = − , |
|
то видно, что достаточной является статистика = (1). |
|
|
Докажем, что (1) является полной статистикой. В задаче |
мы |
|
показали, что (1) − β имеет показательное распределение с параметром . Используя формулу плотности линейного преобразования случайной величины (см. решение задачи ), находим плотность
(1): |
|
− ( −β), |
если β, |
(1) ( ) = {0, |
если < β. |
140 Глава 8. Полные и достаточные статистики
Равенство нулю математического ожидания
∞ |
|
E ( (1)) = Z ( ) − ( −β) = 0 |
|
β |
|
при всех β R равносильно равенству нулю интегралов |
|
∞ |
|
Z ( ) − . |
|
β |
|
Отсюда, точно так же, как и в задаче |
, следует, что ( ) почти |
всюду равна нулю, что и означает полноту статистики (1).
Статистика не будет достаточной, так как I( (1) < β) не факторизуется, а (1) не является функцией от . Это легко понять,
рассмотрев две выборки, скажем, (2, 2) и (1, 3).
Задача 8.12. Пусть 1, . . . , — выборка из распределения с плотностью θ( ) = θ θ−1 при [0, 1], где θ > 0. Найти достаточную статистику для параметра θ.
Решение
Так как
(∏ )θ−1
Ψ (θ) = θ ,
=1
то из критерия Неймана — Фишера следует, что статистика =
= ∏ (или же ln , как её обратимое преобразование, см. задачу =1 ) является достаточной для θ.
Задача 8.13. Пусть 1, . . . , — выборка из распределения Пуассона с параметром λ. Найти условное совместное распределение выборки при условии 1 + · · · + = . Является ли достаточной статистикой для параметра λ? Являются ли достаточными статистики ( )2, 2 и sin ?
