Математическая статистика. Учебное пособие
.pdf
Глава 14. Критерии согласия |
241 |
Левая часть неравенства под знаком вероятности в правой части последнего соотношения сходится по вероятности к положительному числу. Отсюда следует, что α2( 2) → 0 при → ∞.
Задача 14.3. При = 4040 бросаниях монеты Бюффон получил 2048 выпадений герба и 1992 выпадений решки. Совместимо ли это с гипотезой о симметричности монеты?
Решение
Построим критерий с помощью теоремы Муавра — Лапласа. Мы рассматриваем основную гипотезу = 1/2 при двусторонней альтернативе ̸= 1/2. Будем отвергать основную гипотезу, если
|
|
|
|
|
|
|
|
|
|
|
|
|
|
( ) = |
=1 |
− /2 |
|
τ |
1−ε/2 |
, |
|||||
| |
| |
∑ |
|
|
|
|
|
|
|
|||
|
|
· |
1 |
· |
1 |
|
|
|
|
|
||
|
|
|
√ |
2 |
2 |
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
где τ1−ε/2 — квантиль стандартного нормального распределения. Этот критерий, построенный с помощью асимптотического довери-
тельного интервала (см. задачу |
), очевидно, имеет асимптоти- |
||||||
ческий размер ε. При |
|
= 2048 данная числовая выборка даёт |
|||||
|
|
|
=1 |
|
|
|
|
|
2048∑ |
2020 |
|
|
|||
значение ( ) = |
|
|
− |
≈ |
0,88. Вычислим приближённо ре- |
||
|
|
4040/4 |
|
||||
|
|
|
|
|
|||
|
|
уровень значимости: |
|||||
ально достигнутый |
√ |
|
|
|
|
|
|
ε* = P 1 (| ( )| > 0,88) ≈ 2Φ(0,88) = 2 · 0,189 = 0, 378.
Данную вероятность следует трактовать как вероятность получить по результатам 4040 бросаний симметричной монеты худшее согласие с проверяемой гипотезой, чем для испытаний Бюффона. Иными словами, получить для симметричной монеты число гербов, ещё более отклоняющееся от 2020, чем в проведённой Бюффоном серии испытаний. Поскольку эта вероятность не является малой, следует принять первую гипотезу как не противоречащую результатам испытаний.
242 |
Глава 14. Критерии согласия |
В данной постановке вполне можно ограничиться односторонней альтернативой > 1/2 (хотя для этого следует иметь более веские основания о свойствах монеты, чем только результаты испытаний). В этом случае критическая область будет односторонней, и реально достигнутый уровень значимости уменьшится вдвое. Он будет показывать вероятность получить при испытаниях с симметричной монетой число гербов, ещё более уклоняющееся в большую сторону от 2020, чем 2048.
Задача 14.4. Пусть 1, . . . , — выборка из нормального распределения со средним и единичной дисперсией. Построить такой критерий δ с вероятностью ошибки первого рода α1(δ) = ε для раз-
личения гипотез 1 = { = 0}, 2 = { < 0} и 3 = { > 0}, что α2(δ) → 0 при любом < 0 и α3(δ) → 0 при любом > 0.
Решение
Построим критерий с помощью статистики √ − 0 , имею-
|
распределение. Если |
|
щей при гипотезе 1 стандартное нормальное |
( |
) |
ζ1−ε/2 — квантиль уровня 1 − ε/2 стандартного нормального распределения, то критерий
|
|
|
|
если |
√ |
|
|
|
|
|
< −ζ1−ε/2 |
|
|
|||||||
|
|
|
2, |
|
|
|
|
0 |
, |
|
||||||||||
δ( , . . . , ) = |
|
|
если |
|
|
|
|
− |
|
√ |
|
|
|
− |
|
|
ζ1−ε/2 |
|
||
, |
|
|
|
|
|
|
|
|
|
0 |
, |
|||||||||
1 |
|
|
1 |
|
|
− ζ(1−ε/2 ) |
|
|
||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
>(ζ1−ε/2 |
|
) |
|
|||||
|
|
3, |
если |
√ − 0 |
|
|
||||||||||||||
|
|
|
|
|
|
|
|
( |
|
|
|
) |
|
|
|
|
|
|||
имеет вероятность ошибки первого рода ε. Вероятность ошибки второго рода стремится к нулю:
|
|
|
|
P 2 (δ ̸= p2) = P 2 (√ |
|
( |
|
− 0) |
> −ζ1−ε/2) |
→ 0, |
|
|
|||||||||
|
|
|
||||||||
поскольку − 0 → − 0 < 0 для любого < 0, так что величина |
||||||||||
√ |
|
|
|
− 0 с ростом стремится по вероятности к минус бесконеч- |
||||||
ности. В силу симметрии вероятность ошибки третьего рода также |
|
( |
) |
стремится к нулю.
244 Глава 14. Критерии согласия
Доказать, что при выполнении основной гипотезы распределение статистики ω2 не зависит от непрерывной функции распределения .
Задача 14.8. Пусть 1, . . . , — выборка из распределения Бернулли с параметром . Построить какой-либо состоятельный критерий асимптотического размера ε для проверки гипотезы = 0 против альтернативы ̸= 0.
Задача 14.9. Пусть 1, . . . , — выборка из распределения Пуассона с параметром λ. Построить какой-либо состоятельный критерий асимптотического размера ε для проверки гипотезы λ = λ0 против альтернативы λ ̸= λ0.
Задача 14.10. Используя конструкции доверительного интервала, построить критерий с (точной или асимптотической) вероятностью ошибки первого рода ε для проверки гипотезы θ = 1 по выборке из:
а) нормального распределения со средним θ и дисперсией 1; б) нормального распределения со средним 1 и дисперсией θ; в) показательного распределения с параметром θ; г) распределения Бернулли с параметром θ/2; д) распределения Пуассона с параметром θ.
Задача 14.11. Пусть выборка 1, . . . , имеет нормальное распределение со средним и дисперсией σ2. Для проверки гипотезы о том, что = 0, используется статистика
√ |
|
|
|
|
|
|
|
|
|
|
|
02 |
|||||
|
|
− 0 |
. |
|||||
|
|
|
|
|
|
|
|
|
|
|
√ |
|
|
|
|
||
Доказать, что соответствующий критерий состоятелен.
Г Л А В А 15
Критерии типа хи-квадрат
Критерий Пирсона хи-квадрат. Пусть 1, . . . , — выборка из неизвестного распределения и 1 — некоторое распределение. Пусть задан конечный набор из непересекающихся интервалов 1, . . . , , объединение которых есть носитель распределения 1. Обозначим через = 1(Δ ) вероятности попадания в эти интервалы для распределения 1 и через ν — число элементов выборки,
попавших в интервал .
Для проверки гипотезы 1 о совпадении вектора неизвестных истинных вероятностей ( (Δ1), . . . , (Δ )) с вектором ( 1, . . . , ) используется статистика хи-квадрат
χ2( 1, . . . , ) = |
|
(ν − )2 |
. |
∑ |
|
||
|
|
||
|
=1 |
||
|
|
|
|
Справедлива следующая теорема.
Теорема 18 (Пирсона). Если гипотеза 1 верна, то при → ∞ распределение статистики хи-квадрат слабо сходится к распределению хи-квадрат с − 1 степенью свободы.
Критерий Пирсона асимптотического размера ε отвергает основную гипотезу, если значение статистики хи-квадрат χ2( 1, . . . , ) превосходит квантиль ζ1−ε уровня 1 − ε распределения хи-квадрат с − 1 степенью свободы.
246 |
Глава 15. Критерии типа хи-квадрат |
Критерий хи-квадрат часто применяют для проверки параметрической гипотезы {θ, θ Θ R }. Однако в этом случае значения теоретических вероятностей ( 1, . . . , ) зависят от неизвестного параметра.
В качестве оценки неизвестного параметра θ используют оценку по методу минимума хи-квадрат: θ* доставляет минимум функции
χ2( 1, . . . , ; θ) = |
|
(ν − (θ))2 |
. |
∑ |
|
||
|
(θ) |
||
|
=1 |
||
|
|
|
|
Предельное распределение статистики критерия при этом меняется: при верной основной гипотезе (при выполнении некоторых условий относительно гладкости (θ)) предельным распределени-
ем статистики χ2( 1, . . . , ; θ*) будет распределение χ2− − , где
есть размерность вектора параметров θ.
1
Критерий χ2 для проверки независимости. Есть выборка значений двух наблюдаемых совместно случайных величин и в независимых экспериментах: ( 1, 1), . . . , ( , ).
Проверяется гипотеза 1 |
= { и независимы}. |
|||||||
Введём интервалов группировки |
1, . . . , |
для значений |
||||||
и интервалов группировки 1, . . . , для значений : |
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
1 |
2 . . . |
|
|
∑ |
|||
|
|
|
=1 |
|
||||
|
|
|
|
|
|
|
|
|
. 1 |
ν11 |
ν12 . . . |
ν1 |
|
ν1· |
|||
. |
|
|
. . . |
|
|
|
|
|
. |
|
|
|
|
|
|
||
|
|
ν 1 |
ν 2 . . . |
ν |
|
ν · |
||
|
|
|
|
|
|
|
|
|
|
∑ |
ν·1 |
ν·2 |
. . . ν· |
|
|
||
=1 |
|
|||||||
Посчитаем эмпирические частоты: |
|
|
|
|
||||
ν = число пар ( , ), |
попавших в |
× , |
||||||
|
Глава 15. Критерии типа хи-квадрат |
|
|
|
247 |
||||||
ν· |
= число , попавших в , ν · |
= число , попавших в |
. |
||||||||
Пусть |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
ν |
(ν ν |
)/ |
|
2 |
|
|
||
|
( , ) = =1 =1 |
( |
|
− ν ν· |
· |
|
) |
|
. |
|
|
|
∑ |
∑ |
|
· · |
|
|
|
|
|
|
|
Теорема 19. Если гипотеза 1 |
верна, то при → ∞ распреде- |
||||||||||
ление величины ( , ) слабо сходится к распределению хи-квадрат с ( − 1)( − 1) степенями свободы.
Критерий согласия асимптотического размера ε строится как обычно: по заданному ε найдём квантиль 1−ε уровня 1−ε распределения хи-квадрат с ( − 1)( − 1) степенями свободы. Критерий отвергает основную гипотезу, если ( , ) 1−ε.
ПРИМЕРЫ РЕШЕНИЯ ЗАДАЧ
Задача 15.1. В ходе = 4000 независимых испытаний события1, 2 и 3, составляющие полную группу событий, появились 1905, 1015 и 1080 раз соответственно. Проверить, согласуются ли эти данные на уровне 0,05 с гипотезой = { 1 = 1/2, 2 = 3 = 1/4}, где
= P( ).
Решение
Воспользуемся критерием хи-квадрат Пирсона. Статистика критерия равна
χ2 = |
(1095 − 4000 · 21 )2 |
+ |
|
(1015 − 4000 · 41 )2 |
+ |
(1080 − 4000 · 41 )2 |
|
= |
|
4000 · 21 |
4000 · 41 |
4000 · 41 |
|||||||
|
|
|
|
|
|||||
|
|
|
|
|
|
= 416,1375, |
|
||
тогда как квантиль распределения χ22 (показательного с параметром 1/2) уровня 0,95 равна 5,99. Гипотеза с уверенностью должна быть отвергнута.
248 |
Глава 15. Критерии типа хи-квадрат |
Задача 15.2. Пользуясь интегральной теоремой Муавра — Лапласа, доказать теорему Пирсона при = 2.
Решение
При = 2 имеем ν2 = − ν1, 2 = 1 − 1. Посмотрим на статистику критерия и вспомним центральную предельную теорему:
χ2 = |
(ν1 − 1)2 |
+ |
|
(ν2 − 2)2 |
= |
|
|
|
|
||
|
|
1 |
|
2 |
|
|
|
|
|
||
= |
(ν1 − 1)2 |
+ |
|
( − ν1 − (1 − 1))2 |
= |
|
|||||
|
|
1 |
|
(1 − 1) |
|
|
|
||||
= |
(ν1 − 1)2 |
+ |
|
(−ν1 + 1)2 |
= |
(ν1 − 1)2 |
= |
||||
|
|
1 |
|
(1 − 1) |
|
|
1(1 − 1) |
|
|||
|
(√ 1(1 − 1)) |
2 |
|
|
|
|
|
||||
|
|
|
|
|
|
|
|||||
= |
|
ν1 − 1 |
. |
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
||||
Но величина ν1 есть сумма независимых случайных величин с распределением Бернулли с параметром 1, и по центральной предельной теореме
√ ν1 − 1 η,
1(1 − 1)
соответственно, квадрат этой величины слабо сходится к распределению, которое имеет квадрат случайной величины η со стандартным нормальным распределением, т. е. к распределению хи-квадрат с одной степенью свободы.
Задача 15.3. Цифры 0, 1, 2, . . . , 9 среди 800 первых десятичных знаков числа π появились 74, 92, 83, 79, 80, 73, 77, 75, 76, 91 раз соответственно. Проверить гипотезу о согласии этих данных с законом равномерного на множестве {0, 1, . . . , 9} распределения.
Решение
Статистика критерия хи-квадрат равна 5,125. Вероятность получить такое же или ещё большее отклонение (реально достигнутый
Глава 15. Критерии типа хи-квадрат |
249 |
уровень значимости) при верной основной гипотезе равна
P(χ29 > 5,125) = 0,823.
Таким образом, получено очень хорошее согласие с проверяемой гипотезой.
Задача 15.4. По официальным данным в Швеции в 1935 г. родилось 88 273 ребёнка, причём в январе родилось 7280 детей, в феврале — 6957, марте — 7883, апреле — 7884, мае — 7892, июне
—7609, июле — 7585, августе — 7393, сентябре — 7203, октябре
—6903, ноябре — 6552 и в декабре — 7132 ребёнка. Совместимы ли эти данные с гипотезой, что день рождения наудачу выбранного человека с равной вероятностью приходится на любой из 365 дней года?
Решение
Вычислите статистику критерия и убедитесь, что реально достигнутый уровень значимости составляет всего лишь 2,7 · 10−49.
Задача 15.5. Для проверки равномерности распределения дней рождения по месяцам года взят список дней рождения 683 студентов вуза. Получено следующее распределение дней рождения: январь — 60, февраль — 62, март — 60, апрель — 63, май — 69, июнь — 59, июль — 62, август — 54, сентябрь — 41, октябрь — 45, ноябрь — 48 и декабрь — 60 студентов. Проверить гипотезу о равномерности распределения дней рождения по месяцам года.
Решение
Итак, есть 12 интервалов группировки. Проверяемая гипотеза состоит в том, что вероятность элементу выборки попасть в каждый из них одна и та же и равна 1/12 (правильнее было бы проверять гипотезу равномерности по дням и взять разные вероятности, пропорциональные числу дней каждого месяца).
250 |
Глава 15. Критерии типа хи-квадрат |
|
|||
Вычислим статистику критерия: |
|
|
|
||
( ) = |
(60 − 683/12)2 |
+ (62 − 683/12)2 |
+. . .+ |
(60 − 683/12)2 |
= |
|
683/12 |
683/12 |
|
683/12 |
|
|
|
|
|
= 13,193. |
|
Возьмём ε = 0,05 и найдём по таблице критических точек распределения χ211 величину такую, что P(χ211 > ) = 0,05. Получим= 19,68. Величина оказалась меньше , поэтому критерий принимает основную гипотезу. Реально достигнутый уровень значимости приближённо равен ε* ≈ P(χ211 > 13,193) = 0,281. Он показывает, что достигнуто достаточно хорошее согласие с проверяемой гипотезой.
ЗАДАЧИ ДЛЯ САМОСТОЯТЕЛЬНОГО РЕШЕНИЯ
Задача 15.6. Пользуясь законом больших чисел Бернулли, доказать состоятельность критерия хи-квадрат.
Задача 15.7. Решить задачу |
с помощью критерия хи-квадрат |
|
Пирсона. |
|
|
Задача 15.8. В условиях задачи |
проверить гипотезу о рав- |
|
номерности распределения дней рождения по дням невисокосного года.
Задача 15.9. Ниже приводятся результаты 4096 опытов, состоящих в одновременном подбрасывании 12 костей (данные Уэлдона). В каждом из опытов подсчитывалось число костей, выпавших кверху шестёркой (гранью с шестью очками). Проверить гипотезу правильности костей.
Число |
0 |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
Всего |
|
шестёрок |
||||||||||
Число |
447 |
1145 |
1181 |
796 |
380 |
115 |
24 |
8 |
4096 |
|
случаев |
||||||||||
|
|
|
|
|
|
|
|
|
