КАФЕДРА ТЕОРИИ ВЕРОЯТНОСТЕЙ И ПРИКЛАДНОЙ МАТЕМАТИКИ
Лекция № 15
Основы проверки статистических гипотез. Параметрические
гипотезы о параметрах выборок из нормального распределения
Будем предполагать, что точный вид закона распределения случайной величины , из которой произведена выборка (x1,..., xn ), неизвестен. В то
же время, исходя из некоторых общих предпосылок, можно сделать те или иные предположения относительно этого закона. К примеру, если производятся измерения некоторой величины прибором, то естественно предполагать, что результаты этих измерений можно рассматривать как выборку из нормальной случайной величины с неизвестными, вообще говоря, значениями ее параметров.
Определение. Всякое предположение относительно закона распределения, из которого производится выборка, будем называть
статистической гипотезой или просто гипотезой.
Определение. Если гипотеза однозначно определяет закон распределения, будем называть ее простой гипотезой, в противном случае будем называть гипотезу сложной.
Так как любая сложная гипотеза фиксирует некоторое множество распределений, то она может рассматриваться как множество простых
гипотез, каждая из которых состоит в том, что выборка получена из определенного распределения, принадлежащего к фиксированному множеству.
Определение. Если закон распределения, из которого производится
выборка, известен с точностью до некоторого параметра |
( |
может |
быть и вектором), значение которого принадлежит множеству |
, то |
всякое предположение о |
значении |
|
будем называть |
параметрической гипотезой: |
F (x). |
|
|
Очевидно, что всякая параметрическая гипотеза фиксирует некоторое подмножество ' . Если параметрическая гипотеза простая, то ' содержит один единственный элемент ': ' ={ '}. Иногда говорят, что параметрической гипотезой называется любое подмножество H0 множества : H0 .
Например, предположение о том, что выборка получена из нормальной случайной величины N (a, 2 ) (значения параметров которой a и 2 при этом не фиксируются), представляет собой сложную
гипотезу, а предположение о том, стандартной нормальной случайной гипотезу.
что выборка получена из
величины |
N (0,1) |
– простую |
Определение. Критерий для проверки гипотезы H0 – это правило, с
помощью которого по выборке (x1,..., xn ) делается заключение о том, что
неизвестный параметр принадлежит множеству |
H0 , либо |
|
не |
принадлежит H0 , т. е. \ H0 |
|
|
|
Такое правило можно однозначно определить с помощью подмножества V множества всевозможных выборок, которое можно рассматривать как подмножество n -мерного векторного пространства
n
. Если вектор (x1,..., xn ) V , то гипотезу H0 отвергают, т. е. считают, что
неизвестный параметр |
|
принадлежит множеству \ H0 . Если вектор |
(x1 ,..., xn ) |
n |
\ V , то гипотезу H0 принимают, т. е. считают что H0 . |
|
|
|
|
Определение. Множество V называют критическим множеством (или
критической областью) критерия. Множество H1 = \ H0 является также
Иными словами, α –
|
F |
(x) , где 0 |
H0 |
, а |
|
0 |
|
|
|
|
F |
(x), где 1 |
H1. |
|
|
1 |
|
|
|
вероятность того, что выборка (– вероятность того, что выборка
x |
,..., x |
) |
1 |
|
n |
|
(x |
,..., x |
|
1 |
|
n |
Определение. Назовем |
|
статистического критерия. |
|
Для параметрических гипотез
=P (x1,..., xn ) V
= ( ), = (
|
( |
) |
|
|
|
0 |
|
|
, H |
|
) = |
|
( |
) |
, H |
|
|
1 |
− |
|
|
|
|
|
|
|
|
|
Как сравнивают статистические критерии?
Рассмотрим те статистические критерии, у которых ( ) 0 при всех
. Число 0 называется уровнем значимости.
Критерий однозначно определяется своими критическими областями.
Определение. Пусть V1 |
и V2 – два критерия (две критические области) с |
уровнем значимости 0 |
. Говорят, что критерий V1 |
лучше, чем критерий |
V2 , если он имеет меньшую ошибку второго рода: |
|
для любого H1.
Рассмотрим теперь случай, когда H H0 = 0 , и альтернативная гипотеза гипотезой, H1 = 1 . В этом случае =
0 |
является простой гипотезой, т. е. |
|
H1 = \ H0 |
также является простой |
0 , 1 . |
|
Пример. Пусть выборка производится из распределения Бернулли
с неизвестной вероятностью успеха p . Пусть основная состоит в том, что p = 0,5, а альтернативная H1 в том, что
Рассмотрим статистику отношения правдоподобия
|
|
|
L |
(x |
,..., x |
) |
, |
|
T (x1 |
,..., xn ) = |
1 |
1 |
n |
|
|
L |
(x |
,..., x |
) |
|
|
|
|
|
|
|
0 |
1 |
n |
|
|
где Lk (x1,..., xn ) – функция правдоподобия выборки того, что верна гипотеза Hk , где k 0,1.
Сформулируем критерий следующим образом:
фиксируем некоторую константу C 0; |
|
- если T (x1 |
,..., xn ) C , |
то выбираем гипотезу H1 |
; |
- если T (x1 |
,..., xn ) C , |
то выбираем гипотезу H0 . |
Константу |
C выбираем так, чтобы была обеспечена заранее заданная |
вероятность ошибки первого рода : |
|
|
|
|
|
|
|
|
|
( |
|
|
) |
|
|
|
|
= P |
|
H |
1 |
| H |
0 |
|
= P T |
|
x |
,..., x |
|
C | H |
0 |
|
|
|
|
|
|
|
|
|
1 |
n |
|
|
|
|
Этот критерий носит название критерия отношения правдоподобия.
Обозначим его критическое множество через W , а его ошибки первого и второго рода обозначим W и W соответственно.
-произвольный статистический критерий
гипотезы |
H0 |
против простой альтернативы |
для проверки H1 с ошибками
первого и второго рода S и S . Будем рассматривать такие критерии S
, что S W . |
|
Лемма (Неймана-Пирсона). В сформулированных выше |
предположениях для критерия S верно, что если S W , то S |
W . |
Доказательство. Проведем его для случая, когда выборка |
(x1,..., xn ) |
является выборкой из абсолютно непрерывного закона
распределения, т. е. xi |
имеет плотность |
p |
(x), если верна гипотеза H0 , |
|
|
|
|
|
0 |
|
или |
p |
(x), если верна |
H1 . По определению статистики отношения |
|
1 |
|
|
|
|
|
правдоподобия:
Прибавляя к левой и правой части полученного неравенства величину
|
|
|
|
1 |
1 |
(yn )dy1...dyn |
, |
|
... |
|
p |
(y1 )... p |
|
W |
S |
|
|
|
|
|
получаем неравенство:
|
|
|
1 |
|
1 |
(y |
|
)dy ...dy |
|
|
|
|
|
1 |
|
1 |
|
... |
|
p |
(y )...p |
n |
n |
|
|
... |
|
p |
(y )...p |
|
|
|
|
1 |
|
|
1 |
|
|
|
|
|
1 |
|
|
S |
|
|
|
|
|
|
|
|
|
|
W |
|
|
|
|
Левая часть неравенства равна |
1− S |
, |
получили, что
S W .
а правая равна |
1− W |
, т. е. мы |
Лемма доказана.
Из леммы следует, что для любых значимости W функция мощности
H1 и любого критерия S с уровнем критерия W наибольшая:
W ( ) =1− W 1− S = S ( ).
Поэтому критерий отношения правдоподобия называют наиболее мощным критерием при фиксированном уровне значимости W , а
статистику T (x1 ,..., xn ) называют статистикой наиболее мощного критерия.
Приведем примеры использования леммы Неймана-Пирсона.
– выборка из нормального распределения с
неизвестным математическим ожиданием и известной дисперсией:
|
N (a 2 ), где a - неизвестно, 2 - известно. |
Относительно неизвестного параметра a имеются два предположения:
либо |
a = a |
, либо |
a = a , при этом |
a |
a |
. В данном случае гипотезы H |
0 |
и |
|
0 |
|
1 |
0 |
1 |
|
|
H1 являются простыми:
Построим наиболее мощный критерий проверки гипотезы H0 при альтернативе H1.
a − a |
|
n |
|
|
|
|
|
|
1 |
|
0 |
x j |
|
2 |
|
|
|
|
j=1 |
|
|
|
|
|
|
|
|
2 |
|
|
|
|
|
nx |
a |
− a |
|
|
|
|
|
1 |
|
0 |
|
|
|
|
|
|
|
|
|
2 |
x |
|
|
|
|
|
n(a |
− a |
|
|
|
1 |
|
0 |
|
|
|
|
|
( |
|
|
|
1 |
|
|
|
0 |
|
|
|
|
n a |
2 |
− a |
2 |
ln C + |
|
|
|
|
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2 |
|
|
|
|
|
n |
( |
|
1 |
|
|
|
|
0 ) |
|
|
a |
2 |
|
|
− a |
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
ln C + |
|
|
|
2 |
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
( |
|
|
|
|
|
|
|
|
|
|
|
|
|
n |
|
|
1 |
|
|
0 |
|
|
|
a |
2 |
− a |
2 |
|
|
|
|
|
|
|
|
|
|
|
|
) |
ln C + |
|
|
|
|
2 |
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Обозначим величину, стоящую в правой части неравенства, через
получим, что наиболее мощный критерий определяется следующим образом:
x C1, то принимаем гипотезу x C1, то принимаем гипотезу
Вычислим вероятности ошибок первого и второго рода наиболее
мощного критерия. Пусть верна гипотеза H0 |
, т. е. (x1,..., xn ) - выборка из |
N (a , 2 ). Тогда |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
n |
|
|
|
|
|
2 |
|
x − a |
|
|
|
|
|
|
|
|
|
|
x = |
|
x j |
N (a0 |
, |
|
), |
|
0 |
N (0,1) . |
|
|
|
|
|
|
|
|
|
n |
|
/ |
n |
|
|
|
|
|
|
|
|
|
|
|
|
j |
=1 |
|
|
|
|
n |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Тогда |
|
0 |
|
( |
|
|
0 ) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
= P |
H |
| H |
|
= P |
|
x C |
| H |
|
|
= |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
x − a |
|
|
C − a |
| |
|
|
|
=1− |
|
n (C − a |
) |
, |
|
|
|
|
|
|
= P |
|
|
0 |
1 |
0 |
H0 |
Ф |
1 |
0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
/ |
|
n |
/ |
n |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
где Ф (x) - функция распределения стандартного нормального закона.
Аналогично определяем
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
n (C1 |
− a1 ) |
|
|
|
|
= P H0 |
| H1 = P (x C1 |
| H1 )= Ф |
|
|
|
|
. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
наиболее мощного критерия имеет место
|
( |
1 |
n ) |
= |
|
|
0 |
|
|
|
|
T |
|
x |
,..., x |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
n |
|
|
|
= |
0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
n |
|
|
|
|
|
|
|
|
(x j − a) |
2 |
|
(x |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
n |
|
|
|
|
|
|
|
|
|
|
|
|
exp |
|
|
|
|
2 |
|
− |
|
|
|
|
|
|
|
2 |
|
|
|
|
|
|
|
|
j=1 |
|
|
0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2 |
− |
2 |
n |
|
|
|
|
2 |
exp |
|
|
1 |
|
|
|
|
0 |
(x j |
− a) |
|
|
|
|
|
2 |
|
2 |
|
|
|
|
2 |
|
0 |
j=1 |
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
Если |
T (x1 ,..., xn ) C |
- принимаем гипотезу |
H0 |
, если |
T |
отвергаем. Логарифмируя и упрощая неравенство получаем
(x |
,..., x |
) C |
1 |
|
n |
|
|
T (x |
,..., x |
) |
|
1 |
|
n |
|
|
2 |
|
2 |
|
|
|
|
n |
|
|
|
2 2 |
|
|
|
|
(x j − a) |
|
|
|
0 1 |
ln C + n ln |
|
1 |
= C1. |
|
2 |
2 |
|
|
j=1 |
|
|
1 |
− 0 |
|
0 |
Тогда наиболее мощный критерий имеет вид:
|
|
= P H0 |
|
|
n |
|
2 |
|
|
|
|
|
|
|
| H1 = P (x j − a) |
|
C1 |
| H1 |
= |
|
|
|
|
|
|
|
j=1 |
|
|
|
|
|
|
|
|
|
|
n |
|
2 |
|
|
|
|
2 (C1 |
|
), |
|
|
= P ((x j − a)/ 1 ) |
|
C1 |
/ 1 | H1 = F |
/ 1 |
|
|
|
|
|
|
|
2 |
|
|
|
|
2 |
|
|
|
j=1 |
|
|
|
|
|
|
n |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
где |
F 2 (x) |
- функция |
распределения |
случайной величины, |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
n |
|
|
|
|
|
|
|
|
|
|
|
|
распределенной по закону хи-квадрат с n |
степенями свободы. |
При заданном уровне значимости |
можно задать C1. |
|
C1 = |
2 |
2 |
0 |
n;1− , |
где n;1− - квантиль хи-квадрат распределения с |
2 |
|
|
уровня 1− .
Мы разобрали случай, когда требуется различить две простые гипотезы. На практике данный случай встречается редко, но он
является самым простым. Методы различения сложных параметрических гипотез зачастую в своей основе имеют видоизмененный наиболее мощный критерий, т.е. рассмотренный нами критерий отношения правдоподобия.
