Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:

ms_2006

.pdf
Скачиваний:
112
Добавлен:
21.03.2016
Размер:
1.33 Mб
Скачать

Оглавление

JJ II

J I

На стр. ... из 179

Назад

Во весь экран

Уйти

Стр. 121

Введем при ε [0, 1] класс критериев Kε = {δ(X) : α1(δ) 6 ε}.

Определение 25. Критерий δ0 Kε называют наиболее мощным критерием (НМК) размера ε, если

α20) 6 α2(δ)

для любого другого критерия δ Kε.

7.3. Построение оптимальных критериев

Следующее замечательное утверждение, по недоразумению называемое леммой, заявляет, что оптимальные во всех трех смыслах (минимаксные, байесовские, наиболее мощные) критерии могут быть построены в самом общем случае простым выбором различных констант в одном и том же критерии — критерии отношения правдоподобия.

Пусть X = (X1, . . . , Xn) — выборка (набор независимых, одинаково распределенных величин), и имеются две гипотезы о распределении Xi:

H1 = {Xi имеют распределение F1} и H2 = {Xi имеют распределение F2}

Пусть f1(y) — плотность распределения F1, f2(y) — плотность распределения F2, а

n

n

 

Yi 1

Yi 1

(Xi)

f1(X) = f1(X1, . . . , Xn) =

f1(Xi) и f2(X) = f2(X1, . . . , Xn) = f2

=

=

 

— соответствующие функции правдоподобия.

Оглавление

JJ II

J I

На стр. ... из 179

Назад

Во весь экран

Уйти

Стр. 122

Предполагается, что распределения F1 и F2 либо оба дискретны, либо оба абсолютно непрерывны.

Замечание 17. Если одно из распределений дискретно, а другое абсолютно непрерывно, то всегда существует критерий с нулевыми вероятностями ошибок. Смешанные распределения мы рассматривать не будем. Математики вместо этого могут предполагать, что оба распределения абсолютно непрерывны относительно одной и той же σ-конечной меры и имеют относительно нее плотности f1(y) и f2(y).

Мы будем выбирать гипотезу в зависимости от отношения функций правдоподобия. Напомним, что функция правдоподобия есть плотность распределения выборки.

Обратимся к примеру 30. Естественным кажется принимать вторую гипотезу, если X1 лежит правее точки пересечения плотностей c = 1/2. То есть там, где вторая плотность больше, принимать вторую гипотезу, там, где первая — первую. Такой критерий сравнивает отношение f2(x1, . . . , xn)/f1(x1, . . . , xn) с единицей, относя к критической области ту часть IRn, где это отношение больше единицы. Заметим, что при этом мы получим ровно один, не обязательно оптимальный, критерий с некоторым фиксированным размером и мощностью.

Если же нужно получить критерий c заранее заданным размером α1 = ε, либо иметь возможность варьировать и размер, и мощность критерия, то следует рассмотреть класс похожих критериев, введя свободный параметр: там, где вторая плотность в c раз превосходит первую, выбирать вторую гипотезу, иначе — первую: сравнивать отношение плотностей f2(x1, . . . , xn)/f1(x1, . . . , xn) не с единицей, а с некоторой постоянной c.

Оглавление

JJ II

J I

На стр. ... из 179

Назад

Во весь экран

Уйти

Стр. 123

Назовем отношением правдоподобия частное

 

 

 

T(x) = T(x1, . . . , xn) =

f2(x1, . . . , xn)

,

(18)

f1(x1, . . . , xn)

 

 

 

рассматривая его лишь при таких значениях x, когда хотя бы одна из плотностей отлична от нуля. Имеется в виду, что 0/a = 0, a/0 = +∞.

Конструкция критерия, который мы живописали выше, сильно усложнится в случае, когда распределение случайной величины T(X) не является непрерывным, т. е. существует такое число c, что c = PH1 (f2(X)/f1(X) = c) отлична от нуля. Это означает, что на некотором «большом» множестве значений выборки обе гипотезы «равноправны»: отношение правдоподобия постоянно. Относя это множество целиком к критическому множеству или целиком исключая из него, мы меняем вероятность ошибки первого рода (размер) критерия на положительную величину c:

PH1 (T(X) >c) = PH1 (T(X) > c) + PH1 (T(X) = c) = PH1 (T(X) > c) + c.

И если вдруг мы захотим приравнять вероятность ошибки первого рода к заранее выбранному числу ε, может случиться так, что критерий с критическим множеством S = {T(x) > c} имеет размер больший, чем ε, а критерий с критическим множеством S = {T(x) > c} — размер меньший, чем ε.

Поэтому для математиков, не читающих [1], мы сформулируем замечательно мощное утверждение мелким шрифтом, зато в общем случае. Затем для почти математиков сформулируем и докажем частный, но наиболее частый случай, когда отношение правдоподобия T(X) имеет при верной первой гипотезе непрерывную функцию распределения, т. е. c = 0 для любого c.

Оглавление

JJ II

J I

На стр. ... из 179

Назад

Во весь экран

Уйти

Стр. 124

7.3.1.Из человеколюбия

Определение 26. Функция δ(X), принимающая значения в интервале [0, 1] в зависимости от значений выборки, называется рандомизированным критерием. Значение этой функции трактуют как вероятность принять вторую (так удобнее) гипотезу в некотором дополнительном эксперименте. Т. е., получив значение δ(X) = 3/4, мы должны дополнительно провести испытание с вероятностью успеха 3/4, и в случае успеха принять H2, в случае неудачи — H1. Значение δ(X) = 1 предписывает принять вторую гипотезу (с вероятностью 1, т. е. обязательно), а значение δ(X) = 0 предписывает не принимать вторую гипотезу, а принять первую.

Напомним, что T(X) есть отношение правдоподобия, которое мы ввели в (18).

Определение 27. Рандомизированный критерий, устроенный следующим образом:

 

если T(X) < c,

 

принимается H , если T(X) < c,

0,

 

δc,p(X) = p,

если T(X) = c, =

с вероятностью1p принимается H2, если T(X) = c,

 

если

 

 

 

2

 

если

 

 

T(X) > c,

принимается

,

T(X) > c,

1,

 

 

 

H

 

называется критерием отношения правдоподобия (КОП).

Размер и мощность КОП вычисляются по формуле полной вероятности. Размер равен

α1c,p) = PH1 (принять H2) = 1 · PH1 (T(X) > c) + p · PH1 (T(X) = c) = EH1 δc,p(X).

Оглавление

JJ II

J I

На стр. ... из 179

Назад

Во весь экран

Уйти

Стр. 125

Мощность равна

1 − α2c,p) = PH2 (принять H2) = 1 · PH2 (T(X) > c) + p · PH2 (T(X) = c) = EH2 δc,p(X).

Вероятность ошибки второго рода можно найти и иначе:

α2c,p) = PH2 (принять H1) = PH2 (T(X) < c) + (1− p) ·PH2 (T(X) = c) = 1− EH2 δc,p(X).

Лемма Неймана — Пирсона. Существуют постоянные c и p, при которых критерий отношения правдоподобия является

1)минимаксным критерием; числа c и p следует выбрать так, чтобы вероятности ошибок первого и второго рода были одинаковы: α1c,p) = α2c,p);

2)байесовским критерием при заданных априорных вероятностях r и s; число p может быть любым, а c выбирается равным отношению r/s;

3)для любого 0 < ε < 1 наиболее мощным критерием размера ε; числа c и p должны быть выбраны так, чтобы размер критерия равнялся ε:

α1c,p) = PH1 (T(X) > c) + p · PH1 (T(X) = c) = ε.

Мы не ограничиваем значения c областью c > 0. Возможность брать c = 0 (меньше бессмысленно, ибо T(x) > 0) избавляет от ограничения ε 6 PH1 (f2(X) > 0) на возможный размер НМК. Это довольно сомнительное обобщение — ведь уже критерий δ(X) = I(f2(X) > 0)

имеет единичную мощность при размере равном PH1 (f2(X) > 0). Можно увеличивать размер и дальше, но мощности расти уже некуда. Такой НМК будет принимать с положительной вероятностью гипотезу H2 там, где она верна быть не может — в области f2(x) = 0.

Оглавление

JJ II

J I

На стр. ... из 179

Назад

Во весь экран

Уйти

Стр. 126

7.3.2. Лемма Неймана — Пирсона

 

Всюду далее предполагается, что

 

Функция R(c) = PH1 (T(X) > c) непрерывна по c при c > 0.

(19)

Функция R(c) есть просто хвост функции распределения случайной величины T(X):

R(c) = 1 − PH1 (T(X) < c).

Ее непрерывность означает, что величина c

= PH1 (T(X) = c) равна нулю для

любого c > 0. Это предположение избавляет

нас от необходимости рассматривать

рандомизированные критерии. Итак,

 

Определение 28.

δc(X) =

В предположении (19) критерий

 

 

 

 

 

 

 

если T(X) < c, =

H1, если

f2(X1, . . . , Xn)

< c,

H1

,

f1

(X1

, . . . , Xn)

H2

,

если T(X)

>

c,

 

 

, если

f2

(X1

, . . . , Xn)

 

c,

 

 

 

 

 

 

 

 

 

H

 

 

 

>

 

 

 

 

 

 

2

 

f1(X1, . . . , Xn)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

назовем критерием отношения правдоподобия (КОП).

Размер и вероятность ошибки второго рода этого критерия равны соответственно

α1c) = PH1 (T(X) > c) = R(c); α2c) = PH2 (T(X) < c).

Оглавление

JJ

 

 

 

II

 

 

J

 

 

 

I

 

 

На стр. ...

из 179

 

 

 

 

 

Назад

Во весь экран

Уйти

Стр. 127

Лемма Неймана — Пирсона. Пусть выполнено (19). Тогда существует постоянная c, при которой критерий отношения правдоподобия является

1)минимаксным критерием; число c следует выбрать так, чтобы вероятности ошибок первого и второго рода были одинаковы: α1c) = α2c);

2)байесовским критерием при заданных априорных вероятностях r и s; число c выбирается равным отношению r/s;

3)для любого 0 < ε 6 PH1 (f2(X) > 0) наиболее мощным критерием размера ε; число c должно быть выбрано так, чтобы размер критерия равнялся ε: α1c) = ε.

Доказательство. Доказать достаточно два утверждения: существование постоянной c, удовлетворяющей первому и третьему пунктам леммы, и оптимальность соответствующего критерия. Начнем с третьего пункта.

1.Докажем, что для любого 0 < ε 6 PH1 (f2(X) > 0) существует постоянная c такая, что R(c) = α1c) = ε.

Функция R(c) = PH1 (T(X) > c) не возрастает по c. Предел R(c) при c→∞ равен нулю, поскольку событие {T(X) = ∞} = {f1(X) = 0} имеет нулевую вероятность PH1 (f1(X) = 0) = 0. Заметим также, что

R(+0) = PH1 (T(X) > 0) = PH1 (f2(X) > 0) > ε.

Итак, R(c) непрерывно меняется от R(+0) до 0, поэтому для любого 0 < ε 6 R(+0) существует c такое, что R(c) = α1c) = ε.

Оглавление

JJ II

J I

На стр. ... из 179

Назад

Во весь экран

Уйти

Стр. 128

2. Для первого пункта докажем существование такой c, что α1c) = α2c).

Функция α2c) = PH2 (T(X) < c), в отличие от R(c), не убывает по c. К тому же при c → 0 величина α2c) стремится к PH2 (T(X) = 0) = PH2 (f2(X) = 0) = 0. Она тоже, подобно R(c), при c > 0 непрерывна по c из-за предположения (19):

ZZ

PH2 (T(X) = c) =

f2(y) dy = c

f1(y) dy = cPH1 (T(X) = c) = 0.

{f2(y)=cf1(y)}

{f2(y)=cf1(y)}

Поэтому функции R(c) = α1c) и α2c) пересекаются хотя бы однажды.

3. Далее нам потребуется следующее красивое равенство.

Лемма 2. Введем функцию φ(y) = min { f2(y), c f1(y) }. Для нее

Z

α2c) + cα1c) = φ(y) dy.

IRn

Доказательство.

f2(y) dy+c Z f1(y) dy.

α2c)+cα1c) = PH2 (T(X) < c)+cPH1 (T(X) > c) = Z

{T(y)<c}

{T(y)>c}

Но на множестве {T(y) < c} = {f2(y) < cf1(y)} подынтегральная функция f2(y) совпадает с φ(y). И на множестве {T(y) > c} = {f2(y) > cf1(y)} подынтегральная

Оглавление

JJ II

J I

На стр. ... из 179

Назад

Во весь экран

Уйти

Стр. 129

функция cf1(y) тоже совпадает с φ(y). Продолжая цепочку равенств, получим

α2c) + cα1c) =

Z

φ(y) dy +

Z

φ(y) dy =

Zn φ(y) dy.

 

{T(y)<c}

{T(y)>c}

IR

Пусть δ — любой другой критерий. Лемма 2 влечет странное следствие:

 

Следствие 4.

Каково бы ни было c > 0, вероятности ошибок любого

 

 

 

 

критерия δ связаны с вероятностями ошибок КОП δc

неравенством

 

 

 

α2(δ) + cα1(δ) > α2c) + cα1c).

(20)

 

 

 

 

 

 

Доказательство. Рассматривая для краткости нерандомизированный критерий δ, получим

ZZ

α2(δ) + cα1(δ) =

f2(y) dy + c

f1(y) dy >

 

 

{δ(y)=H1}

{δ(y)=H2}

>

Z φ(y) dy + Z

φ(y) dy =

Zn φ(y) dy = α2c) + cα1c).

 

{δ(y)=H1}

{δ(y)=H2}

IR

Оглавление

JJ II

J I

На стр. ... из 179

Назад

Во весь экран

Уйти

Стр. 130

4.Используя неравенство (20), докажем оптимальность КОП во всех трех смыслах.

I. Пусть c таково, что α1c) = α2c) = max{α1c), α2c)}. Тогда правая часть неравенства (20) равна (1 + c) max{α1c), α2c)}, и для любого иного критерия δ

(1 + c) max{α1c), α2c)} 6 α2(δ) + cα1(δ) 6 (1 + c) max{α1(δ), α2(δ)}.

Итак, max{α1c), α2c)} 6 max{α1(δ), α2(δ)}, т. е. δc — минимаксный.

II. Пусть c = r/s и s 6= 0. Тогда для любого иного критерия δ неравенство (20) превращается в определение байесовского критерия:

α2c) +

r

α1c) 6 α2(δ) +

r

α1(δ), или sα2c) + rα1c) 6 sα2(δ) + rα1(δ).

 

s

 

s

 

 

 

Если же s = 0, то c =

. Тогда КОП имеет нулевой размер и автоматически

является байесовским.

 

 

 

III. Пусть c таково, что α1c) = ε. Любой иной критерий δ из класса Kε имеет размер α1(δ) 6 ε. Используя в неравенстве (20) оба этих размера, получим

α2c) + cε = α2c) + cα1c) 6 α2(δ) + cα1(δ) 6 α2(δ) + cε.

Итак, α2c) 6 α2(δ), т. е. δc — НМК в классе Kε.

Наконец лемма Неймана — Пирсона доказана.

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]