Конспект лекций Глазова / 9.2. Критерии

9.2. Критерии.

Неопределенность выбора критерия. Мы видим, что выбор критерия, т. е. разбиение выборочного пространства W на две области w и W-w (или просто, назначение w, поскольку вторая область тогда получается автоматически) - в высшей степени неопределенная задача. Заметим сначала, что задать w значит задать положение, форму и многомерный объем этой области в n-мерном пространстве W. Пусть заданы простые гипотезы Н₀, Н₁ и объем выборки n, тогда можно считать, что известны выборочное пространство W и условные распределения f(x/H₀), f(x/H₁); какое разбиение W самое лучшее? На этот вопрос нет ни однозначного, ни простого ответа. Действительно, возможно бесконечное число различных разбиений. Ясно, что мерой качества разбиения (критерия) являются вероятности ; но поскольку невозможно неограниченно уменьшать их обе, а при уменьшении одной увеличивается другая, то без дополнительных соображений, в общем случае, нельзя сказать, какая пара «лучше». Пусть, например, при одном разбиении получается , а при другом - , какой вариант лучше? Заметим, что не существует какого-то соотношения между и , справедливого при любом разбиении. Зададим, например, величину ; какая величина ей соответствует? Поскольку для получения заданного можно выбрать w (а следовательно, и W-w) бесконечным числом способов, получится бесконечное число различных значений . Т. е. одному значению соответствуют различные значения , и наоборот. Конечно, если при одном разбиении обе вероятности ошибок меньше, чем при другом разбиении, то первое разбиение «лучше», но в общем случае так не получается.

Эти рассуждения приводят к следующим выводам.

1) Даже в простейшем случае двухальтернативного испытания простых гипотез, не существует раз и навсегда заданного «лучшего» критерия.

2) Средствами одной только математической статистики нельзя выбрать не только «лучший», но и просто «хороший» критерий; необходимо привлекать соображения предметной области, т. е. той области науки или техники, в интересах которой используется в данном конкретном случае эта дисциплина. Именно в этом смысле следует понимать известный афоризм: «Нет внутреннего критерия для выбора критерия», справедливый не только в математической статистике, но вообще при любой оптимизации.

Типы критериев. Хотя в принципе существует бесконечно много возможных критериев, далеко не все они соответствуют реалиям практики. Опыт показывает, что предпочтения и ограничения предметных областей диктуют небольшое число типов критериев (но не самих критериев). Тип критерия определяет важнейшие принципы его формирования. Назовем, вкратце, наиболее часто применяемые типы критериев.

1) Критерий Неймана-Пирсона. Зафиксируем вероятность ложной тревоги =_F и из всех разбиений, дающих эту вероятность ошибки при заданных n, f(x/H₀), f(x/H₁), выберем то, которое дает минимальное , т. е. максимальное значение мощности критерия 1-. Если таких областей несколько, выбираем одну из них из практических соображений, или берем любую из них. Критерии такого типа называются критериями Неймана-Пирсона или критериями наибольшей мощности. Заметим, что этот принцип формирования критерия еще не избавляет от всех неопределенностей и трудностей. Во-первых, выбор _F не определен. В разных приложениях роль рисков, задаваемых вероятностями , различна, поэтому задаваемые варьируют от 10^-8-10^-6 в одних приложениях (например, в военной радиолокации) до 0.1-0.2 в других, соответственно варьируют достигаемые максимальные значения . Во-вторых, «подходящие» для данного приложения значения _F могут при испытании конкретной гипотезы и конкретном n привести к недопустимо большим , и придется подбирать другое _F . В-третьих, критерий Неймана-Пирсона (впрочем, как и любой другой) может привести к большим математическим трудностям получения решающего правила, и быть поэтому заменен на более просто реализуемый, но не столь оптимальный. Такие критерии называют субоптимальными.

2) Критерий заданной мощности. Зафиксируем вероятность пропуска _F (т. е. мощность критерия 1-_F) и из всех разбиений, дающих эту вероятность ошибки второго рода при заданных n, f(x/H₀), f(x/H₁), выберем то, которое дает минимальное . Если таких областей несколько, выбираем одну из них из практических соображений, или берем любую из них. Критерий такого типа можно назвать критерием заданной мощности. По существу, это подход, симметричный подходу Неймана-Пирсона. Тем не менее, этот подход редко рассматривается в литературе и редко применяется. Тому есть две причины: во-первых, в практических приложениях чаще всего бывает проще определиться с желательными значениями , чем со значениями ; во-вторых, если в конкретной задаче испытания гипотез удалось установить зависимость максимально достижимого от фиксированного _F , то критерий заданной мощности приведет к тому же разбиению, что и критерий Неймана-Пирсона, т. е. не дает ничего нового.

3) Взвешенный критерий. Попытаемся построить такой критерий, величина которого Kr есть однозначная функция вероятностей ошибок

Kr=,

ограниченная снизу и сверху, и монотонно возрастающая по обоим аргументам. Тогда оптимальным является тот критерий (и соответственно, то разбиение), величина которого максимально возможна при заданных условиях. Такой критерий учитывает ущерб, наносимый обоими видами риска (ошибок), и его можно назвать взвешенным. В частности, если удается обосновать линейную функцию

=a+b,

то поскольку Kr достаточно определить с точностью до множителя, поделим это равенство на (a+b) и обозначив v=a/(a+b), представим величину критерия в виде

Kr=v+(1-v).

Такой критерий можно назвать взвешенным линейным критерием. Как видим, он зависит от одного весового коэффициента v. Может показаться, что построить взвешенный критерий и пользоваться им легче, чем критерий Неймана-Пирсона. В общем случае это неверно: обосновать конкретную функцию не проще, чем обосновать конкретное _F , вывести из Kr решающее правило не проще, чем в случае критерия Неймана-Пирсона.

4) Байесовский критерий. Если взвешенный критерий построить с использованием, во-первых, априорных вероятностей гипотез (или, в случае сложных параметрических гипотез - априорных распределений вероятностей параметров), во-вторых, функции стоимости, учитывающей ущерб от ошибок обоих родов, то получится т. н. байесовский критерий. Такой подход позволяет на единой основе рассмотреть обе ветви математической статистики - испытание гипотез и оценивание, что приводит к единой теории статистических решений А. Вальда - фундаментальной основе современной математической статистики, теории игр и других дисциплин.

5) Минимаксный критерий. Если априорные вероятности гипотез (или, в случае сложных параметрических гипотез - априорные распределения вероятностей параметров) неизвестны, то можно попытаться построить «байесовский» критерий, взяв такие вероятности (распределения), которые приводят в данной задаче к наименьшим значениям Kr, т. е. к наибольшему среднему ущербу от ошибок решений. Т. о. мы достигаем «наилучшего в наихудшей ситуации», т. е. в случае, когда оптимизация особенно полезна. Такого рода критерии и соответствующие решающие правила называются минимаксными. Разумеется, в не «наихудшей» ситуации такой критерий может быть уже не оптимальным. Вопрос о том, насколько он не оптимален, довольно сложен.

9.3. Двухальтернативное испытание простых гипотез.

Это задача о выборе между двумя полностью заданными распределениями. Например, имея выборку х, принять решение, какому из распределений она в большей мере соответствует: распределению

, , (N(2, 4)),

(гипотеза Н₀), или распределению

,

(гипотеза Н₁). Это наиболее простой класс задач в теории испытания статистических гипотез.

Прежде чем дать принципиальное решение задачи, введем некоторые понятия. Рассмотрим отношение плотностей условных выборочных распределений

J(x)=[f(x/H0)/f(x/H1)],

(9.3.1)

называемое отношением правдоподобия для гипотез Н₀, Н₁, и играющее важную роль в математической статистике. J(x) есть одномерная функция n-мерной случайной величины х (выборки), поэтому J - одномерная случайная величина. Безусловное распределение величины J, задаваемое плотностью f(j), полностью определяется выборочным распределением f(x). Рассмотрим еще условные распределения величины J. Условная плотность f(j/H₀) величины J при условии, что на самом деле справедлива Н₀, полностью определяется условным выборочным распределением f(x/H₀); условная плотность величины J при условии, что на самом деле справедлива Н₁, полностью определяется условным выборочным распределением f(x/H₁). Введем еще обратное отношение правдоподобия (x)=1/J(x), которое тоже является одномерной СВ и имеет безусловное и два условных распределения.

Применим критерий Неймана-Пирсона. Принципиальное решение задачи о двухальтернативном испытании простых гипотез в рамках этого критерия дается леммой Неймана-Пирсона, которую мы сейчас докажем. В соответствии с критерием, мы должны выбрать критическую область w так, чтобы при фиксированном значении , равном (см. (9.1.3))

,

(9.3.2)

максимизировать мощность критерия =1-, равную (см. (9.1.5))

.

(9.3.3)

Включим в область w точки выборочного пространства W двух видов:

а) все точки, для которых f(x/H₀)=0, f(x/H₁)>0, т. к. эти точки не дают вклада в интеграл (9.3.2), но дают вклад в интеграл (9.3.3), т. е., не влияя на , увеличивают мощность критерия;

б) остальные точки.

Для остальных точек будем максимизировать (9.3.3) при заданном (9.3.2). Перепишем (9.3.3) в виде

.

Как видим, - это условное математическое ожидание величины в области w при условии Н₀. Ясно, что для получения максимального при заданном надо включать в w точки, в которых имеет наибольшее значение, несколько меньшее, меньшее и т.д., пока не наберем в интеграле (9.3.2) величину, равную фиксированной величине . В результате в w войдут точки, для которых

,

где - величина, находящаяся в монотонно убывающей зависимости от . Это неравенство можно переписать в виде

J(x)=1/(x) ,

где - величина, называемая порогом и находящаяся в монотонно возрастающей зависимости от . Т. о., мы показали, что в критическую область w нужно включить те точки, в которых отношение правдоподобия J не больше порога, т. е.

w: J .

(9.3.4)

Неравенство (9.3.4) и есть утверждение леммы Неймана-Пирсона: в критическую область w должны включаться те и только те точки выборочного пространства W, в которых отношение правдоподобия J не меньше порога ; в свою очередь, порог однозначно находится по заданному значению (как это делается, мы увидим в дальнейшем на примерах конкретных задач испытания гипотез).

Лемма Неймана-Пирсона сильно упрощает решающее правило. Дело в том, что обычное решающее правило:

если хw, то решение «Н1» ;если хw, то решение «Н0» ,

(9.3.5)

почти всегда очень сложно реализовать, т. к. приходится задавать критическую поверхность в многомерном пространстве. Пороговое правило, вытекающее из (9.3.4),

если J(x) , то «Н₁» ; если J(x)> , то «Н₀» ,

намного проще, т. к. сводится к сравнению двух чисел. Правда, не всегда нахождение по заданному возможно аналитически, иногда приходится это делать численно.