Альтернативная методика на основе достигаемого уровня значимости

Широкое распространение методики фиксированного уровня значимости было вызвано сложностью вычисления многих статистических критериев в докомпьютерную эпоху. Чаще всего использовались таблицы, в которых для некоторых априорных уровней значимости были выписаны критические значения. В настоящее время результаты проверки гипотез чаще представляют с помощью достигаемого уровня значимости.

Достигаемый уровень значимости (p-value) — это наименьшая величина уровня значимости, при которой нулевая гипотезаотвергается для данного значения статистики критерия .

где  — критическое множество.

Другая интерпретация: достигаемый уровень значимости  — это вероятность, с которой (при условии истинности нулевой гипотезы) могла бы реализоваться наблюдаемая выборка, или любая другая выборка с ещё менее вероятным значением статистики .

Если достигаемый уровень значимости достаточно мал (близок к нулю), то нулевая гипотеза отвергается. В частности, его можно сравнивать с фиксированным уровнем значимости; тогда альтернативная методика будет эквивалентна классической.

Типы критической области

Обозначим через  значение, которое находится из уравнения , где  — функция распределения статистики . Если функция распределения непрерывная строго монотонная, то  есть обратная к ней функция:

.

Значение  называется также -квантилем распределения .

На практике, как правило, используются статистики  с унимодальной (имеющей форму пика) плотностью распределения. Критические области (наименее вероятные значения статистики) соответствуют «хвостам» этого распределения. Поэтому чаще всего возникают критические области одного из трёх типов:

• Левосторонняя критическая область:

определяется интервалом .

пи-величина: 

• Правосторонняя критическая область:

определяется интервалом .

пи-величина: 

• Двусторонняя критическая область:

определяется двумя интервалами 

пи-величина: 

Ошибки первого и второго рода

• Ошибка первого рода или «ложная тревога» (англ. type I error,  error, false positive) — когда нулевая гипотеза отвергается, хотя на самом деле она верна. Вероятность ошибки первого рода:

• Ошибка второго рода или «пропуск цели» (англ. type II error,  error, false negative) — когда нулевая гипотеза принимается, хотя на самом деле она не верна. Вероятность ошибки второго рода:

Свойства статистических критериев

Мощность критерия:  — вероятность отклонить гипотезу , если на самом деле верна альтернативная гипотеза . Мощность критерия является числовой функцией от альтернативной гипотезы .

Несмещённый критерий:  для всех альтернатив  или, что то же самое, для всех альтернатив .

Состоятельный критерий:  при  для всех альтернатив .

Равномерно более мощный критерий. Говорят, что критерий с мощностью  является равномерно более мощным, чем критерий с мощностью , если выполняются два условия:

1. ;

2.  для всех рассматриваемых альтернатив , причём хотя бы для одной альтернативы неравенство строгое.

Типы статистических гипотез

• Простая гипотеза однозначно определяет функцию распределения на множестве . Простые гипотезы имеют узкую область применения, ограниченную критериями согласия (см. ниже). Для простых гипотез известен общий вид равномерно более мощного критерия (Теорема Неймана-Пирсона).

• Сложная гипотеза утверждает принадлежность распределения к некоторому множеству распределений на . Для сложных гипотез вывести равномерно более мощный критерий удаётся лишь в некоторых специальных случаях.