3.Ошибки первого и второго рода при проверке статистических гипотез.

Выделяют три вида критических областей:

• Двусторонняя критическая область определяется двумя интервалами  , где   находят из условий  .

• Левосторонняя критическая область определяется интервалом  , где x_α находят из условия P(φ < x_α) = α.

• Правосторонняя критическая область определяется интервалом  , где x_{1 − α} находят из условия P(φ < x_{1 − α}) = 1 − α.

Ошибки первого рода (англ. type I errors, α errors, false positives) и ошибки второго рода (англ. type II errors, β errors, false negatives) в математической статистике — это ключевые понятия задач проверки статистических гипотез. Тем не менее, данные понятия часто используются и в других областях, когда речь идёт о принятии «бинарного» решения (да/нет) на основе некоего критерия (теста, проверки, измерения), который с некоторой вероятностью может давать ложный результат.

Пусть дана выборка   из неизвестного совместного распределения  , и поставлена бинарная задача проверки статистических гипотез:

где H₀ — нулевая гипотеза, а H₁ — альтернативная гипотеза. Предположим, что задан статистический критерий

,

сопоставляющий каждой реализации выборки   одну из имеющихся гипотез. Тогда возможны следующие четыре ситуации:

1. Распределение   выборки   соответствует гипотезе H₀, и она точно определена статистическим критерием, то есть  .

2. Распределение   выборки   соответствует гипотезе H₀, но она неверно отвергнута статистическим критерием, то есть  .

3. Распределение   выборки   соответствует гипотезе H₁, и она точно определена статистическим критерием, то есть  .

4. Распределение   выборки   соответствует гипотезе H₁, но она неверно отвергнута статистическим критерием, то есть  .

Во втором и четвертом случае говорят, что произошла статистическая ошибка, и её называют ошибкой первого и второго рода соответственно. 

		Верная гипотеза
		H0	H1
Результат  применения  критерия	H0	H0 верно принята	H0 неверно принята  (Ошибка второго рода)
	H1	H0 неверно отвергнута  (Ошибка первого рода)	H0 верно отвергнута

О смысле ошибок первого и второго рода

Как видно из вышеприведённого определения, ошибки первого и второго рода являются взаимно-симметричными, то есть если поменять местами гипотезы H₀ и H₁, тоошибки первого рода превратятся в ошибки второго рода и наоборот. Тем не менее, в большинстве практических ситуаций путаницы не происходит, поскольку принято считать, что нулевая гипотеза H₀ соответствует состоянию «по умолчанию» (естественному, наиболее ожидаемому положению вещей) — например, что обследумый человек здоров, или что проходящий через рамку металлодетектора пассажир не имеет запрещённых металлических предметов. Соответственно, альтернативная гипотеза H₁обозначает противоположную ситуацию, которая обычно трактуется как менее вероятная, неординарная, требующая какой-либо реакции.

С учётом этого ошибку первого рода часто называют ложной тревогой, ложным срабатыванием или ложноположительным срабатыванием — например, анализ крови показал наличие заболевания, хотя на самом деле человек здоров, или металлодетектор выдал сигнал тревоги, сработав на металлическую пряжку ремня. Из-за возможности ложных срабатываний не удаётся полностью автоматизировать борьбу со многими видами угроз. Как правило, вероятность ложного срабатывания коррелирует с вероятностью пропуска события (ошибки второго рода). То есть, чем более чувствительна система, тем больше опасных событий она детектирует и, следовательно, предотвращает. Но при повышении чувствительности неизбежно вырастает и вероятность ложных срабатываний. Поэтому чересчур чувствительно (параноидально) настроенная система защиты может выродиться в свою противоположность и привести к тому, что побочный вред от неё будет превышать пользу.

Соответственно, ошибку второго рода иногда называют пропуском события или ложноотрицательным срабатыванием — человек болен, но анализ крови этого не показал, или у пассажира имеется холодное оружие, но рамка металлодетектора его не обнаружила (например, из-за того, что чувствительность рамки отрегулирована на обнаружение только очень массивных металлических предметов).

Степень чувствительности системы защиты должна представлять собой компромисс между вероятностью ошибок первого и второго рода. Где именно находится точка баланса, зависит от оценки рисков обоих видов ошибок.