7.9. Статистическая проверка гипотез

В ряде случаев, в частности в задачах обнаруже­ния, значение имеет не величина ошибки, а лишь сам факт наличия или отсутствия ошибки. Так, в радио­локации производится обнаружение и распознавание сигнала, отраженного от истинной цели, при наличии шумов в приемном устройстве, радиопомех и ложных целей, которые специально создаются противником. В этой задаче при определенных предположениях о законах распределения истинных сигналов цели и по­мех требуется выработать правила, которые опти­мальным образом позволяли бы определить наличие цели.

Для решения таких задач используются методы статистической проверки гипотез. Статистической ги­потезой называют любое предположение о законе рас­пределения наблюдаемых случайных величин. Напри­мер, статистической является гипотеза: переменная X распределена по нормальному закону.

Наряду с выдвинутой гипотезой рассматривают и противоречащую ей гипотезу. Нулевой (основной) на­зывают выдвинутую гипотезу Н₀. Конкурирующей (альтернативной) называют гипотезу Н₁, которая противоречит основной. Например, если гипотеза состоит в предположении, что математическое ожидание а нормального распределения равно нулю, то конкури­рующая гипотеза может состоять в том, что а≠0. Это кратко записывают так: Н₀: а=0, Н₁:а≠0.

Различают простые и сложные гипотезы. Простой называют гипотезу, содержащую только одно пред­положение. Сложной называют гипотезу, которая со­стоит более чем из одной простой. Например, матема­тическое ожидание нормального распределения равно 5 (дисперсия известна); гипотеза Н₀:а=5 - простая. Гипотеза Н₀: математическое ожидание нормального распределения равно 5 (дисперсия неизвестна) - сложная.

Проверку гипотез проводят статистическими мето­дами и называют статистической проверкой. При про­верке гипотезы возможны ошибки двух родов. Ошибка первого рода состоит в том, что будет отвергнута пра­вильная гипотеза. Ошибка второго порядка состоит в том, что будет принята неправильная гипотеза.

Правильное решение может быть получено также в двух случаях: 1) гипотеза принимается, и она в дей­ствительности правильная; 2)гипотеза отвергается, и она в действительности неверна.

Вероятность совершить ошибку 1-го рода принято обозначать через α, ее называют уровнем значимости. Например, если α=0,95, то это значит, что в пяти случаях из ста имеется риск отвергнуть правильную гипотезу (совершить ошибку 1-го рода).

Статистическим критерием (или просто критерием) называют случайную величину К, которая служит для проверки нулевой гипотезы. Наблюдаемым значением К_набл называют значение критерия, вычисленное по экспериментальным данным (выборкам). Область возможных значений критерия R_п разбивается на две непересекающиеся части (области). Критической об­ластью Е называется совокупность значений крите­рия, при которых нулевую гипотезу отвергают. Об­ластью принятия гипотезы Е₀ называют совокупность значений критерия, при которых гипотезу принимают.

Основной принцип проверки статистических гипо­тез состоит в следующем: если наблюдаемое значение критерия принадлежит критической области, то гипо­тезу отвергают; если наблюдаемое значение критерия принадлежит области принятия гипотезы, то гипотезу принимают.

Критическими точками (границами) К_кр называют точки, разделяющие критическую область и область принятия гипотезы. Для отыскания критической об­ласти задаются уровнем значимости α. Критическую точку K_кр определяют из условия, что при справедли­вости нулевой гипотезы вероятность того, что К>K_кр, равна α: р(К > К_кр)=α.

Мощностью критерия называют вероятность того, что гипотеза H₀ отвергается, если справедлива гипо­теза H₁. Если вероятность совершить ошибку 2-го ро­да (принять неправильную гипотезу) равна β, то мощ­ность критерия равна 1 - β. Очевидно, желательно, чтобы величины а и β были как можно меньше. В то же время нельзя принимать ни α, ни β равными нулю; так, если принять β=0, то любые гипотезы будут отвергаться с вероятностью 1.

Однако при заданном объеме выборки п нельзя уменьшать одновременно α и β. Для того чтобы одно­временно уменьшать α и β, нужно увеличивать объ­ем выборки.

Критерий Неймана-Пирсона. Этот критерий позволяет при фиксированных n и α вы­брать такую критическую область, при которой мощность критерия В = 1 - β будет максимальной.

Для выбора наилучшей критической области они предложили использовать отношение (коэффициент) правдоподобия L_п:

(7.9.1)

где и - плотности веро­ятности n-мерной случайной величины х=(х₁,х₂,...,х_п) при условии, что параметр а равен а₁ или а₀, соответственно.

Область Е₀ принятия гипотезы H₀ определяется из соотношения l_n=ln L_n≤ ln С, где С - некоторое чис­ло, которое зависит от α и вида закона f_а(x₁,..., х_п). Величина С в общем случае определяется из условия

(7.9.2)

где интегрирование проводится по тем значениям х, для которых l_n>lnС. Решающее правило при ис­пользовании критерия Неймана-Пирсона имеет вид

Величина вероятности ошибки 2-го рода при этом яв­ляется функцией п и имеет минимальное значение при данных α и β.

Задавшись величинами α и β, можно определить число испытаний п, которые необходимо провести для того, чтобы принять или отвергнуть нулевую гипо­тезу H₀.

Последовательное решающее правило В а л ь д а. Это правило является обобщением проце­дуры Неймана-Пирсона. Согласно этому правилу на каждой стадии эксперимента совокупность всевоз­можных выборок R_n (объема) п разбивается на три непересекающиеся части (области): При попадании выборки х=(х₁,.. х_п) в область принимают гипотезу H₀ и испытания заканчивают; при попадании в область принимают гипотезу H₁ (гипотезу Н₀ отвергают) и испытания заканчивают. Если выборка попала в область то не принимают ни одной гипотезы, а проводят следующее по порядку (n+1)-е испытание и анализируют теперь выборку (x₁,x₂,…,x_п,x_п+1).

Процедура Неймана-Пирсона будет частным случаем последовательной процедуры, если выбрать область по следующему правилу:

где п₀ - заранее заданный объем выборки, R_n - со­вокупность возможных значений выборок объема п, 0 - пустое множество.

В классической процедуре решение принимается на п₀-м шаге, то есть на п₀-м шаге область R_n разбивает­ся только на две области: и .

В последовательной процедуре вместо одного по­рога С используются два порога А и В. Область Е₀(п) задается условием L_n(x₁,...,х_п) ≤ В, область определяется условием В<L_n(x₁,х₂,...,х_п) < А, а область определяется из условия А ≤ L_n(x₁,..., х_п).

Пороги А и В для коэффициента правдоподобия определяются из выражений А=(1-β)/α, В=β/(1-α).

Последовательное решающее правило можно за­писать в следующем виде:

В ряде случаев применение правила Вальда позво­ляет при данных α и β уменьшить требуемое число ис­пытаний п по сравнению с использованием классиче­ской процедуры.