9. Проверка статистических гипотез. Постановка задачи. Общая логическая схема проверки гипотез. Свойства критериев.

Постановка задачи.  Общая логическая схема статистического критерия проверки гипотез

На разных этапах статистического исследования возникает необходимость в формулировании и экспериментальной проверке некоторыхпредположительных утверждений (гипотез, истин), от которых зависит правомерность и эффективность применяемых методов анализа, например:

• можно ли считать подлежащие обработке данные результатами независимых наблюдений случайной величины;

• при наличии нескольких групп исходных данных можно ли считать, что они извлечены из одной генеральной совокупности;

• симметричен ли закон распределения исследуемой случайной величины относительно центра группирования;

• какую модель надо выбрать для описания эмпирических данных;

• какова природа и величина неизвестных параметров рассматриваемой стохастической схемы и т.д.

Наша цель в данном случае – проверить, не противоречит ли высказанная нами гипотеза Н₀ имеющимся эмпирическим данным.

Процедура обоснованного сопоставления высказанной гипотезы с имеющейся выборкой х₁, х₂, ..., x_n осуществляется с помощью того или иного статистического критерия и называется статистической проверкой гипотез.

Результат такого сопоставления может быть как отрицательным (данные наблюдения противоречат выдвинутой гипотезе, следовательно, от нее надо отказаться), так и положительным (наблюдения не противоречат высказанной гипотезе, и поэтому ее можно принять в качестве одного из решений). Положительный результат статистической проверки гипотез не означает, что высказанное нами предположительное утверждение является наилучшим. Могут так же существовать другие критерии, которые не будут противоречить тем же эмпирическим данным. Принятая в этом случае гипотеза будет рассматриваться как достаточно правдоподобное, не противоречащее опыту утверждение.

Статистические критерии проверки гипотез разнообразны, но у них единая логическая схема построения критерия, которая укладывается в 5 шагов /1/.

1-й шаг. Выдвигается основная (или проверяемая) гипотеза Н₀. Гипотеза Н₁, которая противоречит основной Н₀, называется альтернативной, или конкурирующей.

2-й шаг. Задается уровень значимости критерия a. Дело в том, что любое статистическое решение, принимаемое на основе ограниченного ряда наблюдений, сопровождается, хоть и малой, вероятностью ошибочного заключения. Именно в доле случаев a гипотеза Н₀ может быть отвергнута, при условии, что она верна, или, наоборот, в доле случаев b мы можем принять гипотезу Н₀, в то время как она ошибочна. При фиксированном объеме выборки n величину вероятности a или b мы можем выбирать самостоятельно. Если есть возможность сколь угодно увеличивать n, то теоретически можно добиться каких угодно малых ошибок a и b при любой фиксированной конкурирующей гипотезе Н₁.

Величину a называют уровнем значимости, размером критерия или ошибкой первого рода. Это вероятность отвергнуть основную гипотезу Н₀ при условии, что она верна.

Чем весомее для исследователя потери от ошибочного отвержения гипотезы Н₀, тем меньшее a необходимо выбирать. Обычно пользуются стандартными значениями a (0.1; 0.05; 0.025; 0.01; 0.005; 0.001).

Пример

Величина a = 0.05 означает, что в среднем в 5 случаях из 100 при использовании данного статистического критерия будет ошибочно отвергаться справедливая основная гипотеза Н₀.

3-й шаг. Задается некоторая функция результатов наблюдения – критическая статистика 

_кр =   (х₁, х₂, ..., х_n).

Как функция наблюдений эта критическая статистика также является случайной величиной и в предположении справедливости Н₀ подчинена некоторому хорошо изученному закону распределения с плотностью вероятности W( _кр).  Механизм построения закона распределения критической статистики описан в /1/.

Содержательный смысл критической статистики – мера расхождения имеющейся в распоряжении исследователя выборки с основной гипотезой Н₀.

Например, в гипотезе об однородности двух выборок случайных величин Х и Y  _кр – мера различия между функциями распределения   и  .

4-й шаг. Из статистических таблиц распределения W( _кр) находятся квантили уровня a /2 и 1-a/2 или процентные точки  _{(1-a/2)Ч100%} и  _(a/2)Ч100%, являющиеся соответственно нижней  _кр.н и верхней  _кр.в критическими точками (границами) (см. рисунок). Они делят всю область допустимых значений  _кр на области:

 неправдоподобно малых (I);

 правдоподобных (II);

 неправдоподобно больших (III).

  Области принятия и отвержения гипотезы Н₀.

Область принятия гипотезы Н₀ определяется как доверительный интервал для  _кр, который формируется на основе распределения статистики W( _кр) при уровне доверительной вероятности р = 1 - a.  Различают односторонние и двухсторонние критерии. Для одностороннего критерия область принятия основной гипотезы может иметь ограничение только с одной стороны (сверху или снизу). При этом область значений статистики  _кр разбивается на две: область правдоподобных и область неправдоподобно больших или неправдоподобно малых значений. Для двухстороннего критерия область принятия гипотезы Н₀ имеет два ограничения – сверху и снизу.

5-й шаг. Определяется наблюденное (расчетное) значение критической статистики  _расч подстановкой в  _кр конкретных выборочных значений х₁, х₂, ..., х_n или некоторых функций от них. Если окажется, что  _расч принадлежит области правдоподобных значений, то гипотеза Н₀верна, т.е. не противоречит выборочным данным. В противном случае Н₀ отвергается с ошибкой первого рода a. Отвержение Н₀ означает, что  _расч не подчиняется закону распределения W( _кр). Ошибка b может возникнуть тогда, когда принимается Н₀, в то время когда она неверна. bназывается ошибкой второго рода, а (1-b) – мощностью критерия.  Если проверяемая гипотеза Н₀ сводится к проверке точного равенства, то гипотеза называется простой, в других случаях мы имеем дело сосложной или вложенной гипотезой.

Пример

Первый шаг проверки гипотез об однородности двух выборок выглядит так: 

Н₀:   =  , Н₁:   ¹  .

Здесь Н₀ – гипотеза простая,            Н₁ – гипотеза сложная (вложенная).