Тема 2.3. Статистическая проверка гипотез.

Основные задачи статистики в терминах функции распределения

Понятие статистической гипотезы.

Общее понятие о статистической проверке гипотез.

Простые и сложные гипотезы.

Понятие статистики как функции выборки

Критерий и его статистика

Критическая область.

Ошибки первого и второго рода.

Параметрические и непараметрические критерии. Примеры

Статистическая проверка гипотез является вторым после статистического оценивания параметров распределения и в то же время важнейшим разделом математической статистики.

Методы математической статистики позволяют проверить предположения о законе распределения некоторой случайной величины (генеральной совокупности), о значениях параметров этого закона (например ЕХ, DХ ), о наличии корреляционной зависимости между случайными величинами, определенными на множестве объектов одной и той же генеральной совокупности.

Полученные в результате эксперимента на некоторой выборке данные служат основанием для заключения о генеральной совокупности (случайной величине Х). Однако в силу действия случайных вероятностных причин заключение о генеральной совокупности, сделанное на основании экспериментальных (выборочных) данных, всегда будут содержать некоторую погрешность, и поэтому подобные заключения должны рассматриваться как предположения (гипотезы, Н), а не окончательные утверждения. Подобные предположения о свойствах и параметрах генеральной совокупности получили название статистических гипотез.

Суть проверки статистических гипотез заключается в том, чтобы установить, согласуются ли экспериментальные данные и выдвинутая гипотеза, допустимо ли отнести расхождение между гипотезой и результатом статистического анализа экспериментальных данных за счет случайных причин.

Итак, сформулируем вышесказанное более формально.

Предположим, что функция распределения величины Х нам неизвестна, но мы располагаем случайной выборкой .По наблюдениямвыборки мы хотим дать ответ на вопрос : совпадает функция распределения F(x) с некоторой наперед заданной функцией распределения F₀(x) или нет. В таком случае речь идет о проверке статистической гипотезы согласия. Используя наблюдения выборки ,нужно либо принять, либо отвергнуть гипотезу о том, что функция распределения F(x) совпадает с заданной функцией распределения F₀(x) . Правило принятия одного из этих двух решений называется статистическим критерием или просто критерием. В качестве функции F₀(x) обычно выбирается одно из известных распределений, скажем, экспоненциальное, нормальное и т.д. с известными параметрами.

Пусть имеется выборка является реализацией случайной выборкииз генеральной совокупности Х, плотность распределения которой ρ (t,θ) зависит от неизвестного параметра θ

Статистические гипотезы относительно неизвестного истинного значения параметра θ называют параметрическими гипотезами. При этом если θ скаляр, то речь идет об однопараметрических гипотезах, а если вектор, — то о многопараметрических гипотезах.

Статистическую гипотезу Н называют простой, если она имеет вид

Н: , где- некоторое заданное значение параметра

Статистическую гипотезу называют сложной, если она имеет вид

Н: , гдеD – некоторое множество значений параметра θ, состоящее более чем и одно параметра.

Примеры

1. Предположим, проводится серия из n независимых испытаний по схеме Бернулли с неизвестным параметром р, где р – вероятность «успеха» водном испытании. Тогда гипотеза Н: р=1/2 является простой. Примерами сложных гипотез являются , например, такие: Н₂: р  ½, H₃ : p ½, Н ₄:¼ p  ¾ и т.д.

2. Пусть - случайная выборка объемаn из генеральной совокупности Х, распределенной по нормальному закону с неизвестным математическим ожиданием а и известной дисперсией σ² . Тогда Н: а=а₀ , где а₀ – некоторое заданное значение параметра а, является простой. Гипотезы Н₁ : а≥ а₀ , Н₂ : а ≤ а₀ , Н₃ : а₀ ≤ а ≤а₁ являются сложными.

Пусть теперь неизвестны оба параметра – а и σ. В этом случае гипотеза Н: а=а₀ становится сложной, так как ей соответствует множество значений двумерного вектора

= (а, σ ), для которых а=а_0, , 0 < σ < σ

Мы будем рассматривать самый простой вариант постановки задачи – формулировку простой гипотезы

Пусть по некоторым данным имеются основания выдвинуть предположения о законе распределения или о параметре закона распределения случайной величины (или генеральной совокупности, на множестве объектов которой определена эта случайная величина). Задача заключается в том, чтобы подтвердить или опровергнуть это предположение, используя выборочные (экспериментальные) данные.

Определение. Гипотезы о значениях параметров распределения или о сравнительной величине параметров двух распределений называются параметрическими гипотезами.

Гипотезы о виде распределения называются непарамет­рическими гипотезами.

Проверить статистическую гипотезу – это значит проверить, согласуются ли данные, полученные из выборки с этой гипотезой. Проверка осуществляется с помощью статистического критерия. Статистический критерий – это метод проверки статистической гипотезы, включающий в себя статистику критерия - случайную величину, закон распределения которой (вместе со значениями параметров) известен в случае, если принятая гипотеза справедлива.

В состав критерия входят:

- формула расчета значения статистики

- правило определения числа степеней свободы (количества возможных направлений изменчивости признака; как правило, это число линейно зависит от объема выборки и равняется, например, n – 1, n – 2 , для ряда критериев берется просто объем выборки n)

- теоретическое распределение для данного числа степеней свободы (сведенные в таблицу)

- правило соотнесения эмпирического значения критерия с теоретическим распределением для определения того, что верна основная гипотеза.

Гипотезу, выдвинутую для проверки ее согласия с выборочными данными, называют нулевой или основной гипотезой и обозначают H₀. Вместе с гипотезой H₀ выдвигается альтернативная или конкурирующая гипотеза, которая обозначается H₁.

Напоминание:

F_Х(x) = Р{Х < х}, х є (-∞, ∞ ) – функция распределения случайной величины Х

P (x₁ ≤ X ≤ x₂) = F(x₁ ) - F(x₂) – вероятность для случайной величины Х попасть в промежуток есть приращение ее функции распределения

Большинство задач математической статистики может быть сведено к четырем группам. Приведем самую общую постановку:

1. Задача согласия

Х₁… ,Х_n - выборка из генеральной совокупности с функцией распределения F.

G – функция распределения известного закона.

H₀ : F = G

H₁.: F  G

То есть, вопрос ставится так: можно ли полагать распределение генеральной совокупности соответствующим известному распределению G

2. Задача симметрии

Х₁… ,Х_n - выборка из генеральной совокупности с функцией распределения F.

H₀ : F (– х) = 1 – F(x)

H₁.: F (– х)  1 – F(x)

То есть, является ли распределение симметричным?

3. Задача однородности

Х₁… ,Х_n - выборка из генеральной совокупности с функцией распределения F.

Y₁… ,Y_m - выборка из генеральной совокупности с функцией распределения G.

H₀ : F = G

H₁.: F  G

Носит ли различие между выборками случайный или закономерный характер, то есть принадлежат ли они одной генеральной совокупности или разным?

Замечание. Альтернативная гипотеза H₁.: F  G (гипотеза неоднородности) является неединственной в данном случае. Можно сформулировать альтернативу доминирования, сдвига, масштаба (см, например, М.Б.Лагутин «Наглядная математическая статистика»)

4. Задача независимости

(Х₁, Y₁ ), (Х₂, Y₂ ) , … (Х_n, Y_n ) - выборка из двумерной генеральной совокупности c функцией распределения F_XY .

Х₁… ,Х_n - выборка из генеральной совокупности с функцией распределения F.

Y₁… ,Y_m - выборка из генеральной совокупности с функцией распределения G.

H₀ : F_XY = F · G

H₁.: F_XY  F · G

Которая из гипотез верна, мы не знаем. Рассмотрим возможные ситуации:

1. В действительности гипотеза Н₀ верна и критерий ее не отвергает

2. Гипотеза Н₀ верна , но критерий ее отвергает

3. Верна гипотеза Н₁ , а критерий отвергает Н₀

4. Верна гипотеза Н₁ , а критерий не отвергает Н₀

В случаях 1) и 3) решение оказывается верным, в случаях 2) и 4) – ошибочным.

В случае 2) вероятность ошибки равна вероятности попадания значения статистики критерия в критическую область , т.е. α = 1 – Р, где Р – вероятность попадания в допустимую область (в интервал вероятности). Ошибка, совершаемая в случае 2) называется ошибкой I рода, а ее вероятность α – уровнем значимости критерия.

В случае 4) мы совершаем ошибку II рода.

Пусть случайная величина K – статистика критерия для проверки некоторой гипотезы H₀. При справедливости гипотезы H₀ закон распределения случайной величины K характеризуется некоторой известной нам плотностью распределения ρ_K(x).

Выберем некоторую малую вероятность , равную 0,05 , 0,01 или еще меньшую. Определим критическое значение критерия K_кр как решение одного из трех уравнений, в зависимости от вида нулевой и конкурирующей гипотез:

P(K> K_кр) =  (1)

P(K< K_кр) =  (2)

P((K< K_кр1)(K> K_кр2)) =  (3)

Возможны и другие уравнения, но они встречаются значительно реже, чем приведенные. В терминах функции распределения (статистики) критерия эти уравнения можно переписать так:

1 – F_K (K_кр) =  (1)

F_K (K_кр) =  (2)

1 – [ F_K (K_кр2) – F_K( K_кр2 )] =  (3)

Решение уравнения (1) (то же самое для уравнений (2) и (3)) заключается в следующем: по вероятности , зная функцию ρ_K(x), заданную как правило таблицей, нужно определить K_кр.

Что означает условие (1)?

Если гипотеза H₀ справедлива, то вероятность того, что критерий K превзойдет некоторое значение K_кр очень мала – 0,05 , 0,01 или еще меньше, в зависимости от нашего выбора. Если K_в – значение критерия K, рассчитанное по выборочным данным, превзошло значение K_кр, это означает, что выборочные данные не дают основания для принятия нулевой гипотезы H₀ ( например, если =0,01 , то можно сказать, что произошло событие, которое при справедливости гипотезы H₀ встречается в среднем не чаще, чем в одной из ста выборок). В этом случае говорят, что гипотеза H₀ не согласуется с выборочными данными и должна быть отвергнута. Если K_в не превосходит K_кр, то говорят, что выборочные данные не противоречат гипотезе H₀, и нет оснований отвергать эту гипотезу.

Для уравнения (1) область K> K_кр называется критической областью. Если значение K_в попадает в критическую область, то гипотеза H₀ отвергается.

Для уравнения (1) область K < K_кр называется областью принятия гипотезы. Если значение K_в попадает в область принятия гипотезы, то гипотеза H₀ принимается.

Рисунок 1. иллюстрирует решение уравнения (1). Здесь ρ_K(x) – известная плотность распределения случайной величины K при условии справедливости гипотезы H₀.

Пусть выбрано некоторое малое значение вероятности , по нему определено значение K_кр и по выборочным данным определено значение K_в, которое попало в критическую область. В этом случае гипотеза H₀ отвергается, но она может оказаться справедливой, просто случайно произошло событие, которое имеет очень малую вероятность . В этом смысле  есть вероятность непринятия правильной гипотезы H₀.

Определение. Непринятие правильной гипотезы называется ошибкой первого рода. Вероятность  называется уровнем значимости. Таким образом, уровень значимости – это вероятность совершения ошибки первого рода.

Критическая область, полученная для уравнения (1) и приведенная на рисунке 1., называется правосторонней.

Уравнение (2) определяет левосторонюю критическую область. Ее изображение приводится на рисунке 2.

Отметим, что каждая из заштрихованных фигур на рисунках 1. и 2. имеет площадь, равную  (площадь подграфика от -∞ до K_кр равно F_К (К_кр),

то есть вероятности Р( K< К_кр) .

Уравнение (3) определяет двусторонюю критическую область. Такая область изображена на рисунке 3. Здесь критическая область состоит из двух частей. В случае двусторонней критической области границы ее частей K_кр1 и K_кр2 определяются таким образом, чтобы выполнялось условие:

P(K  K_кр) = P(K  K_кр) =  / 2.

На рисунке 3. площадь каждой из заштрихованных фигур равна  / 2.

Вид критической области зависит от того, какая гипотеза выдвинута в качестве конкурирующей.

Чем меньше уровень значимости, тем меньше вероятность отвергнуть проверяемую гипотезу H₀, когда она верна, то есть совершить ошибку первого рода. Но с уменьшением уровня значимости расширяется область принятия гипотезы H₀ и увеличивается вероятность принятия проверяемой гипотезы, когда она неверна, то есть когда предпочтение должно быть отдано конкурирующей гипотезе.

Пусть при справедливости гипотезы H₀ статистический критерий K имеет плотность распределения p₀(x), а при справедливости конкурирующей гипотезы H₁ – плотность распределения p₁(x). Графики этих функций приведены на рисунке 4. При некотором уровне значимости находится критическое значение K_кр и правостороняя критическая область. Если значение K_в, определенное по выборочным данным, оказывается меньше, чем K_кр, то гипотеза H₀ принимается. Предположим, что справедлива на самом деле конкурирующая гипотеза H₁. Тогда вероятность попадания критерия в область принятия гипотезы H₀ есть некоторое число , равное площади фигуры, образованной графиком функции p₁(x) и полубесконечной частью горизонтальной координатной оси, лежащей слева от точки K_кр. Очевидно, что  – это вероятность того, что будет принята неверная гипотеза H₀.

Принятие неверной гипотезы называется ошибкой второго рода. В рассмотренном случае число  – это вероятность ошибки второго рода. Число 1 – , равное вероятности того, что не совершается ошибка второго рода, называется мощностью критерия. На рисунке 4 мощность критерия равна площади фигуры, образованной графиком функции p₁(x).и полубесконечной частью горизонтальной координатной оси, лежащей справа от точки K_кр.

Выбор статистического критерия и вида критической области осуществляется таким образом, чтобы мощность критерия была максимальной.

Очевидно, что чем меньше вероятность ошибки I рода, тем больше вероятность ошибки II рода. Поясним это с помощью рисунка 4. Уменьшая критическое значение K_кр , т.е. сдвигая эту точку влево, мы увеличиваем площадь под левой кривой p₀(x) справа от K_кр , и одновременно уменьшая площадь под правой кривой p₁(x) слева от K_кр. Поэтому к выбору уровня значимости нужно подходить с учетом вышесказанного.

Замечание. (§3.1 книги Ю.Р.Чашкина «Математическая статистика)

Есть и другой подход к выбору уровня значимости:

заранее уровень значимости не задается, а определяется уровень значимости наблюденного значения статистики примененного критерия. Если этот уровень превышает 0,1, принято считать, что нулевая гипотеза почти наверняка верна. Если этот уровень меньше или равен 0,01, то принято считать, что нулевая гипотеза почти наверняка неверна (в этом случае вероятность того, что она верна не превышает 0,01) Область значений α между 0,01 и 0,1 представляет собой область сомнений , когда желательно повторение опыта. Понятно, что оснований для сомнений тем больше, чем меньше α. Значение α=0,05 считается таким, при котором шансы отвергнуть правильную гипотезу (отвергнуть Н₀ , когда она верна) или принять неверную гипотезу (принять Н₀ , когда она неверна) приблизительно равны.

Часто в научных публикациях приходится встречаться с категорическими заявлениями о том, что с помощью такого-то статистического критерия автору удалось доказать правильность своей модели, предположения и т.д. Такого рода утверждения глубоко ошибочны. Статистическим критериям свойственны ошибки первого рода (отвергнуть верную гипотезу) и второго рода (принять неверную гипотезу) рода, это соответствует их природе. С помощью статистических критериев мы решаем обратную задачу и выносим свое суждение лишь предположительно, с большей или меньшей степенью уверенности. Здесь уместно напомнить высказывание Д.Химмельблау о том, что «никакой статистический критерий не в состоянии доказать справедливость проверяемой гипотезы. Не отвергая ее , критерий лишь признает, что она не противоречит опытным данным, как, возможно, и множество иных гипотез». Так, если исследователь может допустить не одну нулевую гипотезу, а несколько (например, распределение исследуемой случайной величины может быть нормальным, но может быть и равномерным), он вправе выбрать ту из них, значимоть которой больше. Правда, это не гарантирует ему правильность такого решения, особенно при выборках малого объема, которые могут быть совсем не похожи на генеральную совокупность, из которой они извлечены.

Замечание.

Пример такого альтернативного подхода к выбору уровня значимости можно найти, например, в § 1.6. Е.В.Сидоренко «Методы математической обработки в психологии»: