Конспект лекций Глазова / 9. Испыт гипот - общая формулир

9. Испытание статистических гипотез: общая формулировка.

Понятие об испытании статистических гипотез было дано на качественном уровне в п. 8.1. В частности, были введены термины: критерий оптимальности, решающее правило, алгоритм обработки, принятие и отвергание гипотез. Теперь нам предстоит изложить эти понятия на конкретном математическом уровне. Задача проверки гипотез всегда связана с задачей оценивания, но при первоначальном изучении проще рассматривать их отдельно.

9.1. Постановка задачи.

Статистическая гипотеза. Понятие гипотезы в математической статистике уже, чем вообще в науке. Например, существует гипотеза о возможности множества мест во Вселенной, где имеется Жизнь и даже Разум. Однако, подобного рода гипотезы выходят за рамки математической статистики, которая рассматривает лишь статистические гипотезы. Пусть имеется система Х n случайных величин. Как мы знаем, эту систему можно рассматривать как n-мерный случайный вектор или как случайную точку в n-мерном пространстве W. Значение х системы - конкретная точка в пространстве W. Можно (хотя бы в принципе) говорить о распределении вероятностей n-мерной случайной величины Х в пространстве W и о вероятности P(Xw) попадания случайной точки в область w. Любая гипотеза, связанная с такого рода вероятностями, называется статистической. Другими словами, статистическая гипотеза - это предположение о свойствах распределений, вероятностей и других статистических характеристик.

Выборочное пространство и выборочное распределение. Чаще всего в качестве n-мерной случайной величины Х выступает выборка, именно эта ситуация имеется в виду в дальнейшем. Конкретная выборка х={x_k}, k=1, 2, ...n, размером n представлена точкой в пространстве W, которое теперь называется выборочным пространством. Будем считать, что W включает только те точки, которые представляют возможные значения выборок. Структура W зависит от того, дискретна или непрерывна генеральная СВ. Дальше для краткости считаем, что она непрерывна. Тогда W плотно заполняет области n-мерного евклидова пространства. Распределение выборки Х в W, заданное n-мерной плотностью вероятности f(x) или n-мерной функцией распределения F(x), называется выборочным распределением. Вероятность P{Xw} теперь имеет смысл вероятности принадлежности выборки области w. Испытываемые гипотезы будут утверждениями, относящимися к распределению генеральной совокупности, его параметрам, вероятностям определенных событий и т. п., но они должны быть сформулированы на языке выборки, выборочного пространства, выборочного распределения и т. д.

Примеры статистических гипотез. Чтобы облегчить понимание приводимой ниже классификации гипотез, приведем 4 примера гипотез.

Пример 1. Имеется одномерная СВ Х. Известно, что она нормальна. По выборке х объема n проверить утверждение: «математическое ожидание и с. к. о. величины Х равны, соответственно, m_x=2.5, _х=1.3».

Пример 2. Та же ситуация, но нужно проверить утверждение: «m_x=2.5» (о значении _х ничего не утверждается).

Пример 3. Имеется одномерная непрерывная СВ Х, ее распределение неизвестно. По выборке х объема n проверить утверждение: «распределение величины Х - нормальное» (о значениях m_x , _x ничего не утверждается).

Пример 4. Имеются две одномерные непрерывные СВ X, Y, их распределения неизвестны. По выборкам х={x_k}, y={y_k}, каждая объемом n, проверить утверждение: «распределения (плотности вероятности) этих СВ одинаковы, т. е. f_x(z)=f_y(z), при всех z» (о виде распределений и об их параметрах ничего не утверждается).

Характер решений. Как видно из примеров, гипотезы суть утверждения о тех или иных свойствах генеральной совокупности. Поэтому при решении задач испытания гипотез всегда приходится проходить этап переноса свойств генеральной совокупности на свойства выборок.

Уточним смысл фразы «проверить утверждение...». Если бы выборка была неслучайной, можно было бы это понимать как «определить по выборке, выполняется ли такое-то свойство». Например, проверку утверждения «m_x=2.5» можно было бы понимать так: «найти по выборке m* и дать однозначный ответ: «да» или «нет»». Но поскольку выборка случайна, свойство выборки, по которому мы пытаемся дать однозначный ответ, не выполняется точно, а лишь приближенно. Вопрос лишь в том, обязано ли это невыполнение только случайности, или совместному действию случайности и неверности предположения. Поэтому, принимая решение «да», мы на самом деле говорим: «наблюденное невыполнение свойства с большой вероятностью могло быть обязано одним случайностям», а принимая решение «нет», говорим: «маловероятно, что наблюденное невыполнение свойства обязано одним случайностям». Как видим, и то, и другое решения справедливы лишь с некоторыми вероятностями, и то и другое могут быть ошибочными. Т. е. мы можем решить «да», когда на самом деле «нет», и решить «нет», когда на самом деле «да». Вопрос лишь в том, каковы вероятности этих ошибок. Другими словами, при испытании гипотез мы не принимаем точных (однозначных) решений, а лишь решения с некоторым риском, который можем приближенно оценить. На словесном уровне это проявляется в том, что вместо решений «выполняется» или «не выполняется» мы предпочитаем говорить «не отвергается» или «отвергается».

Параметрические и непараметрические гипотезы. В примерах 1, 2 распределение генеральной совокупности имело известный вид (было нормальным) и гипотезы касались только значений одного или нескольких параметров. Такие гипотезы называются параметрическими. В примерах 3, 4 гипотезы имеют другую природу. Утверждение в примере 3 эквивалентно любому характеристическому свойству нормального распределения, например, «все нечетные центральные моменты равны нулю, а четные выражаются как

, k=2, 4, 6, ..., »

или «любое линейное преобразование генеральной СВ дает распределение того же типа (но с другими параметрами)» и т. п. Эта гипотеза не имеет отношения к конкретным значениям параметров. В гипотезе примера 4, более того, даже вид распределения не упоминается. Такие гипотезы, как в примерах 3, 4, называются непараметрическими.

Простые и сложные гипотезы. Введем понятие параметрического пространства. В каждом семействе распределений определенное число параметров. Например, в семействе нормальных распределений 2 параметра, экспоненциальных - 1 параметр и т. д. Совокупность значений параметров семейства образует s-мерное параметрическое пространство Q, где s - число параметров семейства. Структура пространства Q может быть различной, в зависимости от ограничений, наложенных на параметры конкретного семейства распределений. Например, у семейства экспоненциальных распределений Q - одномерное пространство положительных значений, у семейства нормальных распределений Q - двумерное пространство <m_x< , 0<.

Между гипотезами примера 1 и примера 2 есть определенная разница. Гипотеза примера 1 определяет одну точку двумерного параметрического пространства (значения обоих параметров заданы); такая гипотеза называется простой. Гипотеза примера 2 определяет значение одного, но не другого, параметра, т. е. определяет подпространство в виде линии (полупрямой, параллельной оси ). Это частный случай сложной гипотезы. В общем случае, если гипотеза фиксирует единственную точку параметрического пространства, она называется простой, если область, содержащую более одной точки, - сложной. Можно выделить несколько разновидностей сложной гипотезы. Первая, когда фиксируются несколько точек Q; вторая, когда задается некоторая область той же размерности s, что и само Q; третья, когда фиксируется подпространство меньшей, чем s размерности, и т. д. В частности, если фиксируется r<s параметров, а остальные s-r параметров совершенно свободны, то q=s-r называется числом степеней свободы.

Критические области и альтернативные гипотезы. Чтобы проверить какую-либо гипотезу, исходя из случайной выборки, мы должны разделить выборочное пространство W на две области. Если наблюденная выборочная точка х попадает в одну из этих областей, скажем w, то гипотеза отвергается; если же х попадает в дополнительную область W-w, то гипотеза не отвергается (принимается). Правило, по которому производится разделение областей, называется критерием, область w называется критической областью, W-w называется областью принятия. Обычно проверяемую гипотезу обозначают Н₀ и называют нулевой гипотезой. Другие гипотезы, противостоящие гипотезе Н₀ , называют альтернативными. Мы видим, что проверить гипотезу Н₀ это значит:

1) Заранее (до получения выборки) разделить W на две области: критическую w и область принятия W-w.

2) Получить выборку х, определить в какой из двух областей находится выборочная точка х.

3) Принять решение: если хw, то решение «отвергнуть Н₀», если хW-w, то решение «принять Н₀». На практике такая форма принятия решения трудна из-за математических трудностей работы с многомерными пространствами, поэтому стараются найти эквивалентную форму в виде алгоритма обработки выборки, приводящего к тем же решениям. Такого рода алгоритм называется решающим правилом. Примеры решающих правил появятся ниже при рассмотрении конкретных задач испытания гипотез.

Если гипотезе Н₀ противостоит одна гипотеза, то она обычно обозначается Н₁ , и испытание гипотез называется двухальтернативным, если противостоит более одной - испытание многоальтернативное. В случае двухальтернативного испытания гипотез решение «отвергнуть Н₀» эквивалентно решению «принять Н₁», в случае многоальтернативного - дело обстоит сложнее; этот случай мы далее не рассматриваем.

Т. о. в принципиальном плане задача двухальтернативного испытания гипотез сводится к разбиению выборочного пространства W на две области: критическую w и область принятия W-w. Поверхность, разделяющая эти две области n-мерного пространства, называется критической.

Ошибки решения. Как указано выше, безошибочные решения по случайной выборке невозможны, любое решение может быть неверным, вопрос только в том, какова вероятность ошибки. При двухальтернативном испытании гипотез (в этом случае можно говорить: «при испытании гипотезы Н₀») возможны два вида ошибок. Можно ошибочно отвергнуть гипотезу Н₀ в ситуации, когда на самом деле она верна Эта ошибка называется ошибкой первого рода, ее вероятность обозначается и называется вероятностью ложной тревоги, или размером критерия, или уровнем значимости. Другая возможность - ошибочно принять Н₀ в ситуации, когда на самом деле она неверна. Эта ошибка называется ошибкой второго рода, ее вероятность обозначается и называется вероятностью пропуска.

Определим, как вычислить вероятности ошибок. Поскольку решения принимаются автоматически в зависимости от того, в какую область выборочного пространства попадает конкретная выборка х, вероятность ошибки - это условная вероятность попадания в соответствующую область. А именно, - это условная вероятность попадания выборки в область w, при условии, что на самом деле справедлива Н₀ , т. е.

P{xw/H0};

(9.1.1)

- это условная вероятность попадания выборки в область W-w, при условии, что на самом деле справедлива Н₁ , т.е.

=P{xW-w/H1}.

(9.1.2)

Пусть обе гипотезы простые. Тогда условные плотности вероятности генеральной СВ в обеих гипотезах f(x/H₀), f(x/H₁) полностью известны. Если выборка х=(x₁, x₂, ..., x_n) простая (т. е. независимая и однородная), то условные плотности вероятности выборки равны

.

Теперь из (9.1.1) получаем

,

(9.1.3)

а из (9.1.2)

.

(9.1.4)

Кроме двух видов ошибок, при двухальтернативном испытании гипотез возможны два вида правильных решений. Можно правильно отвергнуть Н₀ в ситуации, когда на самом деле верна Н₁ (это решение назовем правильным отверганием), и можно правильно принять Н₀ в ситуации, когда на самом деле верна Н₀ (это решение назовем правильным принятием). Вероятность правильного отвергания

=P{xw/H₁}=1-P{xW-w/H₁}=1-,

называется мощностью критерия, а вероятность правильного принятия равна

=P{xW-w/H₀}=1-P{xw/H₀}=1-.

Если обе гипотезы простые, эти вероятности можно вычислить как

,	(9.1.5)
.	(9.1.6)

Принцип неопределенности ошибок. Сделанное выше заключение, что «при испытании гипотез мы не принимаем точных (однозначных) решений, а лишь решения с некоторым риском, который можем приближенно оценить», теперь можно сформулировать в следующей форме: невозможно одновременно сделать обе вероятности ошибок как угодно малыми (а тем более, нулевыми); неизбежный риск оценивается этими вероятностями. Действительно, можно неограниченно уменьшать вероятность ложной тревоги , для этого нужно уменьшать размер области w; но при этом будет соответственно увеличиваться размер области W-w, и, следовательно, будет увеличиваться вероятность пропуска . В пределе, когда w превратится в пустую область, при любой выборке гипотеза Н₀ будет приниматься всегда, а гипотеза Н₁ не будет приниматься никогда, т. е. будет . Наоборот, можно неограниченно уменьшать вероятность пропуска , для этого нужно уменьшать размер области W-w; но при этом будет соответственно увеличиваться размер области w, и, следовательно, будет увеличиваться вероятность ложной тревоги . В пределе, когда W-w превратится в пустую область, при любой выборке гипотеза Н₁ будет приниматься всегда, а гипотеза Н₀ не будет приниматься никогда, т. е. будет . Т. о., при уменьшении вероятности одной ошибки увеличивается вероятность другой ошибки. Это свойство можно назвать принципом неопределенности ошибок.