дов

далее мы введем независимые случайные величины с распределением N(0; 1):

ных дисциплин. Вопросы ’Что дала проверка по Стьюденту?’, ’А Вы проверили эффективность Вашего метода по Стьюденту?’ часто задаются на защитах докторских и кандидатских диссертаций по медицине, психологии, социологии и даже педагогике. Положительный ответ вызывает одобрение. При этом имеется в виду сравнение результатов, полученных для одной группы новым, предлагаемым диссертантом методом, со старым, испытанным методом для контролькой группы. Попадание в критическую область интерпретируется как проверка эффективности нового метода. Во многих случаях применение нормальной модели не только не обосновано, но и заведомо неверно, поэтому при подсчете вероятности попадания в критическое множество можно ошибиться в несколько раз. Для малых выборок мы не вправе мыслить и в рамках центральной предельной теоремы и вытекающей из нее нормальной модели. Но если уровень значимости критерия близок к нулю, то это не страшно. Действительно, пусть даже произошло событие с вероятностью не 0:01, а например 0:03. Все равно эта вероятность мала и результаты проверки свидетельствуют о преимуществах новой методики. Математик находится в таких случаях в худшем положении. Он прекрасно понимает, что использование распределения Стьюдента некорректно, но ничего лучшего у него все равно нет.

Из сделанных выкладок следует знаменитая

Теорема Фишера. В нормальной модели эмпирическое среднее x и эмпирическая дисперсия s2 независимые случайные величины.

2. Критерий 2.

Критерий 2 проверяет гипотезу

P(A1) = p1; :::; P(Ar) = pr где = A1 + ::: + Ar:

Пусть мы провели n экспериментов, в ni экспериментах произошло событие Ai (n1+:::+nr = n). Из многомерной центральной предельной теоремы вытекает, что при больших n случайная

141

величина

имеет распределение, близкое распределению случайной величины 2r 1. Критерий строится в виде

где число " определяется по уровню значимости по таблицам распределения 2r 1.

Важное замечание. Критерий 2 применим и в ситуации, когда сами вероятности pi являются функциями s параметров 1; :::; s. В этом случае надо предварительно оценить параметры i так, чтобы сумма T оказалась бы минимальной (в сложных ситуациях это можно сделать только приближенно). Доказывается (Крамер, гл. 30, п, 3), что при подстановке этих оценок

ввыражение для T случайная величина T будет иметь распределение 2r s 1. Заодно мы сообщили также еще об одном универсальном методе оценивания параметров методе минимума 2. В книге Крамера написано также об упрощенной процедуре вычисления минимума

2. Дело в том, что при дифференцировании системы (*) по параметрам может получиться система уравнений, которую очень трудно разрешить. Предлагается упрощенная процедура,

врамках которой мы дифференцируем в (*) лишь числители. Оказываеься (см. Крамер), это приводит при больших n к небольшой ошибке. Там же доказывается теорема о существовании и единственности при выполнении определенных условий решения возникающей системы и о сходимости распределения вычисляемой после подстановки в (*) этих решений случайной величины к распределению 2r s 1. Пример применения критерия 2 будет дан ниже, в разделе проверки на независимость.

Мы приведем обоснование критерия 2 только в непараметрической ситуации. Сначала рассмотрим случайный вектор

для всех j. Введем n независимых при различных i n двузначных случайных величин

142

r

+ (pp1 1 + ::: + ppr r)2 = X j2 (pp1 1 + ::: + ppr r)2 =

j=1

rr

XX

= j2 12 = j2: j=1 j=2

§23. Обзор статистических критериев

Мы в основном приводим статистики, на которых основаны те или иные критерии. С выводом распределений или предельных распределений этих статистик можно познакомиться в специальной литературе.

1. Критерий Колмогорова Смирнова.

Проверяет гипотезу о том, что выборка fx1; :::; xng принадлежит генеральной совокупности с распределением F , где функция распределения F непрерывна. Основан на статистике

p

T = n sup jFэ(x) F (x)j ;

x

где Fэ эмпирическая функция распределения. Критерий обычно имеет вид fT > g, где вычисляется по таблицам. Впрочем, для большого числа наблюдений известна асимптотическая формула Колмогорова: при x > 0

1

PfT < xg K(x) = 1 + 2 X( 1)ke 2k2x2 :

k=1

Впрочем, предпочтительнее использовать таблицы. Заметим, что распределение статистики T не зависит от функции F . Легко показывается, что мы можем принять в качестве F (x) = x (0 < x < 1), то есть функцию равномерного распределения на [0; 1]. Дело в том, что

PfF (xi) < xg = Pfxi < F 1(x)g = F (F 1(x)) = x:

Таким образом, преобразование аргумента x ! F (x) приводит к равномерному распределению величин xi (которые переходят в F (xi)). Очевидно, что это преобразование не меняет величину

T .

Можно в качестве популярного текста рассказать о выводе формулы Колмогорова. В следующем семестре мы будем изучать теорию случайных процессов и найдем распределение максимума случайного блуждания. Точно так же, с помощью метода отражения, находится распределение максимума процесса одномерного броуновского движения. Но нас интересует распределение максимума аболютной величины, то есть вероятность захода движения вверх за уровень x или вниз за уровень x, то есть вероятность объединения двух событий, при вычислении которой мы должны знать и вероятность пересечения этих событий. При этом приходится иметь дело с многократными пересечениями обоих уровней, и это приводит к ря- ду. Имеется и другая тонкость: зависящий от времени x 2 [0; 1] процесс pn fFэ(x) F (x)g (после преобразования времени) сходится не к броуновскому процессу w(x), а к так называемому броуновскому мосту w(x) xw(1), который в момент времени x = 1 должен вернуться в 0. Действительно, в случае равномерного распределения на [0; 1], к которому все сводится,

Fэ(1) F (1) = 0.

2.!2-критерий Крамера-Мизеса.

3.Проверка однородности

Пусть имеются две выборки fx1; x2; :::; xng, fy1; y2; :::; ykg. Задача состоит в проверке однородности объединения двух выборок, т.е. проверяется гипотеза о том, что обе выборки выбраны из одной генеральной совокупности.

144

Мы обсудим несколько возможных критериев проверки этой гипотезы.

Критерий Смирнова.

Основан на статистике

где Fэ,x, Fэ,y эмпирические функции распределения, построенные соответственно по результатам наблюдений fx1; x2; :::; xng и fy1; y2; :::; ykg. Критерий обычно имеет вид fjT j > g, где вычисляется по таблицам.

Критерий 2

Основан на статистике

Здесь мы разбиваем множество исходов на r событий Aj, nj число попаданий xi в событие Aj, kj число попаданий yi в событие Aj, pj неизвестные нам вероятности Aj, причем p1+:::+pr = 1. Проверяется гипотеза, что в обеих выборках мы наблюдали случайные величины с одними и теми же вероятностями попадания в Aj. Неизвестные параметры pj (их r 1) находятся по методу минимума 2, (1) нужно продифференцировать по неизвестным параметрам и производные приравнять нулю. Причем используется упрощенная процедура вычисления минимума (т.е. дифференцируются по параметрам лишь числители в сумме). Проверьте сами, что решением системы уравнений является следующая сумма

Заметим, что число параметров равно r 1, точки минимума проще не вычислять, а угадать, они равны pi = nni++kki . Согласно общему правилу предельное распределение имеет вид 2s, где 2r 2 (r 1) = r 1. (Как и выше, из 2r вычитается 2 ввиду зависимостей возводимых в квадрат слагаемых: Pi ni = n, Pi ki = k.) Итак, критерий имеет вид f 2 > g, где

вычисляется из таблицы распределения 2r 1.

Критерий серий

Объединим выборки fx1; x2; :::; xng, fy1; y2; :::; ykg в одну и построим вариационный ряд. Напомним, что вариационным рядом fx1; :::; xng для выборки fx1; :::; xng называется сама выборка, но расположенная в порядке возрастания. Вариационный ряд для объединения состоит из n + k чисел, расположенных в порядке возрастания. Запишем этот ряд как набор из n + k символов x и y. Любой максимальный поднабор из расположенных рядом символов x мы будем называть серией. Критерий серий основан на статистике числе таких серий. В справочниках можно найти инструкцию по вычислению функции распределения числа серий в предположении, что x и y имеют одно и то же распределение.

Критерий Вилкоксона

Рангом xi называется номер наблюдения xi в вариационном ряде fx1; x2; :::; xng. Снова рассмотрим вариационный ряд объединения выборок fx1; x2; :::; xng и fy1; y2; :::; ykg в одну и обозначим через Xi ранг xi в этом ряду. Критерий Вилкоксона основан на статистике

§24. Проверка независимости

145

1. Критерий независимости в случае нормальной модели, основанный на эмпирическом коэффициенте корреляции.

В нашей модели выборка имеет вид (x1; y1); (x2; y2); :::; (xn; yn), где xi независимые нормальные случайные величины N(mx; x), . yi независимые нормальные случайные величины N(my; y), мы проверяем гипотезу о независимости x-ов и y-ов между собой, то есть о равенстве нулю коэффициента корреляции. Напомню формулу для вычисления эмпирического коэффициента корреляции между переменными x и y (после очевидного сокращения):

(yi) независимы, и компоненты каждого из них одинаково распределены и независимы. Мы сначала сведем эту случайную величину к виду

X

u

ti2

i=2

где i независимы и нормальны N(0; 1). В свою очередь, легко проверяется, что случайная

fjtn 2j > g и разрешаем это неравенство относительно r, получаем критерий вида fjrj > 1g. Теперь докажем что случайные величины в левой и правой частях (2) имеют одно и то же

Из этого представления уже видно, что распределение r не зависит от неизвестных нам па-

Поэтому

nn

Аналогично (и как и в выводах для доверительных интервалов), имеем:

XX

uu

146

ii) Теперь мы приведем (4) к виду (2). В терминах плотностей нам надо доказать, что

Мы используем формулу для условной плотности (аналог формулы полной вероятности для плотностей)

Дело в том, что условную плотность pr(uj'2 = v2; :::; 'n = vn) найти очень просто. Мы подставляем вместо случайных величин '2, ..., 'n их значения v2,...,vn и получаем случайную величину

nn

Итак,

pr(uj'2 = v2; :::; 'n = vn) = pr(v2;:::;vn)(u):

Чтобы найти функцию плотности pr(v2;:::;vn)(u), мы проведем вращение случайного вектора U( i) = ( 2) так, что первая строка (точнее, строка с номером 2) ортогональной матрицы u

совпадает с вектором ( i). После вращения случайная величина r(v2; :::; vn) приводится к виду

Заметим, что плотность этой случайной величины не зависит от выбора (v2; :::; vn). Поэтому

Как все это используется. По таблицам распределения Стьюдента находим такое число ", что

Pfjtn 2j > "g = ;

где запланированный нами уровень значимости. Далее решаем уравнение (7) относительно r, то есть находим такое , что

jtn 2j = " , jrj = :

После этого вычисляем эмпирический коэффициент корреляции r и проверяем неравенство jrj > .

147

Замечание. Парадокс теории проверки гипотез. Допустим, что мы имеем не одну, а много одинаковых выборок, например, 500 (мы разбили одну большую выборку на много средних). Сделано это для того, чтобы быть более уверенным в справедливости гипотезы. Итак, мы проверяем 500 раз гипотезу с уровнем значимости 0:05, и все 500 раз подтверждается гипотеза. О чем это говорит? О том, что гипотеза неверна. Если бы она была верна, то примерно 25 раз гипотеза должна была бы не подтвердиться.

Когда я рассказал этот парадокс одному очень умному практику и его сотрудникам, он сказал: ’Не слушайте его, это означает, что подтверждается лучшая гипотеза’. И это разумно, но, как мы сейчас увидим, не всегда. Контрпример – проверка на независимость в рамках нормальной модели. Если гипотеза независимости все время подтверждается, то это указывает на ошибочность исходной нормальной модели. Но если совместное распределение не является нормальным, то даже равенство коэффициента корреляции нулю не влечет независимость.

2. Критерий независимости, основанный на методе 2.

Если информации о нормальности совместного распределения у нас нет, то критерий независимости наблюдаемых случайных величин xx и y может быть основан на методе 2. Для этого мы должны разделить область значений x на s частей, = A1 + ::: + As, а область значений y на t частей, = B1 + ::: + Bs. Мы также обозначим:

njk число попадания вектора (x; y) в Aj \ Bk;

s 2. Проверяется гипотеза P(AjBk) = pj p k. Оценки для параметров находятся с помощью упрощенной процедуры минимума 2 и имеют естественный вид: pj = nj =n, p k = n k=n. Итак, для проверки независимости мы имеем статистику

3. Ранговые критерии применяются в ситуации, когда у нас нет разумной модели (часто это бывает в задачах психологии и педагогики), а сами величины наблюденных нами характеристик не имеют существенного значения, важны лишь неравенства между этими числами. Например, мы знаем, что оценка 5 лучше 4, а 4 лучше 3, но были бы очень странными утверждения ’5 лучше 4 в 5=4 раза’, ’4 лучше 3 в 4=3’. (Впрочем, если бы стипендия была прямо пропорциональна сумме баллов, оценки превратились бы в рубли, и эти соотношения стали бы очень даже разумными). Итак, в такого рода ситуации целесообразно заменить наблюденные значения x1,...,xn на числа x~1,...,x~n из множества f1; 2; :::; ng по правилу: xi < xj влечет x~i < x~j (для простоты мы будем рассматривать лишь случай, когда все значения чисел xi различны). Аналогично мы заменяем числа y1,...,yn на числа y~1,...,y~n из множества f1; 2; :::; ng. Например, число 1 мы ставим на место самого маленького числа из всех xi и самого маленького числа из всех yj, а число n мы ставим на место самого большого числа из всех xi и самого большого числа из всех yj . Итак, мы имеем набор векторов (~x1; y~1), ..., (~xn; y~n). Теперь мы можем проверить независимость x-ов и y-ов. Для этого мы считаем эмпирический коэффициент корреляции r~ для двумерной выборки (~x1; y~1), ..., (~xn; y~n). Если число jr~j окажется велико, то мы можем сказать, что ’гипотеза независимости не подтвердилась’. Но мы должны уметь определять, что значит ’велико’. Гипотеза независимости означает, что все варианты наборов (~x1; y~1), ..., (~xn; y~n) равновероятны, то есть вероятность каждого набора в нашей модели равна

148

квадрату числа перестановок множества f1; 2; :::; ng, то есть n1! 2. Для каждого такого набора легко считается свое jr~[(~x1; y~1); :::; (~xn; y~n)]j. Но как вычислить Pfr~ > r~0g? Аналитическое (даже приближенное) построение функции распределения r~ для конкретного n представляется очень сложной задачей. Для этого нужно упорядочить n! чисел. Но вам эта функция распределения не нужна. Для вашего конкретного случая вы вычислили эмпирический коэффициент для рангов (обозначим результат r~0). Далее перебрали на компьютере все возможные элементарные исходы и для каждого из них подсчитали r~, подсчитали долю исходов, для которых r~ > r~0 это и будет нужная вам вероятность. Заметим, что общее число элементарных исходов можно считать равным не n!2, а лишь n!. Это следует из соображений симметрии. Мы можем рассматривать лишь исходы вида [(1; y~1); (2; y~2); :::; (n; y~n)] и лишь для них подсчитать эмпирический коэффициент корреляции. Разумеется, нужна программа, перебирающая все перестановки множества f1; 2; :::; ng.

Замечание. В русском переводе книги ’M. Kendall. Rank Correlation Methods’ (М. Кендэл. Ранговые корреляции. М. Статистика. 1975) имеется таблица для n = 10, но разбираться в книге не очень удобно слишком много текста, книга написана для неспециалистов. Как мне

кажется,

Pfjr~j 16591 g 0:104; Pfjr~j 16593 g 0:096;

Pfjr~j 105165g 0:054; Pfjr~j 107165g 0:048;

но неплохо было бы проверить с помощью компьютерных вычислений правильно ли я разобрался в таблицах, или самим разобраться в этой книге или в других книгах. Определение используемого в таблице термина ’функция вероятности’ я не нашел. Впрочем, компьютерные вычисления лучше со всех точек зрения, так как они дают точное значение уровня значимости для данной выборки (не обязательно, рядом с 0:1 или 0:05).

4. Коэффициент конкордации.

Для измерений степени тесноты статитистической связи у более чем двух порядковых переменных r > 2 используется коэффициент конкордации Кендалла

где Ri(j) ранг i-го наблюдения j-й случайной величины, r число переменных, n число наблюдений.

5. Проверка нормальности.

Проверить гипотезу нормальности генеральной совокупности, из которой извлечена данная одномерная выборка (x1; :::; xn), можно, например, с помощью критерия 2. Для этого надо разделить числовую прямую на r частей, оценивание параметров m 2 проводить методом минимума 2. Другие критерии используют свойства моментов стандартного нормального распределения. А именно, если нормальна N(0; 1), то E 3 = 0. Третий центральный нормированный момент случайной величины называется асимметрией . Эмпирическая асимметрия имеет вид

Легко показывается, как мы уже делали неоднократно, что в случае нормальной модели распределение эмпирической асимметрии не зависит от параметров m и . Соответствующие таблицы для распределения A имеются, используя их, вычисляется вероятность критического

149

множества fjAj > "g. Известно также, что четвертый центральный нормированный момент

нормального распределения равен 3. Характеристика E( E )4 2 3 называется эксцессом

E( E )2

распределения. Эмпирический эксцесс также используется для построения критерия нормальности.

6. Вывод распределения Фишера. Критерий Фишера.

В классической ситуации сравнения двух нормальных выборок (xi)ni=1 и (yj)kj=1 целесообразно использовать с маленьким уровнем значимости кроме самого критерия Стьюдента еще проверку на нормальность и критерий Фишера, позволяющий проверить гипотезу о равенстве дисперсий обеих выборок. Этот критерий основан на статистике Фишера

' = n1 2n;x ; k1 2k;y

где

XX

Очевидно, что ' сходится по вероятности к 1 (когда n; k ! 1), поэтому критическое множество Фишера состоит из значений ', существенно отклоняющихся от 1, где понятие ’существенно’ определяется с помощью распределения Фишера статистики '. Нам будет удобнее найти плотность распределения случайной величины = nk ', выразить через нее плотность ' читатель должен самостоятельно.

Функцию распределения обозначим через Fn;k. Мы используем стандартную для отношения двух независимых случайных величин замену: y = u=v, z = v. Имеем:

ZZ

Отсюда немедленно получается функция плотности.

§25. Различение двух гипотез методом последовательного анализа Вальда

В отличие от всего предыдущего, в этом разделе число наблюдений не является постоянным n, а является случайной величиной. Рассматривается задача различения двух гипотез: гипотезы H0, состоящей в том, что случайная величина имеет распределение P0 с функцией плотности p0(x), и гипотезы H1, состоящей в том, что случайная величина имеет распределение P1 с функцией плотности p1(x). На каждом шаге n для полученной выборки (x1; :::; xn) вычисляется отношение p(0n)=p(1n) = p0(x1) p0(xn)=p1(x1) p1(xn) двух совместных плотностей. Если p(0n)=p(1n) > C0, то выбирается гипотеза H0, если p(0n)=p(1n) < C1, то выбирается гипотеза

150