дов

покажем, что случайная величина

nS2 T (x1; x2; : : : ; xn) = m0

2

имеет распределение 2n. Напомним, что распределение 2n это распределение случайной величины 12+ 22+: : :+ n2, где 1; 2; : : : ; n независимые одинаково распределенные нормальные N(0; 1) случайные величины. Имеем:

тервал 2. Чаще всего доверительный интервал строится в виде ( ; ) (если нас интересует наиболее точное задание дисперсии), (0; ) (если нас интересует вопрос может ли дисперсия оказаться больше какого-то числа, быть слишком большой), и ( ; 1) (если нас интересует может ли дисперсия оказаться слишком маленькой). Доверительный интервал всех трех видов строится одинаковым способом. Построим, например, доверительный интервал третьего вида:

Замечание 3. Как видно из задачи 1, знание дисперсии позволяет оценить точность оценки x. Тогда доверительный интервал для дисперсии это оценка точности точности. Интуитивно ясно, что для такой оценки нужно существенно больше наблюдений чем в задаче 1. Однако

ное распределение. В таких ситуациях нужно (умеючи!) пользоваться таблицами нормального распределения N(0; 1).

Задача 3. Оценка дисперсии 2 при неизвестном среднем.

В этом случае мы не можем использовать центрирование случайных величин xi средним m0, поэтому вместо статистики Sm2 0 здесь используется несмещенная оценка дисперсии

n

S2 = 1 X(xi x)2: n 1

i=1

Теорема. Случайная величина

имеет распределение 2n 1.

Доказательство. Мы используем тождество (1) в §2, а также следующую лемму о вращении нормального случайного вектора:

Лемма 1. Пусть ( 1; 2; : : : ; n) стандартный нормальный случайный вектор (т.е. распределения 1; 2; : : : ; n нормальны N(0; 1), сами эти величины независимы). Пусть также U

131

ортогональное вращением, U = [uij], i; j n, матрица вращения, случайный вектор ( i) задан равенствами

X

i = uij j; i n:

i=1

Тогда случайный вектор ( 1; 2; : : : ; n) также имеет стандартное n-мерное нормальное распределение.

nn

nn

Далее мы построим такое вращение U, матрица U которого имеет вид

Задана 1-я строка, в последующих строках стоят какие-то числа достаточно произвольно, но так, чтобы матрица U была ортогональной (Напомним, строки и столбцы ортогональной матрицы составляют ортонормированный базис. Любую ортонормированную систему, в частности, даже один нормированный вектор, можно дополнить до ортонормированного базиса).

В этом случае 1 = n 1=2( 1 + + n). Так как при ортогональном вращении сумма квадра-

Задача 4. Оценка среднего при неизвестной дисперсии.

При решении задачи 1 мы использовали известность дисперсии и то, что распределение случайной величины n1=2(x m)= есть N(0; 1). Теперь мы будем считать, что дисперсия неизвестна, поэтому эту статистику при всем желании вычислить мы не можем. Естественно попытаться заменить ее на

Tm(x1; x2; : : : ; xn) = n1=2(x m)=S;

где S2 несмещенная оценка дисперсии. И действительно, можно определить распределение статистики Tm, которое не зависит от неизвестной нам дисперсии и от m, и использовать Tm для построения доверительного интервала для среднего m. Имеем:

Обозначим i = xi m, тогда i независимы и имеют распределение N(0; 1),

132

Как и при решении задачи 3 проведем вращение нормального случайного вектора (x1; x2; : : : ; xn), мы уже видели, что

=1

Таким образом,

1

Tm = n !1=2

1 X 2 n i

i=2

имеет распределение Стьюдента с параметром n 1, доверительный интервал определяется из неравенства jTmj < ", где PfjTmj < "g = а " определяется по и таблице распределения Стьюдента.

Замечание 4. При больших n распределение Стьюдента хорошо аппроксимируется стандартным нормальным распределением.

Замечание 5. Мы видим, что в этой задаче, так же, как и в задачах 2 и 3, длина доверительного интервала случайна и зависит от результатов наблюдений. Это не очень соответствует высказанной выше идее введения состоятельной оценки. В то же время оценка x является состоятельной согласно закону больших чисел. Для эмпирической дисперсии выше была сформулирована задача о состоятельности, которую сейчас есть смысл решить.

n

s2 = n1 X(xi m)2 (x m)2:

i=1

Первое слагаемое сходится к 2 по вероятности в силу закона больших чисел, среднее второго слагаемого сходится к нулю, а в силу неотрицательности слагаемого оно сходится к нулю по вероятности.

Замечание 6. Из анализа примеров создается впечатление, что доверительный интервал с одним и тем же доверительным уровнем для всех значений параметра существует редко и лишь в особых ситуациях, в которых возникают инвариантные распределения, не зависящие от неизвестного нам значения параметра. Оказывается, это не так, и аналог доверительного интервала можно связать почти с любой статистикой T . Действительно, зафиксируем для любого два числа t1( ) и t2( ) такие, что

(Гарантировать существование таких t1( ) и t2( ) можно лишь в том случае, когда функция распределения статистики T непрерывна при любом значении параметра .) Тогда при любом значении T в качестве аналога доверительного интервала мы можем взять множество всех таких, что выполняется (*). Действительно, при любом это значение параметра с вероятностью удовлетворяет условию (*) и попадает в выбранное множество. Разумеется, такое множество в конкретной модели может быть не интервалом (и даже не одномерным), поэтому множество таких корректнее называть доверительным множеством, но такого термина я не встречал.

В случае многомерного параметра приведенная конструкция имеет смысл лишь если мы оцениваем все координаты одновременно. Например, в нормальной модели при фиксированном m множество (*) будет разным при разных значениях .

3. Вывод функции плотности распределения Стьюдента. В теории вероятности мы отложили вывод распределения Стьюдента. Сейчас самое время этим заняться, хотя для пользователей математической статистики этот вывод не нужен, достаточно иметь таблицу функции распределения, а для составления таблиц нужно уметь хорошо приближать интегралы, которые заведомо не берутся в явном виде.

133

Итак, мы рассматриваем случайную величину

где и i n+1 независимых нормальных N(0; 1) случайных величин. В частности, числитель и знаменатель случайной величины tn независимы. При n = 1 величину tn можно представить в виде j j, где и независимы и нормальны N(0; 1). Заметим, что если произвольную случайную величину умножить на независимую двузначную случайную величину ", которая задается соотношением Pf" = 1g = Pf" = 1g = 1=2, то получим новую случайную величину " , распределение которой связано с распределением соотношением

Pf" 2 [ x; x]g = 2Pf" 2 [0; x]g = Pf 2 [ x; x]g:

Распределение со свойством Pf[ x; x]g = 2Pf[0; x]g называется симметричным. Для симметричных распределений (например, для нормального N(0; 1)) таблицу значений функции распределения F (x) достаточно задать лишь для x > 0. Если же случайная величина сама имеет симметричное распределение, то легко видеть, что умножение на случайный знак " не меняет распределение. Поэтому (объяснить!)

то есть имеет распределение Коши. Итак, при выводе распределения Стьюдента целесообразно использовать преобразование координат, которое использовалось при выводе распределения Коши. Но предварительно мы выпишем плотности распределения:

§20. Достаточные статистики.

134

При построении новых оценок обычно стараются использовать статистики, которые называются достаточными.

Определение. Статистика T = T (x1; :::; xn) называется достаточной для статистической модели P(n), 2 , если (в непрерывной модели) условная плотность p(n)(x1; :::; xnjT = t) или (в дискретной модели) условная вероятность P(n)fx1; :::; xnjT = tg не зависит от . Объяснить это определение можно следующим образом: если статистика достаточна, то в ней содержится вся информация выборки относительно параметра .

Замечание 1. Разумеется, статистика T может принимать и векторные значения.

Теорема. Если (в непрерывной модели) совместная плотность pn допускает факториза-

цию

p(n)(x1; :::; xn) = g (T (x1; :::; xn))h(x1; :::; xn);

или (в дискретной модели) совместная вероятность P(n)fx1; :::; xng допускает факториза-

цию

P(n)fx1; :::; xng = g (T (x1; :::; xn))h(x1; :::; xn);

где функция g (t) зависит от , а функция h(x1; :::; xn) не зависит от , то статистика T является достаточной.

Доказательство мы проведем лишь для дискретного случая, где оно наиболее просто. По определению условной вероятности имеем:

В результате дробь имеет вид

h(x1; :::; xn)

X ; h(x1; :::; xn)

T (xi)=t

то есть не зависит от .

Замечание 2. В вероятностной модели с плотности (такое распределение мы называем непрерывным) возникает некоторая трудность при вычислении условной плотности, так как совместная плотность вектора (x1; :::; xn) и статистики T (x1; :::; xn) не существует. Действительно, она должна была бы быть определена на n + d-мерном пространстве, где d размерность T , но вся вероятность на этом пространстве сосредоточена на множестве лебеговой меры нуль f(x1; :::; xn; t) : t = T (x1; :::; xn)g.

Пример 1. В нормальной модели

135

Легко видеть, что условиям теоремы удовлетворяет статистика

и что эмпирические среднее и дисперсию являются функциями этой статистики, в свою очередь, двумерная статистика T является функцией двумерной статистики (x; s2).

Пример 2. Поучительный пример приведен в в книге И.Н. Володина. Рассмотрим равномерное распределение на отрезке [0; ], где > 0 неизвестный параметр. Совместная функция плотности задается формулой

В этой модели достаточной статистикой является статистика

T (x1; :::; xn) = max xi:

i n

Действительно, если T , то

если T > , то

p(n)(x1; x2; : : : ; xn) = 0:

Все же оба этих примера являются примерами ’второго сорта’, в них функцию h можно считать равной константе, например, 1. Иная ситуация в модели Пуассона:

Пример 3.

P (n)(k1; k2; : : : ; kn) == k1!k2! kn!e n :

В этом примере T (k1; k2; : : : ; kn) = k1 + k2 + : : : + kn,

1

h(k1; k2; : : : ; kn) = k1!k2! kn!:

§21. Сравнение двух гипотез

Рассматриваются две гипотезы: гипотеза H0 ’истинное распределение P0 с функцией плотности p0’, и гипотеза H1 ’истинное распределение P1 с функцией плотности p1’. На основании выборки (x1; : : : ; xn)(xi имеют распределение P0 или P1) нам следует выбрать одну из гипотез H0 или H1.

Естественно, что критерий различения двух гипотез имеет вид Rn = 0 + 1 (Rn в данном случае – пространство всех выборок), гипотеза H0 принимается, если выборка окажется в 0, H1 принимается, если выборка окажется в 1. Нас интересует такое разбиение 0 + 1, при котором минимальны вероятности ошибок. Отметим, что

Pfпринять гипотезу H1 при условии, что верна гипотеза H0g = называется вероятностью ошибки первого рода, = P(0n) 1,

Pfпринять гипотезу H0 при условии, что верна гипотеза H1g = называется вероятностью ошибки второго рода, = P(1n) 0.

Эта терминология придает разный смысл гипотезам H0 и H1, гипотеза H0 считается основной, а H1 альтернативной, поэтому вероятность отвергнуть правильную гипотезу (т.е.

136

H0), вероятность принять неправильную гипотезу (тоже H0). Оптимальность выбора разбиения 0 + 1 обычно означает фиксацию вероятности и минимизацию при фиксированномвероятности .

Лемма Неймана Пирсона. Если

где константа C определяется из равенства

ZZ

p(0n)(x1; : : : ; xn)dx1 : : : dxn = = PfH1jH0g;

Доказательство. Сравним с критерием (*) любой другой критерий Rn = 00 + 01, где

также R R p(0n)(x1; : : : ; xn)dx1 : : : dxn = . Имеем:

01

1 = P(0n) 0 = P(0n)( 0 \ 00) + P(0n)( 0n 00) = P(0n) 00 = P(0n)( 0 \ 00) + P(0n)( 00n 0):

Поэтому

P(0n)( 0n 00) = P(0n)( 00n 0):

Мы используем следующие очевидные равенства:

0 n 00 = 01 n 1;00 n 0 = 1 n 01:

В итоге имеем:

P(1n) 0 = P(1n)( 0 \ 00) + P(1n)( 0n 00) =

что и требовалось.

137

Эта простая лемма (если подумать, то она очевидна) используется при исследовании критериев в задаче проверки гипотезы (см. следующую лекцию).

В ситуации, когда вероятность в (0) не равна 0, вероятность ошибки первого рода может перескочить через заданное нами . Поэтому задачу решает рандомизированный критерий Неймана Пирсона. Суть критерия состоит в том, что если имеет место событие в равенстве (0), мы ’подбрасываем монету’ и в зависимости от результата эксперимента выбираем либо H0 либо H1. Монета ’изготавливается’ так, что при этом вероятность ошибки первого рода будет в точности равна .

Термин ’рандомизация’ в переводе с английского означает ослучайнивание. Переставить лекции??

§22. Задача проверки гипотез.

В этой лекции будет идти речь о проверки вероятностных гипотез. Имеется в виду, что по результатам наблюдений мы должны вынести суждение (для заказчика) согласуются результаты наблюдений с выдвигаемой им (или вами) гипотезой (или нет). Вначале для простоты мы будем считать, что гипотеза заключается в задании распределения наблюдаемой случайной величины. Итак, наблюдаются числа x1; : : : ; xn, мы проверяем гипотезу о том, что это результаты наблюдений независимых случайных величин с одним и тем же распределением P0. Критерий имеет вид Rn, это множество называется критическим, гипотеза отвергается, если мы (т.е. (x1; : : : ; xn)) попадем в критическое множество (точнее, мы говорим, что в этом случае результаты наблюдений не согласуются с выдвинутой гипотезой). Само критическое множество выбирается по уровню значимости вероятности попадания в критическое множество при условии справедливости гипотезы (обычно равно одному из чисел 0:001, 0:01, 0:05, 0:1), именно для этих значений обычно составляются вероятностные таблицы. Итак, при условии справедливости P0 вероятность попадания в критическое множество мала, при проверке гипотез мы исходим из убеждения, что события с малой вероятностью как правило не происходят, если же такое событие произошло, то, скорее всего, наше первоначальное предположение (о малости вероятности попадания в ) неверно, а следовательно, неверна и гипотеза, при условии справедливости которой была сосчитана вероятность попадания в .

Замечание. = P(0n)( ).

1. Примеры.

Пример (который должен заставить задуматься!). Пусть мы подбрасываем большое число раз монету (например, 10000 раз), гипотеза состоит в том, что вероятность выпадения герба в точности равна половине, т.е. монета симметрична. Как можно выбрать критическое множество (для простоты вычислений уровень значимости будет считаться равным 1=125 примерно). Обозначим частота выпадения герба. 1 вариант критического множества = f > 1 "g,

где " выбирается так, что

P(0n)f > 1 "g = 1=125:

~ f g

Второй вариант = < " ,

(n) ~

P0 = 1=125:

Можно также придумать симметричный критерий: # = fj 1=2j > g, где подбирается так, что P(0n) # 1=125.

Но оказывается возможен вообще парадоксальный критерий 0 = f = 1=2g, по формуле Стирлинга P(0n) 0 1=125.

Критерий 0 не противоречит формальному определению критерия, вероятность попадания в 0 мала, в то же время получается, что мы отвергаем гипотезу, если она слишком хорошо подтверждается: = 1=2. Итак критериев много, нужно не только уметь их придумывать, но и уметь сравнивать, а для этого кроме основной гипотезы P0 нужен также набор альтернативных гипотез (в данном случае это гипотезы Pp, где Ppf0g = p; Ppf1g = 1 p. Обозначим:

(p) = Pp c;

138

~~ c(p) = Pp ;

#(p) = Pp #c;

0(p) = Pp 0c:

Мы будем считать, что один критерий лучше другого, если функция (p) для одного критерия всегда больше чем аналогичная функция для другого критерия. При таком способе сравнения выбор оптимального критерия зависит от выбора набора альтернатив fPpg. Если этот набор совпадает с fPp : p > 1=2g, то, нетрудно видеть, что оптимальным является критерий ,

оптимального критерия (это легко проверить). Ни для одной из этих альтернатив критерий0 не будет хорошим (это тоже легко проверяется).

Пример. 1000 раз подбрасывали монету, 550 раз выпал герб. Согласуется ли этот результат с гипотезой p = 1=2? Критическое множество разумно выбрать в виде = fk 550g, где k число гербов в 1000 испытаниях, тогда

Эту вероятность можно явно вычислить на компьютере, но при этом надо избегать машинных нулей и бесконечностей. Можно воспользоваться и нормальным приближением. Согласно центральной предельной теореме, распределение случайной величины k примерно нормально, нужно свести вопрос к таблицам нормального распределения N(0; 1) функции . Для этого надо вычесть из k среднее и разделить разность на корень квадратный из дисперсии. Имеем

Ek = 1000 12 = 500; Dk = 1000 14 = 250:

Гипотеза не подтвердилась.

Задача выбора критического множества существенно усложняется, если наша гипотеза является параметрической. Нужно стремиться к тому, что вероятность попадания в критическое множество была бы инвариантна не зависела бы от неизвестных нам значений параметра.

Замечание. Чаще всего критическое множество имеет вид

= fT > tg;

где T некоторая статистика (в параметрическом случае ее распределение не должно зависеть от параметра). В такой ситуации процедура проверки приобретает другой вид мы вычисляем конкретное значение T и узнаем (обычно по таблице) уровень значимости, для которого наша гипотеза не подтвердилась. В результате мы можем получить любое число между 0 и 1, которое не обязательно равно 0:01, 0:05 или 0:1. Такой подход иногда удобнее. Результаты вычислений становятся более информативными, кроме того, вместо таблиц мы можем иногда использовать компьютерные вычисления (см. Ранговые критерии). Действительно, мы вычислили значение

~

T для нашей конкретной серии экспериментов, получили некоторое значение T , и теперь нас не интересует вся таблица значений функции распределения статистики T , а лишь конкретное

f ~g

число P T > T .

2. Критерий Стьюдента.

Даны две выборки (x1; :::; xn) и (y1; :::; yk). Мы предполагаем, что одна выборка получена в ходе одних экспериментов, а другая в ходе других экспериментов, но при этом измерялось одно и то же. В результате мы получили, что среднее одной выборки, x больше среднего другой выборки y, x > y. Возникает естественный вопрос, случайно это превышение или нет,

139

не означает ли оно, что на самом деле в двух сериях экспериментов мы измеряли разные характеристики.

Пример из истории химии.

Двумя способами измерялся удельный вес воздуха. В первой серии экспериментов воздух фиксированного объема воздух сжижался и после этого взвешивался, были получены числа (x1; :::; xn). Во второй серии отдельные химические вещества в воздухе измерялись благодаря участию в химических реакциях и их вес складывался. Таким образом были получены числа (y1; :::; yk). В итоге выяснилось, что x y = " > 0. Не означает ли это, что в воздухе присутствуют вещества, не вступающие в химические реакции? В дальнейшем такие вещества были открыты, это инертные газы. Итак, возникает вопрос: чему равна вероятность Pfx y "g, где " вычислена раньше из двух конкретных выборок, полученных в результате конкретного эксперимента, а x и y средние произвольных случайных выборок? Если эта вероятность мала, то мы можем думать, что превышение x над y не случайно, и на самом деле среднее

mx = Exi > my = Eyi:

Но в вероятностной модели, в рамках которой мы считаем Pfx y > "g, мы предполагаем, что m = mx = my, 2 = Dxi = Dyi, случайные величины xi, yj независимые нормальные случайные величины с одними и теми же параметрами m, . Если в рамках такой модели вероятность Pfx y > "g будет мала, то будет естественно предположить, что модель не верна, а на самом деле mx > my. Все это проделал химик Стьюдент (псевдоним Госсета). К сожалению, у меня нет данных Стьюдента, но по-видимому, не все xi были больше всех yj. Иначе утверждение mx > my стало бы очевидным и без использования критерия Стьюдента. Как и при построении доверительного интервала для среднего при неизвестной дисперсии, число " будет случайным. Точнее, малое событие имеет вид

Оказалось, что при некотором выборе константы C(m; k) случайная величина

имеет распределение Стьюдента с параметром n + k 2, то есть распределение случайной величины

в частности, распределение этой величины не зависит от параметров m и , а число может быть найдено по таблице распределения случайной величины tn+k 2. Для доказательства используются простые выкладки, к которым мы уже привыкли.

t

140