дов

Часть 4. МАТЕМАТИЧЕСКАЯ СТАТИСТИКА

Введение

Задача математической статистики по результатам нескольких экспериментов (или наблюдений) максимально точно восстановить некоторые из условий проведения эксперимента. Ниже я приведу определение из авторитетного источника, но заучивать это определение не стоит.

Математическая статистика раздел математики, посвященный математическим методам сбора, систематизации, обработки и интерпретации статистических данных, а также использованию их для научных или практических выводов. Правила и процедуры математической статистики опираются на теорию вероятностей, позволяющую оценить точность и надежность выводов, получаемых в каждой задаче на основе имеющегося статистического материала.

Из статьи Математическая статистика. И.А. Ибрагимов, Ю.В. Прохоров, Н.Н. Ченцов, Д.М. Чибисов в энциклопедии "Вероятность и математическая статистика"(Изд-во БРЭ, 1999).

При работе с таблицами и доведения решения до числа часто используется термин p- квантиль распределения. Так называется функция, обратная к функции распределения, Если F функция распределения, то p-квантиль это такое число x, что F (x) = p. Причем p задаем мы сами (заказчик работы или преподаватель), а x используется для выработки ответа.

§16. Выборка.

1.Пример. Пусть имеется партия деталей из m деталей, содержащая m1 деталей 1-го сорта, m2 деталей 2-го сорта, m3 деталей 3-го сорта (m = m1 + m2 + m3). Эксперимент состоит в выборе (с возвращением) из m деталей n деталей и проверке их качества. В i-м эксперименте наблюдается число xi сорт i-й детали. Задача состоит в максимально точной оценке чисел m1, m2, m3. Очевидно, что для этой оценки мы имеет в нашем распоряжении лишь числа x1; x2; : : : ; xn, набор этих чисел называется выборкой из генеральной совокупности, генеральная совокупность в этом примере партия из m деталей. Очевидно, что хорошей оценкой чисел m1, m2, m3 являются числа n1(m=n); n2(m=n); n3(m=n), столь же очевидно, что эти числа как правило не равны числам m1, m2 , m3 (более того, эти числа могут быть дробными). Поэтому возникает вопрос о величине ошибки при нашей оценке, о вероятности ошибки.

2.Следуя статистической традиции, мы сохраним название выборка и в том случае, когда результаты экспериментов x1; x2; : : : ; xn получены по-другому, при этом под генеральной совокупностью будет пониматься множество всех возможных значений эксперимента с заданной на нем некоторой вероятностной мерой, вероятность нахождения результата эксперимента в некотором подмножестве генеральной совокупности равна вероятности данного подмножества. Описание указанной вероятности (или некоторых ее свойств) и является задачей математической статистики. Генеральная совокупность в такой обобщенной трактовке не обязательно конечное множество (она может быть равна N, R, R2 и т.д. с какими-то неизвестными нам вероятностями на подмножествах. Выборка принимает свои значения в генеральной совокупности). Почти везде мы будем считать, что генеральная совокупность множество вещественных чисел, на котором задана некоторая борелевская вероятность.

3.Выборочные характеристики.

С выборкой fx1; x2; : : : ; xng принято связывать ряд характеристик, которые называются эмпирическими или выборочными:

Эмпирическое распределение вероятность на R, которая получится, если каждому элементу выборки мы припишем одну и ту же вероятность, равную 1=n (единица, деленная на число элементов выборки), обозначаем эмпирическое распределение Pэ.

Эмпирическая функция распределения функция распределения эмпирического распределения, т.е.

112

fчисло xi , меньших данного xg

Fэ(x) = n для всех x.

Эмпирическое среднее:

Z

x = xdPэ(x) = x1 + x2 + : : : + xn : n

Эмпирическая дисперсия:

Обратите внимание на последнее равенство в ( ), которое мы будем использовать как тождество (следствие известного тождества

D = E 2 (E )2 = E( E )2

применительно к эмпирической вероятности).

Эмпирические характеристики имеют смысл и тогда, когда генеральная совокупность не одномерна. Пусть, например, выборка набор векторов f(x1; y1), (x2; y2): : :, (xn; yn)g, в этом случае эмпирическое распределение задано на R2 формулой Pэf(xi; yi)g = 1=n для всех i n, точно так же определяются x = x1 + x2 +n : : : + xn , y , s2x и s2y, в этом случае вводится эмпирический коэффициент корреляции

n

1 X

n

(xi x)(yi y)

и т.д.

Упражнение. Запишите формулу для вычисления по выборке fx1; x2; : : : ; xng эмпирического третьего момента и эмпирического четвертого центрального момента.

Упражнение. Придумайте конкретную выборку, состоящую из четырех чисел, постройте по ней эмпирическую функцию распределения, вычислите x и s2x.

§17. Вероятностная и статистическая модели

Обозначим через Pист истинное распределение вероятностей на данной одномерной генеральной совокупности, наша задача как-то, используя результаты экспериментов x1; x2; : : : ; xn, приблизить Fист. Стандартный прием (если мы знаем, что результатом эксперимента может быть любое вещественное число) нарисовать эмпирическую функцию распределения Fэ и сгладить ее, используя лекала. Очень давно статистики-практики так и поступали. Недостатки этого приема (методом его назвать трудно) очевидны необоснованность выводов, необходимость большого числа наблюдений (иначе эмпирическая функция распределения будет иметь слишком большие разрывы). Бывают случаи, когда в распоряжении статистика по-существу нет иного приема. Ситуация существенно улучшается, если статистик имеет некую априорную информацию о виде распределения Pист (например, что Pист – нормальное распределение, или экспоненциальное, или равномерное, или является распределением Бернулли, например, в примере в пункте 1 из условий задачи видно, что распределение Pист сосредоточено в точках f1; 2; 3g). В такой ситуации задача существенно облегчается, мы можем считать, что Pист принадлежит некоторому классу распределений P, который называется вероятностной моделью решаемой статистической задачи.

1. Примеры вероятностных моделей.

Нормальная модель P = fPm; g, где Pm; нормальное распределение с параметрами m и , эта модель задается набором плотностей распределений

113

Модель Пуассона

P fkg = e k ; k = 0; 1; 2; ::::

k!

Модель Бернулли

Ppf1g = p; Ppf0g = 1 p:

Другие модели (некоторые из них представляют большой практический интерес) в курсе не рассматривается.

В рамках используемой нами вероятностной модели результаты наблюдений x1; x2; : : : ; xn интерпретируются как наблюдения n независимых одинаково распределенных случайных величин, причем их одинаковое распределение есть P = Pист и оно нам неизвестно, но известно, что оно принадлежит данному классу P. При этих предположениях по данному P можно построить совместное распределение P(n) случайных величин x1; x2; : : : ; xn, заданное на пространстве Rn. Напомним, что если x1; x2; : : : ; xn случайные величины, имеющие одинаковую плотность p, то их совместная функция плотности равна

p(n)(x1; x2; : : : ; xn) = p(x1)p(x2) : : : p(xn); xi 2 R:

Итак, по вероятностной модели P строится класс распределений на n-мерном пространстве

P(n) = fP (n) : P 2 Pg, который называется статистической моделью.

2. Примеры статистических моделей.

Нормальная статистическая модель задается классом плотностей

где m пробегает R, а (0; 1).

Пуассоновская статистическая модель задается классом распределений

где пробегает (0; 1).

Модель Бернулли задается классом распределений

nn

P P

P(pn)f 1; 2; : : : ; ng = pi=1 i (1 p)i=1(1 i); i 2 f0; 1g;

где p пробегает все числа в (0,1).

Упражнение. Постройте равномерную, экспоненциальную, Коши статистические модели. Использование вероятностной и статистической модели позволяет придать точный смысл понятию ’вероятность ошибки’, оценивать качества различных статистических критериев. В

114

дальнейшем делать статистические выводы мы будем в рамках той или иной вероятностностатистической модели. При этом, конечно же, возникает опасность ошибиться в выборе модели (что приведет к неправильным статистическим выводам). В простейшей ситуации, когда результаты наблюдений могут принимать лишь два значения 0 или 1, такой опасности нет, однозначно выбирается модель Бернулли, в более сложных ситуациях правильность выбора модели зависит от искусства статистика, его опыта, кроме того, математическая статистика предлагает методы проверки правильности выбора модели.

3. Параметрические модели. Все рассмотренные выше модели входят в класс параметрических моделей, параметрическая модель имеет вид P = fP : 2 g, где пробегает некоторое множество значений параметра (не обязательно R), если множество двумерно или трехмерно, то модель называется двухпараметрической или трехпараметрической.

Упражнение. Указать, какие из построенных моделей являются однопараметрическими, и какие двухпараметрическими.

Замечание. В более сложных задачах могут использоваться и более сложные вероятностные модели. Например, если генеральная совокупность является двумерной, то и вероятностная модель состоит из распределений вероятностей на R2, в этом случае статистическая модель состоит из распределений на R2n.

4. Статистики.

Статистикой называется любое измеримое отображение T из пространства выборок в R. Примеры статистик:

T (x1; x2; : : : ; xn) = xi; T (x1; x2; : : : ; xn) = x; s2; max(x1; x2; : : : ; xn)

и т.д.

Обозначение: E T = R T (x1; x2; : : : ; xn)dP (n)(x1; x2; : : : ; xn).

Так как x1; x2; : : : ; xn рассматриваются нами в рамках вероятностной модели как независимые одинаково распределенные случайные величины, распределение которых неизвестно, но принадлежит классу P, то T (x1; x2; : : : ; xn) как функция случайных величин, также является случайной величиной, распределение которой принадлежит некоторому классу, который строится по классу P. В случае параметрической модели fP g 2 используется обозначение P ;T распределение статистики T при условии, что значение параметра равно . Одной из предварительно решаемых задач при статистическом выводе является вывод распределений используемых нами статистик (разумеется, для всех возможных значений параметра).

Упражнение. a) Покажите, что распределение статистики

T (x1; x2; : : : ; xn) = (x1 x2)=(x3 x4)

не зависит от значений параметров m и в нормальной модели. b) Найдите распределение этой статистики.

5. Основные задачи математической статистики.

1)Задача оценки параметра в рамках параметрической вероятностной модели.

2)Задача сравнения двух гипотез (т.е. каждая из гипотез означает свою вероятностную модель P1 или P2, нужно сделать выбор между этими моделями).

3)Задача проверки гипотезы (т.е., дана вероятностная модель P, мы должны проверить, согласуются ли результаты эксперимента с этой моделью).

Возможны и другие задачи.

Давайте еще раз сформулируем, что такое вероятностная модель, и что такое – статистическая модель. Это будет не математическое, а словесное определение.

Итак, вероятностная модель это класс вероятностных распределений на пространстве возможных результатов наблюдений. Статистическая модель это класс распределений на пространстве выборок, который строится по вероятностной модели в предположении независимости и одинаковости экспериментов. Как мы уже видели, пространство в статистической

115

модели это n-я степень пространства в вероятностной модели, а вероятность в статистической модели получается из соответствующей вероятности в вероятностной модели по правилу произведения одинаковых функций, но взятых в разных точках области определения.

Не всегда вероятностная модель R, а статистическая Rn. Выборки могут быть и многомерными, например, в двумерном случае пространство выборок имеет вид R2 n. В статистике случайных процессов, если траектории непрерывны, то результаты наблюдений элементы пространства непрерывных функций с известной вам равномерной нормой супремума. А если траектории процесса разрывны, то для пространства результатов наблюдений используется метрика Скорохода, в которой функции с одинаковыми разрывами в близкие моменты времени считаются близкими.

Наконец, пространство результатов наблюдений состоит из двух точек (как правило, это f0; 1g) в случае наблюдения в каждом эксперименте одного и того же события A. Мы считаем результат эксперимента равным 1, если событие A произошло, и равным 0, если оно не произошло.

Заметим, что решение задачи 2) сравнения гипотез используется для задачи проверки гипотезы в ситуации, когда этой гипотезе сопоставляется некая альтернатива.

Для решения этих задач используются специально подобранные статистики. Они сами являются случайными величинами и имеют распределение в условиях фиксированной вероятностной модели. Важнейшей общей задачей математической статистики является нахождение распределения статистики. В условиях параметрической модели для задачи проверки гипотезы особый интерес представляют статистики, распределение которых не зависит от неизвестного нам значения параметра . В задаче оценивания параметра статистика должна предоставлять информацию о параметре, поэтому ее распределение наоборот должно зависеть от выбора параметра модели, однако желательно наличие функции, f(T; ), используемой статистики и параметра, распределение которой не зависит от параметра. Обо всем этом мы поговорим в дальнейшем.

§18. Оценка параметров

1. Оценкой параметра в параметрической модели fP g 2 называется измеримое отображение пространстве выборок в множество параметров. В простейшей ситуации, когда наблюдения являются одномерными, а множество параметров содержится в R, это некоторая статистика

^n !

: R :

^

Оценкой можно назвать любую, в том числе и самую неразумную функцию (например, (x1; x2; : : : ; xn) =0, т.е. не зависит от результатов наблюдений). Ниже мы введем свойства оценок, наличие которых делают оценки разумными.

2. Несмещенная оценка. Мы приведем два определения несмещенной оценки, если вдуматься в смысл этих определений, это одно и то же.

^

Определение 1. Оценка называется несмещенной, если ее среднее значение совпадает

^

с истинным значением параметра E = ист.

^

Замечание 1. Напомним (см. лекцию 1, п . 6), что случайная величина, функция независимых одинаково распределенных случайных величин xi.

0 ^

Определение 1 . Оценка называется несмещенной, если для любого возможного значе-

ZZ

116

.

2) для дискретной модели оно означает

Оба определения по-существу эквивалентны. Действительно, как не зная ист истинного

^

значения параметра, мы можем проверить, что E = ист. Только проверив справедливость равенства (*) для всех , мы будем знать, что (*) будет справедливо и для ист.

Замечание 2. Утверждение о несмещенности оценки интересно лишь при условии адекватности принятой нами вероятностной модели. Вполне возможна такая ситуация, что справед-

f g f ~ g

лива не модель P 2 , а какая то другая модель P 2 с тем же множеством параметров),

^ f g

и данная статистика является несмещенной оценкой для модели P , но не является несме-

f ~ gg

щенной оценкой для модели P , т.е.

ZZ

Итак, несмещенная оценка среднего случайных величин xi. Поэтому x может служить несмещенной оценкой параметра, если в данной вероятностной модели параметр совпадает со средним распределения. Таким образом, функция является несмещенной оценкой для многих моделей. В частности, в нормальной модели

Z

m = xdPm; (x);

в модели Бернулли

Z

p = xdPp(x);

в пуассоновской модели

Z

= xdP (x)

(проверьте это непосредственным вычислением n-кратных интегралов!), таким образом, x несмещенная оценка параметра m в нормальной модели, параметра p в модели Бернулли, параметра в модели Пуассона.

4. Несмещенная оценка дисперсии. Сначала вычислим среднее эмпирической дисперсии (не будет ли эмпирическая дисперсия несмещенной оценкой дисперсии так же как эмпирическое среднее x несмещенная оценка среднего). Здесь как и в дальнейшем будет применяться тождество ( ):

117

Итак, (m = Exi)

Мы видим, что s2 не является несмещенной оценкой дисперсии, однако несмещенной оценкой дисперсии является величина

параметра !).

Замечание. Итак, x несмещенная оценка среднего, в любой модели, в которой среднее является параметром, x является несмещенной оценкой этого параметра (например, параметра m в нормальной модели, параметра lambda в модели Пуассона и т. д.). Точно так же, S2 = nn 1 s2 является несмещенной оценкой параметра, если этот параметр является дисперсией в соответствующей модели, например, параметра 2 в нормальной модели. Вспомним, что в модели Пуассона параметр является не только средним, но и дисперсией. Давайте проверим еще раз это утверждение, но используя характеристическую функцию распределения Пуассона. Напомню сначала, что '0 (0) = iE , '00(0) = E 2. Имеем для распределения

Пуассона:

' (t) = e (eit 1); '0 (t) = i eit 1 e (eit 1):

Поэтому '0 (0) = i , '00(0) = 2. Отсюда немедленно следует наше утверждение. Итак, какая оценка, x или S2, лучше для оценки параметра .

5. Эффективная оценка.

^

Определение. Несмещенная оценка параметра называется эффективной, если для

^

любого дисперсия минимальна в классе всех несмещенных оценок (другими словами, для

Обсудим это определение. Дисперсия это ’мера отклонения случайной величины от своего среднего’ (см. Курс теории вероятностей), а так как среднее несмещенной оценки совпадает (по ее определению) с истинным значением параметра, то эффективная оценка это оценка, наименее отклоняющаяся от истинного значения параметра, и это должно быть верно при любом значении параметра.

Замечание. Уменьшение дисперсии оценки без требования несмещенности бессмысленно.

^

Возьмем, например, постоянную оценку 0, ее дисперсия минимальна, равна нулю, но что это дает.

Существование эффективных оценок факт еще более неожиданный, чем существование несмещенных оценок. На первый взгляд, даже построив эффективную оценку, мы не сможем доказать ее эффективность, сравнить ее со всеми несмещенными оценками (как их все рассмотреть). Тем не менее, в некоторых случаях это удается осуществить благодаря неравенству Рао Крамера.

118

^

Теорема. (Неравенство Рао Крамера). Пусть несмещенная оценка параметра . Тогда при выполнении ряда дополнительных условий (которые накладываются по ходу доказательства и читатель может восстановить самостоятельно) справедливо следующее неравенство:

Условия, которые нужны для формулировки (***), очевидны: существование плотности у распределения P для всех , более того, непрерывность и дифференцируемость функции

^

плотности как функции при любом фиксированном x, существование дисперсии оценки для всех 2 . Неравенство Рао Крамера имеет место и для дискретной модели, когда распределение P дискретно для всех и сосредоточено на одном и том же для всех счетном (или конечном) подмножестве R. Как и в случае непрерывного типа распределения, вероятность должна дифференцироваться по параметру и должна иметь смысл правая часть в неравенстве Рао Крамера.

Доказательство теоремы. Из определения несмещенности следует

По определению плотности

Продифференцируем равенства (1) и (2) по . Будем считать, что дифференцирование интегралов по параметру можно осуществить под знаком интеграла (это еще одно дополнительное условие). Имеем:

Производная плотности не является плотностью вероятности. А в неравенстве Рао Крамера мы имеем характеристики случайных величин, то есть интегралы по вероятностям. Чтобы привести (3) к такому виду, перепишем равенство (3) следующим образом:

Равенство (5) мы интерпретируем как интегрирование по мере p(n) произведения двух функций

119

мы имеем:

8 2 , из чего немедленно следует неравенство Рао Крамера, так как

ZZ

Замечание. Итак, чтобы проверить эффективность некоторой оценки, достаточно проверить для всех равенство в неравенстве Рао Крамера. Сделаем это для оценки x параметра m в нормальной модели. Вычислим отдельно левую и правую часть в (***). (По прежнему результаты наблюдений xi предполагаются независимыми, и это мы сейчас используем для упрощения выкладок в данной задаче (прием бывает полезен и для других моделей и других параметров). А именно, для независимых случайных величин дисперсия суммы равна сумме дисперсий. Поэтому удобно представить среднее квадрата суммы как дисперсию суммы, для чего достаточно проверить равенство нулю среднего суммы.) Имеем

что и требовалось.

Упражнение. Докажите эффективность оценки x для параметра p в модели Бернулли и для параметра в модели Пуассона. Для этого докажите аналог неравенства Рао Крамера для случая, когда распределение P дискретно для всех и сосредоточено на одном и том же для всех счетном (или конечном) подмножестве R. Таким, в частности, является случай модели Бернулли и модели Пуассона.

Пример. Далее мы покажем, что оценка x не для любой модели является эффективной оценкой среднего. Рассмотрим равномерную модель, в ней число m середина интервала, на котором сосредоточено равномерное распределение, является средним значением. Действительно,

120