дов

Тем не менее, x не является эффективной оценкой m, значительно меньше дисперсия следую-

щей оценки:

max xi + min xi : 2

(Читателю рекомендуется самостоятельно вычислить среднее максимума и минимума и проверить, что оценка m^ несмещенная оценка параметра m. Впрочем, в этом можно убедиться и используя соображение симметрии. Действительно, преобразование (xi) ! (2m xi), полученное покоординатным применением преобразования x ! 2m x, не меняет распределение в пространстве выборок, и не меняет m^ . Следовательно, при этом преобразовании не должно меняться и среднее оценки m^ . Но единственное число, остающееся на месте при преобразовании x ! 2m x это m.)

Далее мы воспользуемся следующим очевидным неравенством:

Вычислим дисперсию случайной величины max xi. Удобнее вместо случайных величин xi рассмотреть случайные величины yi = (xi m+ )=2 , которые имеют равномерное распределение на отрезке [0; 1]. Имеем: Fmax yi (x) = Pfmax yi < xg = Pfy1 < x; y2 < x; : : : ; yn < xg = xn для x 2 [0; 1]. Поэтому

Итак, для равномерного распределения оценка m^ значительно лучше чем x. Отметим, что доказательство неравенства Рао Крамера в случае равномерной модели не проходит, функция плотности принимает лишь два значения и меняется скачком, т.е. недифференцируема.

6. Оценка максимального правдоподобия. Оценка максимального правдоподобия определяется в случае, когда P имеет плотность распределения (а также в дискретном случае). Эта оценка задается равенством

(x1; x2; : : : ; xn) = f : p(n)(x1; x2; : : : ; xn) = max p(n)(x1; x2; : : : ; xn)g;

т.е. в качестве оценки параметра берется тот элемент (x1; : : : ; xn) из множества параметров, что для = значение плотности

максимально. Аналогично (вместо плотности берется вероятность точки) определяется оценка максимального правдоподобия в случае, когда используется модель с дискретными распределениями P fxig, тогда ищется , для которого достигается максимум вероятности (а не плотности вероятности).

121

Замечание. При больших n вероятность, входящая в (****), может быть очень мала (в случае модели с плотностью вероятности вероятность точки просто равна нулю ), тем не менее, и это удивительно, выбор максимума из очень маленьких вероятностей при разных приводит к хорошей оценке:

^

Теорема. Если существует эффективная оценка , для которой достигается равенство в (***) (в условиях неравенства Рао Крамера), то эта оценка является оценкой максимального правдоподобия.

Доказательство. В доказательстве неравенства Рао Крамера используется неравенство Коши Буняковского, вспомним, что в этом неравенстве равенство достигается лишь в случае пропорциональности двух сомножителей под знаком среднего, итак,

для всех 2 и всех x1; x2; : : : ; xn.

Подставим в (10) вместо оценку максимального правдоподобия (x1; x2; : : : ; xn) для данных x1; x2; : : : ; xn. Так как ln монотонная функция, то ln p(n) также достигает максимума при = , но тогда производная

@ln p(n)(x1; : : : :; xn) = 0 при = (x1; x2; : : : ; xn); @

поэтому

^

(x1; x2; : : : ; xn) = (x1; x2; : : : ; xn):

Алгоритм нахождения эффективной оценки. 1) Найти оценку максимального правдоподобия, приравняв производную по параметру от логарифма функции правдоподобия нулю. 2) Проверить, что эта оценка является непсмещенной. 3) Проверить, что для дисперсии этой оценки и для среднего квадрата производной от логарифма функции правдоподобия выполняется равенство в неравенстве Рао Крамера.

Пример для нормальной модели.

1) Оценка параметра m. Дифференцируем вычисленную выше производную логарифма функции правдоподобия и приравниваем нулю.

Получаем m = x. Операции 2) и 3) мы проделали раньше. Заметим, что наш результат не зависит от неизвестного нам параметра .

2) Оценка параметра 2.

X

n (xi m)2

(n=2 2) + 1=2 = 0: ( )

4

i=1

n

2 = n1 X(xi m)2:

i=1

В этой задаче результат, к сожалению, зависит от неизвестного нам параметра m. Вывод, эффективная оценка может существовать лишь при известном m = m0 и нужно проверить оценку

n

1 X(xi m0)2: n

i=1

122

Легко проверяется, что среднее этой оценки равно 2 (в модели N(m0; )). Теперь вычислим дисперсию этой оценки.

Теперь считаем знаменатель правой части в неравенстве Рао Крамера. Производную уже сосчитали. Надо вычислить

Опять воспользуемся идеей сведения среднего квадрата к дисперсии. Легко проверяется, что

X

n (xi m)2

!

E (n=2 2) + 1=2 = 0:4

i=1

Поэтому среднее квадрата равно

Еще один пример оценки максимального правдоподобия. Рассматривается равномерная модель p (x) = 1 I[0; ](x). В этой модели равномерное распределение задано на отрезке [0; ], нужно оценить длину отрезка . Ясно, что если результаты наблюдения числа x1, x2,..., xn, то maxfxig. Оценка максимального правдоподобия равна maxfxig, так как при = maxfxig значение функции

n

7. Состоятельная оценка.

Во многих задачах оценка как функция n переменных задается формулой, имеющей смысл для любого n. Более того, в сколь-нибудь общей теории оценок бессмысленно строить ее лишь для некоторого фиксированного числа наблюдений. Итак, мы имеем полное право трактовать

задана на своем пространстве выборок Rn, при этой трактовке каждому n соответствует неко-

го ) или, что то же (см. теорему о совпадении слабой сходимости и сходимости по вероятности в случае постоянства предельной случайной величины), если

сл

P ^( ! 8 2 ;

; n)

где вероятность, сосредоточенная в точке , f g = 1. Заметим, что в терминах статистической модели мы должны предположить стремление размерности пространства выборок

123

как эти случайные величины заданы на разных вероятностных пространств. Но говорить о слабой сходимости распределений этих оценок мы имеем право, так как эти распределения заданы на одном пространстве параметров.

Теорема. Оценка x является состоятельной оценкой параметра m нормального распределения.

Замечание. И в других моделях, где параметр является средним распределения с параметром , x является состоятельной оценкой параметра (в частности, x состоятельная оценка параметра p в модели Бернулли и параметра в модели Пуассона).

Упражнение 1 (обязательное). Разобраться в примечании. Из какой теоремы это следует? Упражнение 2 (обязательное). Доказать, что S2 состоятельная оценка дисперсии 2 в нормальной модели. [Указание. Если имеет нормальное распределение с параметрами 0 и, то E 4 = 3!! 4 = 3 4.] Будет ли состоятельной оценкой дисперсии в нормальной модели оценка s2? Можно ли утверждать, что S2 является состоятельной оценкой параметра , если

этот параметр совпадает с дисперсией в нашей модели?

Упражнение 3. Рассмотрим модель Коши, заданную набором распределений с плотностями

2 a 2 , a > 0. Доказать, что x не является состоятельной оценкой параметра

[a (x ) + 1]

. [Указание. Используя характеристическую функцию распределения Коши, вычислить характеристическую функцию распределения случайной величины x, доказать, что это распределение не зависит от n]. [Решение. Искомая характеристическая имеет вид 'xk (t) = eia tjatj

для всех k. Поэтому

'x(t) = ('x1 (t=n))n = 'x1 (t);

то есть никакой сходимости к константе мы не имеем.] Разумеется, в этой модели параметр не является средним, но находится посередине распределения, является медианой. Покажите, что медиана эмпирического распределения сходится к .

Следующая теорема указывает общий путь получения состоятельных оценкок в нетривиальных ситуациях.

8. Теорема. Оценка максимального правдоподобия является состоятельной оценкой. Мы будем считать, что распределения P нашей модели имеют непрерывный тип.

При этом на модель fP g 2 накладываются следующие условия (можно их не помнить, они сами возникнут):

1)плотности p (задаваемые с точностью до множества лебеговой меры нуль) могут быть заданы так, что множества fp 6= 0g не зависят от ;

2)при всех возможных выборках fx1; x2; : : : ; xng функция ! p(n)(x1; :::; xn) имеет един-

ственный локальный максимум.

^

Этот максимум, который мы обозначим , и называется (напомним это) оценкой максимального правдоподобия.

Заметим, что нарушение условия 1) может даже облегчить ситуацию если результат

Введенное выше условие позволяет заменить событие в формуле на меньшее:

124

Действительно, если значения на границе интервала строго меньше значений на середине, то в данном интервале имеется локальный максимум, который, согласно допущению, является оценкой максимального правдоподобия. Обратная импликация, вообще говоря, неверна.

Итак, достаточно доказать две сходимости:

P(n)f(x1; :::; xn) : p(n)(x1; :::; xn) > p(n)"(x1; :::; xn)g ! 1;

P(n)f(x1; :::; xn) : p(n)(x1; :::; xn) > p(n+)"(x1; :::; xn)g ! 1:

Оба соотношения доказываются одинаково, мы докажем только второе. Запишем событие другим способом:

перь xi это случайные величины, а не результаты наблюдений) независимы как функции независимых случайных величин xi. Поэтому мы левую часть определяющего событие соотно-

шения заранее разделелили на n. Предположим дополнительно, что E ln p +"(xi) существует. p (xi)

Если мы докажем, что это среднее строго отрицательно, то из слабого закона больших чисел (но в условиях Колмогорова, в предположении существования лишь среднего, см. раздел ’Ха-

строго отрицательному числу. Но тогда при n ! 1 вероятность интересующегося нас события будет сходиться к 1. Переходим к доказательству нужного неравенства

Мы воспользуемся нужным нам и в дальнейшем неравенством выпуклости для среднего. Лемма. (Неравенство для выпуклых функций.) Если g строго выпуклая функция, то для

любой случайной величины , для которой правая и левая части в (1) имеют смысл, имеет место неравенство

причем равенство достигается лишь в случае константы .

Мы не будем давать здесь подробного доказательства, но постараемся объяснить, почему неравенство (1) верно.

Оно верно в случае двузначной случайной величины : P fx1g = p, P fx2g = 1 p:

Eg( ) = pg(x1) + (1 p)g(x2) g(px1 + (1 p)x2) = g(E );

где неравенство является определением выпуклости. Методом математической индукции легко доказывается неравенство для со значениями в любом конечном множестве fx1; :::xng:

X

p1g(x1) + ::: + png(xn) g(p1x1 + ::: + pnxn); pi 0; pi = 1:

i

Переходом к пределу и использованием непрерывности получается неравенство для бесконечных сумм

11 !

125

Последнее неравенство означает (1) для дискретных случайных величин, для которых все ряды сходятся. Так как любая случайная величина является равномерным пределом дискретных случайных величин, переходом к пределу в (2) для случайных величин, мы получаем (1) в общем случае.

Заметим, что во всех этих равенствах при строгой выпуклости g, ненулевых значениях pi и различных xi и равенства быть не может. Верно и более общее утверждение, что равенство невозможно при строгой выпуклости g и случайной величине , не равной константе.

Можно убедиться в справедливости неравенства выпуклости и из геометрических соображений. Для этого удобно рассмотреть случайный вектор ( ; g( )). Распределение этого вектора лежит на выпуклой кривой f(x; y) : y = g(x)g, а среднее (E ; Eg( )) находится в выпуклой области, лежащей над этой кривой, это очевидно из механических соображений, среднее является центром тяжести. Но тогда Eg( ) будет выше на графике чем g(E ).

Замечание. Для строго вогнутой функции ln из леммы следует справедливость обратного неравенства:

Сейчас мы это используем.

Любую случайную величину мы можем представить в виде суммы неположительной и неотрицательной случайных величин:

= + + ; где + = maxf ; 0g; = minf ; 0g:

Случайная величина интегрируема тогда и только тогда, когда E + < 1, E > 1. Но возможны другие варианты: E + < 1, E неинтегрируема, тогда мы считаем, что E =1, или E > 1, E + неинтегрируема, тогда мы считаем, что E = 1. Но E не имеет никакого смысла, если оба интеграла не существуют. (Заметим, что мы только что перебрали

Так как наша случайная величина не принимает значений 1, нам достаточно доказать, что для любых Cn % 1, Dn & 1,

"#

"#

D<ln p +"(x) <0

p (x)

126

в принципе может быть сколь угодно большим для больших jDj, но это число всегда конечно (интеграл по вероятностной мере по функции, которая не превосходит jDj). В то же время, если неверно (3) и интеграл равен 1, то

Поэтому по любой последовательности Dn & 1 можно выбрать такую быстро сходящуюся последовательность Cn % 1 , что

и тогда (4) будет неверно.) Дальше мы будем считать последовательности Cn % 1, Dn & 1 произвольными и для упрощения обозначений мы введем последовательность множеств

На множестве An функции p и p +" не обязаны быть плотностями, эту ситуацию нужно исправить. Обозначим

ZZ

и пронормируем функции так, что они станут функциями плотности на An:

Очевидно, что n ! 0, n ! 0. Как и выше, доказывается, что

An

В то же время

Итак, n никак не может сходится к +1, так как ~n неположительна, (1 n) неотрицательна, разность логарифмов сходится к 0, а интеграл ограничен 1.

127

Завершая наши рассуждения, заметим, что закон больших чисел Колмогорова для независимых одинаково распределенных случайных величин n легко переписывается на случай среднего значения n, равного 1 (тогда интеграл от положительной части n фиксированное положительное число). Действительно, в этом случае мы представляем n = n + n, где новые случайные величины также одинаково распределены и независимы при разных n,n < 0, а случайные величины n имеют среднее, но это среднее может быть сделано (при соответствующем выборе разложения n) сколь угодно маленьким (меньше N). Чтобы этого достигнуть, мы можем добавить к положительной части достаточно большую долю отрицательной части (это возможно, так как интеграл от отрицательной части сходится к 1).

С вероятностью 1

для всех N. Итак, с вероятностью 1 усредненные суммы для i сходятся к 1. Комментарий. В завершение параграфа я объясню целесообразность введения понятия со-

стоятельной оценки. Рассмотрим, для примера, нормальную модель. x эффективная оценка параметра m. Но в то же время утверждать, что x точно равно m, мы можем лишь с нулевой вероятностью. Это следует из непрерывности распределения x. Практикам хочется большей определенности, пусть даже за счет отказа от точности нашей оценки. Немного размыв нашу оценку, мы можем заменить неприятное утверждение

Pfm = xg = 0

на весьма привлекательное утверждение

Pfm 2 (x "; x ")g ! 1:

При больших n мы можем доверять утверждению m 2 (x "; x ") с вероятностью, близкой к 1. Это подводит нас к понятию доверительного интервала.

Вопрос. Выполняются ли условия теоремы в модели Коши? Очевидно, что в случае лишь одного наблюдения выполняются. Но что будет в многомерном случае? Рассмотрите случай двух наблюдений.

Замечание. Простой пример, в котором условия теоремы не выполняются, это равномерная модель с фиксированной длиной интервала и меняющейся серединой интервала m. Ясно, что множества нулевой плотности для разных m разные, поэтому 1) неверно. Впрочем, и 2) также не выполняется.

9. Некоторые универсальные оценки параметра

В этом пункте мы рассмотрим некоторые алгоритмы оценивания параметра, применимые сразу для многих или даже для всех моделей.

Оценка максимального правдоподобия. Метод моментов.

Метод минимума 2.

Группировка данных и поправки Шеппарда.

§19. Доверительные интервалы

В прошлой лекции было введено понятие оценки, рассматривались наилучшие оценки, тем не менее, даже самые хорошие оценки параметра для практиков не всегда приемлемы. Дей-

^

ствительно, им недостаточно утверждения ’ близко к истинному значению параметра ’, а

^

хотелось бы утверждение типа ’ равно истинному значению параметра ’ что, как правило, неверно, а в случае модели с непрерывным множеством значений параметра , равенство

^

= ист может выполняться только с вероятностью 0 (проверьте это для нормальной модели). Поэтому практики готовы пожертвовать точностью оценки, придать ей более расплывчатый характер, но зато усилить достоверность этой расплывчатой оценки.

128

1. Определение. Доверительным интервалом для параметра (в модели fP g, 2 ) служит интервал

здесь доверительный уровень - число между нулем и единицей (разумеется, близкое к 1), которое задается заказчиком вашей статистической разработки.

Замечание 1. Как и в определении несмещенной или эффективной оценки, мы добиваемся цели - достоверности оценки для вероятности при неизвестном нам значении параметра =ист благодаря требованию справедливости этого неравенства для всех возможных значений

Замечание 3. Обычно в основе определения доверительного интервала служит некоторая статистика функция T на пространстве выборок Rn такая, что распределение некоторого простого преобразования T , использующего параметр (обычно это сложение, деление, умножение или вычитание) не зависит от неизвестного нам значения параметра . Как правило, распределение этой величины f(T; ) отражено в математических таблицах. Итак, если распределение f(T; ) не зависит от и равно Q, то доверительный интервал строится следующим образом: сначала выбираются такие a1 и a2, что

P(n)f(xi) : a1 < f(T; ) < a2g = Qfx : a1 < x < a2g = 8 2 ;

далее неравенства a1 < f(T; ) < a2 решаются относительно . Можно сказать так, что сначала доверительный интервал выбирается на области значений f(T; ), в результате чего достигается равенство а после простыми преобразованиями переносится на область значений параметров. Заметим также, что в рассмотренных нами ниже задачах для нормальной модели N(m; ) распределение f(T; ) будет стандартным нормальным, распределением Стьюдента или 2. Сначала мы покажем, что f(T; ) функция независимых стандартных нормальных случайных величин xi m , в потом докажем, что ее распределение является табличным.

2. Доверительные интервалы в нормальной модели.

Напомним, что нормальная вероятностная модель задается набором распределений с функцией плотности

нормальная статистическая модель задается набором n-мерных распределений с функцией плотности

Здесь m пробегает всю числовую прямую, множество всех положительных чисел. Пример. Хорошо известно, что результат измерения расстояния имеет нормальное распре-

деление, при этом, если нет систематической ошибки измерения, то m это искомое расстояние, характеризует ошибку измерения. Обычно интересует либо то, либо другое: либо мы

129

хотим знать расстояние (и для нас несущественна точность прибора, ее мы определять не хотим, хотя она конечно должна повлиять на длину доверительного интервала для m), если нас интересует прибор, то, конечно же, нам не важно расстояние, мы занимаемся только исследованием прибора. Итак, возникают четыре статистические задачи при оценивании параметров нормального распределения: 1) оценка среднего при известной дисперсии, 2) оценка среднего при неизвестной дисперсии, 3) оценка дисперсии при известном среднем, 4) оценка дисперсии при неизвестном среднем.,

Задача 1. Оценка среднего при известной дисперсии 2.

Так как xi независимые нормальные N(m; 0) случайные величины, то x1 + x2 + : : : + xn нормальна N(nm; n1=2 0) (см. устойчивость нормального распределения в разделе характеристическая функция), поэтому x имеет параметры N(m; n 1=2 0), случайная величина n1=2(x m)= 0 имеет распределение стандартное N(0; 1). Пусть теперь нам нужно построить доверительный интервал для m с доверительным уровнем = 0:9. Ищем такое " , что для случайной величины = n1=2(x m)= 0, имеющей стандартное распределение N(0; 1), справедливо равенство

Pfj j " g = 0; 9:

Так как распределение симметрично, то Pf > tg = Pf < tg для всех t, находим по таблице стандартного нормального распределения (функция распределения обычно обозначается через) такое " , что

Легко видеть, что " = 1:65: Итак,

Pfjn1=2(x m)= 0j 1:65g = 0:9:

Разрешая это неравенство относительно m, получаем доверительный интервал для m: m 2

(x ( 0=n1=2)1:65; x + ( 0=n1=2)1:65).

Замечание 1. Иногда представляет интерес доверительный интервал, у которого один конец равен +1 или 1. В данном случае доверительный интервал ( 1; x + ( 0=n1=2)1:65) будет давать доверительный уровень не 0:9, а 0; 95.

Замечание 2. Иногда заказчик может сам задать длину доверительного интервала и доверительный уровень. Вы тогда, зная 0, можете определить необходимое число наблюдений.

Пример. При определении глубины моря в заданной точке 0 = 20м, требуемый диаметр доверительного интервала равен 30 м (радиус = 15м), определить количество наблюдений, необходимых для построения доверительного интервала заданной длины и заданным доверительным уровнем = 0:9:

Решение. Решаем неравенство относительно n:

20n 1=21:65 15; n1=2 2:2; n 4:84:

Хотя это вряд ли разумно, можно последнее 5-е наблюдение проводить с вероятностью 0,84 (или не проводить с вероятностью 0,16), используя для принятия решения о проведении наблюдения датчик случайных чисел.

Задача 2. Оценка дисперсии 2 при известном среднем m0.

n

В этой задаче рассматривается статистика Sm2 0 = n1 P(xi m0)2 (это новое обозначение).

i=1

Мы так преобразуем случайную величину Sm2 0 , чтобы получилась новая, распределение которой не зависит от и более того, является табличным распределением 2n. Действительно, мы

130