книги / Эконометрика. Начальный курс

для любых чисел а < Ь.

Эта теорема объясняет ту исключительную роль, которую иг­ рает в теории вероятностей и прикладных вопросах нормальное распределение. Согласно ЦПТ, сумма большого числа случайных величин имеет приближенно нормальное распределение независи­ мо от индивидуального распределения слагаемых.

Сформулируем еще одну общую теорему, касающуюся сходи­ мости по вероятности. Предположим, что задано к последователь­ ностей случайных величин {Х£, n = 1,2,...}, j = 1,..., к> и чи­ словая функция g(x 1, . .. , X*.).

Теорема С луцкого. Пусть каждая из последовательностей {Х„} сходится по вероятности к константе-. plimn_ 00Xh = Cj, j = 1,...,&, и пусть функция g непрерывна в точке (ci,... ,с*).

Тогда p lim * .^ д(Х\ , ... , X*) = <7(сь ... , с*).

6.Основные понятия и задачи математической статистики

Случайном выборка. Последовательность наблюдений Хд,

. . . , Х п называется случайной выборкой объема п, если Хд,... , Х п

получены как независимые реализации некоторой случайной ве­

F(x)). С теоретико-вероятностной точки зрения случайная вы­ борка Хд,... , Х п может рассматриваться как последовательность независимых случайных величин, имеющих одно и то же распре­ деление F(x).

Выборочные ст ат ист ики. Пусть Х д,...,Х п — случайная выборка. С ней связаны следующие величины, называемые вы­ борочными статистиками:

t=l

1

п

выборочная дисперсия: Var(X) = s \ = Е ( * - Х ) 2; п —1 1=1

размах: d = max {ХЛ — min {ХЛ.

Если есть еще одна случайная выборка Yj,... , У,, то опреде­ ляются также:

выборочная ковариация:

Cov(X, У) = CXY = - Ц - £ ( X i - Х )(У - У); п —1 i=i

выборочный коэффициент корреляции: гху = -------• sxsy

То обстоятельство, что в формулах для выборочной дисперсии и ковариации присутствует множитель 1/(п - 1), а не 1/п, будет пояснено ниже.

Эти понятия легко обобщаются на случай многомерных на­ блюдений.

О ценивание параметров. Предположим, что распределение случайной величины X (генеральной совокупности) зависит от некоторого (возможно, многомерного) неизвестного параметра 0: F(x) = F(x\0), в € & С Rm. Общая задача оценивания заклю­ чается в получении каких-либо выводов о параметре в на основа­ нии наблюдений Х \ , ... ,Х„. Различают точечное и интервальное оценивание. Любая функция <рп: ТС1 —» 0 называется точенной оценкой (или^просто оценкой) параметра в. Часто используется обозначение в = <рп(Хi , ... , Хп). В русскоязычной литературе но статистике, как правило, одним и тем же термином «оценка» на­ зывают как функцию <рПу так и ее значение в для конкретных наблюдений Х \ .... , Х п. В английском языке эти объекты разли­ чают, называя <рп estimator, а величину в — estimate. Поэтому правильнее было бы называть функцию <рп методом оценивания, сохранив название «оценка» за величиной в, однако такая тер­

минология не является общепринятой. Заметим, что оценка, яв­ ляясь функцией случайных наблюдений, также есть случайная величина.

Множество Dn(Xi , . . . , X n) С в называется доверительным множеством с уровнем доверия 1 —а (или 100(1 —а)%-ным дове­ рительным множеством), если Р(0 € Dn{X\ , . . . , Х п)) = 1 —а, где 0 < а < 1. Часто это множество называют интервальной оцен­ кой параметра в с уровнем доверия 1—а. Термин «интервальная» связан с тем, что в случае одномерного параметра в качестве дове­ рительных множеств рассматриваются, как правило, интервалы.

Проверка гипот ез. Одной из традиционных задач статистики является проверка гипотез. Простейшая схема выглядит следую­ щим образом. Выдвигается основная, или нулевая, гипотеза о том, что неизвестный параметр принадлежит некоторому заданному подмножеству Zo С © и альтернативная гипотеза о том, что параметр принадлежит другому подмножеству Z\ С 0 . Обычно используются обозначения Но: В € Zo и Hj: В 6 Z\. Требуется на основании наблюдений X i , . . . , Х п принять (проверить) нулевую гипотезу Но или отвергнуть ее в пользу альтернативной гипотезы Н,.

Ниже мы более подробно рассмотрим задачи оценивания и проверки гипотез.

7.Оценивание параметров

Пусть В = <рп(Х 1, . .. , Х п) — некоторая оценка параметра В. Она называется несмещенной, если

при любом В € 0 . В (МС.13) математическое ожидание берется по распределению, порожденному функцией F(x ; В). Чтобы под­ черкнуть это, условие несмещенности часто записывают в виде Ее(#) = В. Выборочное среднее X является примером несме­ щенной оценки математического ожидания случайной величины X , определяющей генеральную совокупность. Действительно, по­

скольку Е(Х<) = т для каждого г, то из свойства Е1) следует, что Е(Х) = т. Сложнее проверяется, что E(s2) = V(X), т. е. вы­ борочная дисперсия дает несмещенную оценку теоретической дис­ персии. Этим обстоятельством объясняется наличие сомножителя 1/(п —1). Аналогичное утверждение справедливо и для выбороч­ ной ковариации. Рекомендуем читателю самостоятельно провести соответствующие выкладки.

Оценка в = <рп(Х х,..., Х п) называется состоятельной, если plimn_ 009 n(Xi,... , Х п) = в. Закон больших чисел в форме Че­ бышева утверждает, что выборочное среднее есть состоятельная оценка математического ожидания генеральной совокупности.

Оценка 9 = ipn( X \ , . . . , Х п) называется эффективной, если

где минимум берется по всем возможным оценкам д парамет­ ра 9. Если в — одномерный параметр, то эффективность в классе несмещенных оценок означает минимальность дисперсии.

Содержательно несмещенность оценки означает, что при ее использовании мы не получаем систематической ошибки: состоя­ тельность оценки гарантирует приближение оценки к истинному значению параметра при увеличении объема выборки, а эффек­ тивная оценка является наилучшей в смысле минимума средне­ квадратичного отклонения. Отметим, что несмещенность и эф­ фективность — это свойства, не зависящие от объема выборки п, в то время как состоятельность является асимптотическим свой­ ством при стремлении п к бесконечности.

Смещенность или несмещенность конкретной оценки проверя­ ется, как правило, непосредственными вычислениями. Для уста­ новления состоятельности можно пользоваться предельными те­ оремами типа закона больших чисел. Проверить эффективность оценки обычно существенно труднее. В данном приложении мы сформулируем один общий результат, имеющий непосредственное отношение к проблеме эффективности.

Неравенство Рао-Крамера. Пусть р(х; в) — плотность рас­ пределения случайного вектора х = (Xi,. .. , Хп), х € Я", завися­ щая от одномерного параметра в. Предположим, что выполнены следующие условия:

1)множество G = {х € Rn : р(х;0) > 0} не зависит от в (условие регулярности),

2)плотность р(х; в) дифференцируема по в при каждом

(МС-14)

Тогда для любой несмещенной оценки в = <рп( Х \, ... ,Х п) па­ раметра в выполнено неравенство (Рао-Крамера)

*П

Число 1п в (МС.14) называется информационным количе­ ством в е х . Если компоненты X i, ..., Х п вектора х независи­ мы и одинаково распределены с плотностью р(х\в), х € Я1, то можно показать, что In = п1\, где 1\ — информационное количе­ ство в в одной компоненте X*: 1\ = Е[д\пр(Хк\в)/дв)2. Неравен­ ство Рао-Крамера устанавливает нижнюю границу для диспер­ сии оценки, поэтому если для какой-то несмещенной оценки в в (МС.15) достигается равенство, можно утверждать, что оценка в эффективна (в классе несмещенных оценок). Именно таким обра­ зом можно доказать, что выборочное среднее X есть эффективная оценка среднего значения для нормальной генеральной совокуп­ ности. Неравенство Рао-Крамера обобщаются на случай смещен­ ных оценок, а также на случай многомерного параметра в (число 1п при этом заменяется на соответствующую матрицу). Отметим, что условие регулярности является существенным — можно при­ вести примеры, когда его отсутствие приводит к нарушению нера­ венства (МС.15).

В этом приложении мы кратко опишем лишь два общих метода оценивания неизвестных парамегров.

чайный вектор х = (X], . .. , Х п), имеющий плотность распределе­ ния р(х; В), которая зависит от неизвестного параметра в. Функ­ цией правдоподобия (likelihood function) называется случайная ве­ личина L = L(x,B) = р(х; в). Наряду с L рассматривают также

логарифмическую функцию правдоподобия I = In L. Оценкой мак­ симального правдоподобия называется величина в = #мь> мак­ симизирующая (при каждом фиксированном значении х) функ­ цию правдоподобия L (или, что эквивалентно, логарифмиче­ скую функцию правдоподобия /)> т.е. такая функция В = В(х), что L{x\B{x)) = max#L (x\В). Индекс ML соответствует ан­ глийскому термину Maximum Likelihood estimation. В регуляр­ ном случае необходимым условием максимума является уравне­ ние дЬ{х\В)/дО = 0, которое называется уравнением правдопо­ добия. Легко видеть, что если компоненты X i , . . . , Х п вектора

хнезависимы и одинаково распределены с плотностью р(х;В),

х€ R 1, то функция правдоподобия есть произведение функций правдоподобия каждой компоненты (соответственно логарифми­ ческая функция правдоподобия распадается в сумму индивиду­ альных логарифмических функций).

Для широкого класса задач оценки максимального правдо­ подобия являются состоятельными и асимптотически эффектив­ ными. В *го же время они могут быть смещенными. Например, с помощью непосредственных вычислений можно показать, что для нормальной генеральной совокупности оценки максимального правдоподобия среднего значения и дисперсии есть соответствен­ но m ML = X и ohL = i £Г=1 (Х<-Х)2 = 2=is2, и E(<r£,L) = <r2. Недостатком метода является необходимость знать распределение вектора х.

М етод моментов. Пусть Х \ , . . . , Х п —случайная выборка из генеральной совокупности X , распределение которой зависит от некоторого неизвестного параметра В:

F(x) = F(x; В), в G Q C К*.

Предположим, что заданы функции 9 i ( x \ ,.. ,gm(x) такие, что

б) система (МС.16), рассматриваемая как система уравнений относительно в , имеет единственное решение.

Для получения оценки параметра в в правой части системы (МС.16) математические ожидания заменяют их выборочными аналогами дк{Х) = £ 0*№ ), к = l , . . . , m , т.е. строят си­ стему уравнений (относительно в)

решение которой и дает оценку параметра в методом моментов. Функции i/i(x),... ,<7m(x), участвующие в оценивании, носят на­ звание моментных функций. Термин «момент» связан с тем об­ стоятельством, что часто используют функции р*(х) = хк, иными словами, правыми частями системы (МС.16) являются моменты случайной величины X . Оценки, полученные методом моментов, в широком числе случаев состоятельны, но, как правило, менее эффективны, чем оценки максимального правдоподобия.

Д оверит ельны е инт ервалы . Помимо получения точечной оценки неизвестного параметра часто ставится задача постро­ ения такой области, в которую параметр попадает с заданной вероятностью или с заданным уровнем доверия. Иными слова­

что Р(0 € Dn( X i , , Х п)) = 1 —о. Это множество Dn называ­ ется доверительным множеством с уровнем доверия 1 —о (или 100(1 —о)%-ным доверительным множеством). Для одномерно­ го параметра в доверительное множество обычно называют до­ верительным интервалом. Часто этот термин распространяют и на многомерный случай. Для построения доверительных мно­ жеств используется следующий общий подход. Предположим, что существует такое преобразование /in(xi,... , хп; в), что распреде­ ление случайной величины hn(X\ t . .. ,ХП; в) уже не зависит от О и может быть эффективно найдено (например, табулировано).

кой, что Р(Лп( Х ь ... ,Л ’п;^) € /п) = 1 —<*. Если при этом вклю­

струкции следует, что Dn будет доверительным множеством с уровнем доверия 1 —а. Подчеркнем, что доверительное множе­ ство не единственно.

Рассмотрим два примера построения доверительных интерва­ лов.

Двусторонний доверительный интервал для среднего значения нормальной генеральной совокупности. Пусть Х \ , . . . , Х п —слу­ чайная выборка из нормальной генеральной совокупности с пара­ метрами (т,о2). В силу свойства N12) величина

____ X —т)у/п _ (X —т)у/п

имеет распределение Стыодента с п —1 степенями свободы (пре­ образование h,t). Для заданного 0 < а < 1 найдем (например, но таблицам) 100(а/2)%-ную точку ta/2. Тогда, в силу симметрично­ сти распределения Стыодента,

Разрешая относительно т, получаем для этого параметра дове-

Двусторонний доверительный интервал для дисперсии нормаль­

ной генеральной совокупности. В силу свойства N11) случайная величина

п - 1 ,

~ 2 Г ах

i=i

имеет распределение х2(п —1) (преобразование h,t). Поэтому для заданного 0 < а < 1, взяв процентные точки Х2_а/2>х2/2>имсем

P(*i_a/2 ^ ^ Ха/2) = 1 - а. Разрешая относитель­ но о2, получаем для этого параметра доверительный интервал

8.Проверка гипотез

Проверка гипотез и построение на их основе статистических вы­ водов является одной из центральных задач математической и прикладной статистики. В рамках параметрического подхода об­ щая схема проверки гипотезы может быть описана так. Пусть Х \ , ... ,Х п — случайная выборка из некоторой генеральной сово­ купности с функцией распределения F(x) = F(x; В), В € © С Rm. Относительно параметра В выдвигаются две гипотезы, а именно, Но: В € Zo и Hi: В € Z\, где Zo С 0 , Z\ С © — некоторые за­ данные множества. Гипотезу Но называют основной или нулевой, а гипотезу Hi — альтернативной. Если множество Z состоит из одной точки (Z = {#о})> то соответствующая гипотеза называ­ ется простой, в противном случае она называется сложной. Если альтернативная гипотеза явно не указана, то это означает, что

Z x = Q\Zo.

Статистическим тестом или просто тестом называется любая процедура, основанная па наблюдениях Х \ , ... , Х п, резуль­ татом которой является одно из двух возможных решений:

1)не отвергать (принять) нулевую гипотезу Но;

2)отвергнуть нулевую гипотезу Но в пользу альтернативной гипотезы Н].

Поскольку тест использует случайную выборку X i , . .. , Х п, то, естественно, могут возникать ошибочные решения. В связи с этим возникают две ошибки теста:

ошибка первого рода: нулевая гипотеза отвергается, когда она верна;

ошибка второго рода: нулевая гипотеза принимается, когда верна альтернативная гипотеза.

а называют значимостью теста, а величину 1 —(3 — его мощно­ стью.

Естественно при построении теста стремиться уменьшить эти ошибки, однако нетрудно понять, что невозможно минимизиро­ вать их одновременно. Поэтому обычно поступают следующим образом: фиксируют значимость теста и стараются найти такой тест, у которого мощность максимальна (именно здесь в явном ви­ де проявляется несимметричность гипотез, деление их на основ­ ную и альтернативную).

На практике для построения тестов часто используют следу­ ющий подход. Предположим, что можно найти такую статистику tn = tn( X \, ... ,Х п), что если гипотеза Но верна, то распределе­ ние случайной величины tn известно (например, табулировано). Тогда для заданного значения а ошибки первого рода можно най­ ти такую область Ка, что P(t„ € К а) = 1 —а (подчеркнем, что вероятность вычисляется в предположении, что верна нулевая ги­ потеза). Тогда тест определяется следующим образом:

1)на основании наблюдений Х \ , ... ,Хп вычисляется значение статистики tn;

2)для заданного уровня значимости а находится область Ка\

3)если tn € Ка, то нулевая гипотеза не отвергается (прини­

мается); если tn К а, то нулевая гипотеза отвергается в пользу альтернативной.

Статистику tn называют критической статистикой, а об­ ласть К а — критической областью. На практике часто критиче­ ские статистики имеют распределения стандартное нормальное, X2, Стыодента и Фишера. В этих случаях при использовании по­ добного рода тестов для каждого значения критической стати­ стики, полученной в эксперименте, находится еще так называе­ мое P-значение. Если статистика tn, распределение которой при нулевой гипотезе принадлежит к одному из указанных четырех типов, приняла значение с, то соответствующим P -значением на­ зывается число Р(|*п| > |с|) — для нормального распределения и