магистры Эконометр мод-е / из эконометрики / Лекция5-мультиколлинеарность
.pdf1
ЛЕКЦИЯ 8 Автокорреляция остатков. Обобщенный МНК.
1. Автокорреляция остатков.
2. Обобщенный МНК.
1 Автокорреляция ошибок.
1.1 Авторегрессионный процесс первого порядка
Ранее уже упоминалось, корреляция между наблюдениями хотя бы одного фактора, которая приводит к автокорреляции остатков, возникает чаще всего в том случае, когда наблюдения факторов представляют собой ВР.
Применение обычного метода наименьших квадратов к этой системы да¼т несмещенные и состоятельные оценки параметров, однако можно показать, что оценка дисперсии оказывается смещ¼нной вниз, что может отрицательно сказать при проверке гипотез о значимости коэффициентов. Образно говоря, МНК рисует более оптимистичную картину регрессии, чем есть на самом деле.
Как и раньше, рассмотрим модель
yt = ¯1 + ¯2xt2 + ¢ ¢ ¢ + ¯mxtm + "t;
или в матричной форме |
Y = XB + ": |
(1) |
|
Один из наиболее простых способов уч¼та коррелированности ошибок (в разные моменты времени) состоит в предложении, что случайная последовательность {"t, t=1; : : : ; n} образует авторе-
грессионный процесс первого порядка. Это означает, что ошибки удовлетворяют реккурентному |
|||
соотношению |
"t = ½"t¡1 |
+ ºt; |
(2) |
|
|||
ãäå {ºt, t=1; : : : ; n} последовательность независимых нормально распредел¼нных случайных величин с нулевым средним и постоянной дисперсией ¾º2, à ½ некоторый параметр, называемый коэфициентом авторегрессии (j½j<1). Строго говоря, для полного описания модели надо
определить "0. Будем считать, что "0 нормальная случайная величина с нулевым средним и дисперсией ¾"2=¾º2(1¡½2), не зависящая от ºt, t=1; : : : n. Из дальнейшего станет ясно, почему
ó "0 именно такие параметры. Взяв математическое ожидание от обеих частей (2), получим M["t]=½M["t¡1], откуда следует, что M["t]=0, t=1; : : : n. Поскольку ºt не зависит от º1; : : : ; ºt¡1, à "t¡1 выражается через них же, то "t¡1 è ºt независимы. Поэтому
M["2t ] = M[(½"t¡1 + ºt)2] = ½2M["2t¡1] + M[ºt2] = ½2M["2t¡1] + ¾º2:
Легко проверяется, то если M["20]=¾º2=(1¡½2), òî
¾"2 = M["t2] = D["t] = ¾º2=(1 ¡ ½2); |
t = 1; : : : ; n: |
(3) |
|||||||
Умножая (2) на "t¡1 и вновь пользуясь независимостью "t¡1 è ºt, получим |
|
||||||||
M[" |
; " |
t¡1 |
] = Cov(" |
; " |
t¡1 |
) = ½D[" |
t¡1 |
] = ½¾2: |
(4) |
t |
|
t |
|
|
" |
|
|||
Аналогично можно получить, что Cov("t; "t¡k)=½k¾"2, k=6t. Таким образом, последовательность f"tg образует стационарный случайный процесс (именно этим обстоятельством диктовался вы-
бор параметров начальной величины "0). На самом деле, с течением времени зависимость "t îò "0 быстро уменьшается, поэтому в большинстве книг по эконометрике проблему начальных условий для f"tg просто не рассматривают, неявно подразумевая, что процесс (2) при любом начальном значении быстро сходится к стационарному. Отметим также, что условие j½j<1 является необходимым для стационарности.
2
Из (4) следует, что
½ = Cov("t; "t¡1)=¾"2 = Cov("t; "t¡1)=(D["t]1=2D["t¡1]1=2);
ò.å ½ есть в точности коэффициент корреляции между двумя соседними ошибками. Пользуясь
выражением для коэффициента ковариации общего вида, можно выписать ковариационную матрицу случайного вектора ":
|
|
¾º2 |
0 ½ |
1 |
½ |
: : : ½n¡21 |
|||
- = 1 |
|
½2 |
B |
1 |
½ |
½2 |
: : : ½n¡1 |
|
|
|
:½:2: |
:½: : |
:1: : |
:: :: :: ½:n:¡:3C |
|||||
|
|
¡ |
|
B |
|
½n¡2 ½n¡3 |
: : : 1 |
C |
|
|
|
|
|
B½n¡1 |
C |
||||
|
|
|
|
B |
|
|
|
|
C |
|
|
|
|
@ |
|
|
|
|
A |
1.2 Оценивание в модели с авторегрессией Значение ½ известно. В этом случае для оценивания системы (1) можно применить обоб-
щ¼нный метод наименьших квадратов.
В частности, возможно применение следующих преобразований. Запишем уравнение регрессии в момент времени t:
yt = ¯1 + ¯2xt2 + ¢ ¢ ¢ + ¯mxtm + "t; |
(5) |
ãäå t-я компонента вектора y представляет значение зависимой переменной в момент времени t, и для момента времени t¡1 (t ¸ 2)
yt¡1 = ¯1 + ¯2xt¡1;2 + ¢ ¢ ¢ + ¯mxt¡1;m + "t¡1
умножим обе части последнего уравнения на ½ и вычтем почленно из (5). Тогда с уч¼том (2) получим
yt ¡ ½yt¡1 = ¯1(1 ¡ ½) + ¯2(xt2 ¡ ½xt¡1;2) + ¢ ¢ ¢ + ¯m(xt;m ¡ ½xt¡1;m) + ºt; |
(6) |
||||||||||||
Ïðè t=1 достаточно обе части уравнения (5) умножить на p |
|
|
: |
|
|
|
|||||||
1 ¡ ½2 |
|
||||||||||||
p |
|
y1 = p |
|
¯1 + p |
|
x12¯2 + ¢ ¢ ¢ + p |
|
x1m¯m + p |
|
"1: |
(7) |
||
1 ¡ ½2 |
1 ¡ ½2 |
1 ¡ ½2 |
1 ¡ ½2 |
1 ¡ ½2 |
|||||||||
В системе (6), (7) ошибки удовлетворяют условиям уже обычной регрессионной модели. Действительно, в (6) случайные âåëè÷èíû fºt; t=2; : : : ; ng независимы и имеют постоянную дис-
персию ¾º2 |
, à2в (7) ошибка |
1¡½2²1 не зависит от fºt; t=2; : : : ; ng и, согласно (3), также имеет |
дисперсию ¾º. |
p |
|
Примечание. На практике часто опускают преобразование (7), игнорируя тем самым первое |
||
наблюдение. С одной стороны, благодаря этому, преобразование исходной модели (1) становится |
||
единообразным. В частности, для получения оценки параметра ¯1 достаточно оценку свободно- |
||
го члена в (6) разделить на (1¡½). С другой стороны, отбрасывание первого наблюдения может привести к потере важной информации, особенно в выборках небольшого размера.
Значение ½ неизвестно. Ситуации, когда параметр авторегрессии ½ известен, встречаются крайне редко. Поэтому возникает необходимость в процедурах оценивания при неизвестном ½.
Как правило, они имеют итеративный характер. Опишем три наиболее употребительные. Мы не будем устанавливать сходимость этих процедур, практика их применения показала, что они достаточно эффективны.
Процедура Кохрейна-Оркатта (Cochrane-Orcutt). Начальным шагом этой процедуры является применение обычного метода наименьших квадратов к исходной системе (1) и получение соответствующих остатков e=(e1; : : : ; en)T . Далее,
3
1.в качестве приближ¼нного значения ½ бер¼тся его МНК-оценка r в регрессии et=½et¡1+ºt;
èнаходятся МНК-оценки ^
2.проводится преобразование (6) (или (6), (7)) при ½=r ¯ вектора
параметров ¯;
^
3. строится новый вектор остатков e=Y ¡X¯;
4. процедура повторяется,начиная с п. 1.
Процесс обычно заканчивается, когда очередное приближение ½ мало отличается от преды-
дущего. Иногда просто фиксируется количество итераций. Процедура Кохрейна-Оркатта реализована в большинстве экономических компьютерных программ. При е¼ использовании может случиться, что значение параметра ½ будет найдено неточно. Это связано с тем, что при его
оценивании может быть фактически найден локальный, а не глобальный минимум квадратов отклонений в регрессии.
Процедура Хилдрета-Лу (Hildreth-Lu). Суть процедуры достаточно проста. Из интервала (¡1; 1) возможного изменения коэффициента ½ берутся последовательно некоторые значения
(например, числа с постоянным шагом 0.1 или 0.05) и для каждого из них проводится оценивание преобразованной системы (6). Определяется то значение этого параметра, для которого сумма квадратов отклонений в (6) минимальна. Затем в некоторой окрестности этого значе- ния устраивается более мелкая сетка и процесс повторяется. Итерации заканчиваются, когда будет достигнута желаемая точность. Время работы процедуры, очевидно, сокращается,если есть априорная информация об области изменения параметра ½.
1.3 Тест Дарбина-Уотсона на наличие или отсутствие корреляции по времени
Большинство тестов на наличие корреляции по времени в ошибках системы (1) используют следующую идею: если корреляция есть у ошибок ", то она присутствует и в остатках e, ïîëó-
чаемых после применения к (1) обычного метода наименьших квадратов. Здесь мы рассмотрим только одну реализацию этого подхода. Пусть нулевая гипотеза состоит в отсутствии корреляции, т.е. H0: ½=0. В качестве альтернативной может выступать либо просто H1: "íå H0", ëèáî
односторонняя гипотеза, например, H1: ½ > 0.
Наиболее широко используется тест Дарбина-Уотсона (Durbin-Watson). Он основан на ста- |
||||
тистике |
n |
n |
: |
(8) |
|
DW = tP |
|||
|
=2(et ¡ et¡1)2 |
|
|
|
tP |
et2 |
=1 |
|
Будем считать, что постоянный член включен в число регрессоров. Тогда нетрудно проверить, что эта статистика тесно связана с выборочным коэффициентом корреляции между et è et¡1:
ãäå |
|
|
|
DW ¼ 2(1 ¡ r); |
(9) |
||||
|
|
|
P |
|
|
tPn |
: |
||
r |
|
|
|
|
|
||||
|
|
|
|
n |
etet¡1 |
|
n |
|
|
|
|
|
|
|
|
etet¡1 |
|||
|
¼ |
|
t=2 |
|
¼ |
=2 |
|
|
|
|
|
|
|
|
P |
|
|
||
|
|
|
n |
n 1 |
|
|
|||
|
|
|
|
P |
P |
|
e2 |
||
|
|
|
|
|
¡ |
|
|
||
|
|
st=2 et2 t=1 et2 |
|
t=1 |
t |
||||
Понятен и содержателен смысл статистики DW : если между et è et¡1 имеется достаточно вы- сокая положительная корреляция, то в определенном смысле et è et¡1 близки друг к другу и величина статистики DW ìàëà (r ! 1). Отсутствие кореляции означает, что DW близка к 2
(статистика DW лежит в диапазоне [0; 2]). Проблема, состоит в том, что распределение DW зависит не только от числа наблюдений n и количества регрессоров m, но и от всей матрицы X, поэтому нельзя составить таблицы значений DW для различных доверительных вероятностей (нельзя же составить таблицу критических значений dW для всей матриц X!). Тем не менее, Дарбин и Уотсон доказали, что существует две границы, обычно обозначаемые du è dl, du>dl
4
(u = upper верхняя, l = low нижняя), которые зависят лишь от n, m и уровня значи-
мости (а следовательно, могут быть затабулированы) и обладают следующим свойством: если DW >du, òî DW > dòàáë и, значит, гипотеза H0 принимается, а если DW <dl, òî DW <dòàáë, è
гипотеза H0 отвергается в пользу H1. В случае dl<DW <du ситуация неопределенна, т.е. нельзя
высказаться в пользу той или иной гипотезы.
Наличие зоны неопределенности, конечно, представляет определенные трудности при использовании теста Дарбина-Уотсона. Ее ширина может быть довольно значительной. К примеру, при n=19, m=3 она образует интервал (0.218, 0.463). Поэтому многие дальнейшие исследо-
вания были направлены на построение таких тестов, которые сужают зону неопределенности.
2 Обобщенный МНК.
Одно из предположений классической регрессионной модели состоит в том, что случайные ошибки некоррелированы между собой и имеют постоянную дисперсию. В тех случаях, когда хотя бы одно из этих предположения нарушается, возможно использование обобщенного МНК.
Рассматрим так называемую обобщенную регрессионную модель
Y = X¯ + ";
ãäå Y n £ 1 вектор независимых переменных, X n £ k
¯k £ 1 вектор неизвестных параметров, " n £ 1 вектор случайных ошибок, причем:
1)матрица X неслучайна и имеет полный ранг;
2)M["]=0;
3)D["]=-, и матрица - положительно определена (-6=¾2En).
Иными словами, обобщенная модель отличается от классической только условием 3). |
||
Применение обычного метод наименьших квадратов к системе (10) дает следующие резуль- |
||
таты (их легко доказать): |
|
|
² |
оценка ^ |
|
¯ является несмещенной оценкой, |
, получаемая при использовании обычного |
|
² оценка матрицы ковариаций D^[¯^]=^¾2(XT X)¡1 |
|
|
|
метода наименьших квадратов, является смещенной. |
|
² |
оценка ^ |
|
¯ является состоятельной оценкой |
|
|
² но не будет эффективной оценкой (оптимальной в смысле теоремы Маркова-Гаусса). |
||
Для получения эффективной оценки надо воспользоваться так называемым обобщенным |
|
методом наименьших квадратов (ОМНК). |
|
В ОМНК матрица ковариаций ошибок - выступает в качестве веса при построении критерия |
|
ÌÍÊ: |
Q(¯) = eT -¡1e ) min : |
|
|
Рассмотрим смысл этого преобразования. Т.к. матрица -n£n положительно определенная
и симметричная, то всегда можно найти разложение -¡1=P T P , ãäå Pn£n невырожденная матрица (известно из теории линейной алгебры), тогда
eT -¡1e = (Y ¡ X¯)T P T P (Y ¡ X¯) = (P Y ¡ P X¯)T (P Y ¡ P X¯):
Таким образом, вместо классической модели (10) мы МНК решаем модель
P Y = P X¯ + P ²; èëè Y ¤ = X¤¯ + "¤; |
(11) |
ãäå Y ¤=PY , X¤=PX, "¤=P", причем M["¤]=0 è D["¤]=P-PT =En (поскольку из определения PT =-¡1P. Кроме того, rang(X¤)=m, òàê êàê P невырождена. Это означает, что для модели (11)
выполнены условия теоремы Гаусса-Маркова и, следовательно, оптимальной в классе несмещенных и линейных по Y ¤ оценок вектора ¯ является оценка
^
¯¤ = (X¤T X¤)¡1X¤T Y ¤ = (XT PT PX)¡1XT PT PY = (XT -¡1X)¡1XT -¡1Y;
Справедлива
5
Теорема. Айткена. В классе линейных несмещенных оценок вектора ¯ для обобщенной регрес-
сионной модели оценка |
¯^¤ = (X0-¡1X)¡1X0-¡1Y |
(12) |
|
имеет наименьшую матрицу ковариаций.
Доказательство следует из приведенных выше рассуждений. Найдем матрицу ковариаций для оценок параметров модели. Так как D[Y ]=-, то из (12) непосредственно следует, что
^
D[¯¤] = (XT -¡1X)¡1: (13)
Оценку ¯^¤ часто называот ¯^GLS (GLS, Generalized Least Squares). Нетрудно проверить, что |
||||
åñëè - = ¾ |
2 |
I |
, т.е. модель является классической, то ^ |
^ |
|
¯GLS = ¯, как и следовало ожидать. |
|||
Проверять гипотезы о наличии линейных ограничений можно как непосредственно, исполь- |
|||||
зуя (13), так и с помощью вспомогательной регрессии (11). |
|||||
Для обобщенной регрессионной модели, в отличие от классической, коэффициент детерми- |
|||||
нации |
|
^ |
T |
^ |
|
R2 = 1 |
|
|
|||
¡ |
(Y ¡ X¯GLS) |
|
(Y ¡ X¯GLS) |
||
|
P(yi ¡ y¹)2 |
|
|||
не может служить удовлетворительной мерой качества подгонки. В общем случае он даже не обязан лежать в интервале [0; 1], а добавление или удаление независимой переменной не
обязательно приводит к его увеличению или уменьшению.
Подчеркнем еще раз, что для применения ОМНК необходимо знать матрицу -, ÷òî íà
практике бывает крайне редко. Поэтому вполне естественным кажется такой способ: оценить (каким-нибудь образом) матрицу -, а затем использовать эту оценку в формуле (12) вместо
-. Этот подход составляет суть так называемого доступного обобщенного метода наименьших квадратов. Следует понимать, что в общем случае матрица - содержит n(n+1)=2 неизвестных
параметров (в силу ее симметричности) и, имея только n наблюдений, нет никакой надежды
получить для нее "хорошую"оценку. Поэтому для получения содержательных результатов приходится вводить дополнительные условия на структуру матрицы - (см. корректировку моделей
при гетероскедастичности и автокорреляции остатков по времени).