8.3. Автокорреляция ошибок

Если матрица ковариаций ошибок не является диагональной, то говорят об ав- токорреляции ошибок. Обычно при этом предполагают, что наблюдения однород- ны по дисперсии, и их последовательность имеет определенный смысл и жестко фиксирована. Как правило, такая ситуация имеет место, если наблюдения про- водятся в последовательные моменты времени. В этом случае можно говорить о зависимостях ошибок по наблюдениям, отстоящим друг от друга на 1, 2, 3 и т.д. момента времени. Обычно рассматривается частный случай автокорреляции, когда коэффициенты ковариации ошибок зависят только от расстояния во времени меж- ду наблюдениями; тогда возникает матрица ковариаций, в которой все элементы каждой диагонали (не только главной) одинаковы¹.

Поскольку действие причин, обуславливающих возникновение ошибок, доста- точно устойчиво во времени, автокорреляции ошибок, как правило, положительны. Это ведет к тому, что значения остаточной дисперсии, полученные по стандартным («штатным») формулам, оказываются ниже их действительных значений. Что, как отмечалось и в предыдущем пункте, чревато ошибочными выводами о качестве получаемых моделей.

Это утверждение иллюстрируется рисунком 8.4 (n = 1). На этом рисунке:

a — линия истинной регрессии. Если в первый момент времени истинная ошибка отрицательна, то в силу положительной автокорреляции ошибок все облако наблю- дений сместится вниз, и линия оцененной регрессии займет положение b.

Если в первый момент времени истинная ошибка положительна, то по тем же причи- нам линия оцененной регрессии сместится вверх и займет положение c. Поскольку

¹ В теории временных рядов это называется слабой стационарностью.

x _c

a b

время

Рис. 8.4

266 Глава 8. Нарушение гипотез основной линейной модели

ошибки случайны и в первый момент времени они примерно с равной вероятно- стью могут оказаться положительными или отрицательными, то становится ясно, насколько увеличивается разброс оценок регрессии вокруг истинных по сравнению с ситуацией без (положительной) автокорреляции ошибок.

Типичный случай автокорреляции ошибок, рассматриваемый в классической эконометрии, — это линейная авторегрессия ошибок первого порядка AR(1):

ε_i = ρε_i−1 + η_i,

где η — остатки, удовлетворяющие обычным гипотезам;

ρ — коэффициент авторегрессии первого порядка.

Коэффициент ρ вляется также коэффициентом автокорреляции (первого по- рядка).

Действительно, по определению, коэффициент авторегрессии равен (как МНК- оценка):

cov(ε_i , ε_i−1)

^{ρ =} var(ε

,

i−1⁾

но, в силу гомоскедастичности, var(ε_i−1) = ^,var(ε_i)var(ε_i−1) и, следовательно,

ρ, также по определению, является коэффициентом автокорреляции.

Если ρ = 0, то ε_i = η_i и получаем «штатную» ситуацию. Таким образом, проверку того, что автокорреляция отсутствует, можно проводить как проверку нулевой гипотезы H₀: ρ = 0 для процесса авторегрессии 1-го порядка в ошибках.

Для проверки этой гипотезы можно использовать критерий Дарбина— Уотсона или DW-критерий. Проверяется нулевая гипотеза о том, что автокорре- ляция ошибок первого порядка отсутствует. (При автокорреляции второго и более высоких порядков его мощность может быть мала, и применение данного критерия становится ненадежным.)

Пусть была оценена модель регрессии и найдены остатки e_i, i = 1, . . . , N . Значение статистики Дарбина—Уотсона (отношения фон Неймана), или DW-ста- тистики, рассчитывается следующим образом:

N

2

^ (e_i − e_i−1)

_dc ₌ ⁱ⁼²

N

e

 ₂

i

. (8.3)

i=1

Оно лежит в интервале от 0 до 4, в случае отсутствия автокорреляции ошибок приблизительно равно 2, при положительной автокорреляции смещается в мень-

8.3. Автокорреляция ошибок 267

₀ 2

d_L d_U

4-d_U

4

4-d_L

Рис. 8.5

шую сторону, при отрицательной — в большую сторону. Эти факты подтвержда- ются тем, что при больших N справедливо следующее соотношение:

d^c ≈ 2(1 − r), (8.4)

где r — оценка коэффициента авторегрессии.

Минимального значения величина d^c достигает, если коэффициент авторегрессии равен +1. В этом случае e_i = e, i = 1, . . . , N , и d^c = 0. Если коэффициент авторегрессии равен −1 и e_i = (−1)ⁱe, i = 1, . . . , N , то величина d^c достигает

значения 4 ^{N − 1}

N

(можно достичь и более высокого значения подбором остатков),

которое с ростом N стремится к 4. Формула (8.4) следует непосредственно из (8.3)

после элементарных преобразований:

N N

e

2

^ _i ^{ e}i−1^ei

N

e

 ₂

i−1

_dc ₌ ⁱ⁼² _{− 2} ⁱ⁼² ₊ ⁱ⁼² _,

N

e

 ₂

i

i=1

N

e

 ₂

i

i=1

N

e

 ₂

i

i=1

поскольку первое и третье слагаемые при больших N близки к единице, а второе слагаемое является оценкой коэффициента автокорреляции (умноженной на −2).

Известно распределение величины d, если ρ = 0 (это распределение близко к нормальному), но параметры этого распределения зависят не только от N и n, как для t- и F -статистик при нулевых гипотезах. Положение «колокола» функции плотности распределения этой величины зависит от характера Z . Тем не менее, Дарбин и Уотсон показали, что это положение имеет две крайние позиции (рис. 8.5).

Поэтому существует по два значения для каждого (двустороннего) квантиля, соответствующего определенным N и n: его нижняя d_L и верхняя d_U границы. Нулевая гипотеза H₀: ρ = 0 принимается, если d_U ™ d^c ™ 4 − d_U ; она отвергается

в пользу гипотезы о положительной автокорреляции, если d^c < d_L , и в пользу

268 Глава 8. Нарушение гипотез основной линейной модели

гипотезы об отрицательной автокорреляции, если d^c > 4 − d_L . Если d_L ™ d^c < d_U или 4−d_U < d^c ™ 4−d_L , вопрос остается открытым (это — зона неопределенности DW-критерия).

Пусть нулевая гипотеза отвергнута. Тогда необходимо дать оценку матрицы Ω.

Оценка r параметра авторегрессии ρ может определяться из приближенного равенства, следующего из (8.4):

_dc r ≈ 1 − ₂ ,

или рассчитываться непосредственно из регрессии e на него самого со сдвигом на одно наблюдение с принятием «круговой» гипотезы, которая заключается в том, что e_{N +1} = e₁.

Оценкой матрицы Ω является



2

 ^{1 r r}





··· r



N −1







^ r 1 r ··· r^{N −2}



₁ 



r

 ₂



1 − r^{2 }

r 1 ··· r



−

^{N 3} ,







.

 _..







._..

._..

. _{. .}

_.. 



.







_rN −1 _rN −2 _rN −3 _{··· 1}

а матрица D преобразований в пространстве наблюдений равна

_√ 



 ^{1 − r2 0 0 ··· 0}

 

 

−r 1 0 ··· 0

 

 

 

0 −r 1 ··· 0 ^.

 

 

 

.

._..

.



.

^ . ._.





._..

_{. .} 



.









0 0 0 ··· 1

Для преобразования в пространстве наблюдений, называемом в данном слу- чае авторегрессионным, используют обычно указанную матрицу без 1-й строки, что ведет к сокращению количества наблюдений на одно. В результате такого пре- образования из каждого наблюдения, начиная со 2-го, вычитается предыдущее, умноженное на r, теоретическими остатками становятся η , которые, по предпо- ложению, удовлетворяют гипотезе g4.

8.3. Автокорреляция ошибок 269

После этого преобразования снова оцениваются параметры регрессии. Если новое значение DW-статистики неудовлетворительно, то можно провести следую- щее авторегрессионное преобразование.

Обобщает процедуру последовательных авторегрессионных преобразований

метод Кочрена—Оркатта, который заключается в следующем.

Для одновременной оценки r, a и b используется критерий ОМНК (в обозна- чениях исходной формы уравнения регрессии):

₁ N

i ⁻ i−1 ⁻ i ⁻ i−1 ^{− −}

^ ((x rx ) (z rz )a (1 r)b)²

→ min,

^N i=2

где z_i — n-вектор-строка значений независимых факторов в i-м наблюдении (i-строка матрицы Z ).

Поскольку производные функционала по искомым величинам нелинейны от- носительно них, применяется итеративная процедура, на каждом шаге которой сначала оцениваются a и b при фиксированном значении r предыдущего шага (на первом шаге обычно r = 0), а затем — r при полученных значениях a и b. Процесс, как правило, сходится.

Как и в случае гетероскедастичности, можно не использовать модифицированные методы оценивания (тем более, что точный вид автокорреляции может быть неиз- вестен), а использовать обычный МНК и скорректировать оценку ковариационной матрицы параметров. Наиболее часто используемая оценка Ньюи—Уэста (устой- чивая к гетероскедастичности и автокорреляции) имеет следующий вид:

(Z^rZ)⁻¹ Q (Z^rZ)⁻¹ ,

где

N L N

Q = ^ e² + ^

^ λ_k e_ie_i

_k (z z^r

+ z_i

_k z^r),

i

i=1

k=1 i=k+1

^{− i} i−k ⁻ i

а λ_k — понижающие коэффициенты, которые Ньюи и Уэст предложили рассчи-

^k . При k > L понижающие коэффициенты

тывать по формуле λ_k = 1 − _{L +1}

становятся равными нулю, т.е. более дальние корреляции не учитываются

Обоснование этой оценки достаточно сложно². Заметим только, что если заменить попарные произведения остатков соответствующими ковариациями и убрать пони- жающие коэффициенты, то получится формула ковариационной матрицы оценок МНК.

Приведенная оценка зависит от выбора параметра отсечения L. В настоящее вре- мя не существует простых теоретически обоснованных методов для такого выбора.

На практике можно ориентироваться на грубое правило L =

. _{ }

₄ T

100

^2_/9 ^.

.

² Оно связано с оценкой спектральной плотности для многомерного временного ряда.

270 Глава 8. Нарушение гипотез основной линейной модели