4.5. Процес авторегресiї першого порядку

Нехай задана стаціонарна послiдовнiсть випадкових величин (υi, i=0,±1, ±2...):

υi = ρυi-1+ εi, (4.5)

де ρ–чисельний параметр, а εi задовольняють тим самим припущенням, що і збурення в класичній лінійній регресії, тобто

Eεi = 0, (4.6)

Dεi = σ 2 = const, (4.7)

cov(εi, εj) = Eεiεj = 0, колиi j ≠. (4.8)

cov(εi,υj) = 0,ji≤. (4.9)

Стаціонарність послідовності (4.5) означає, що

Eυi = 0, (4.10)

Dυi = const, (4.11)

cov(υi, υi-k) = cov(υi+m, υi+m-k) (4.12)

для будь-яких m та k. Іншими словами коваріація між υi та υj не залежить від i та j, а залежить лише від їх різниці. Послідовність (4.5) називається процесом авторегресiї першого порядку, позначення–AR(1). Величина cov(υi, υi-k) називається коваріацією k-го порядку процесу. Обчислимо дисперсію та коваріації процесу AR(1). Для знаходження дисперсії скористаємось формулою (4.5):

DEEυυρυεiiii==+−212()=

2

=++=+−−ρυρυεερυσ2121222EEEDiiiii, (4.13)

внаслідок (4.9) і (4.11). З формули (4.13) маємо Dυσρi=−221 (4.14)

43

З виразу (4.14) бачимо, що стаціонарний процес з властивостями (4.6)-(4.9) існує, коли ρ<1. Для знаходження коваріації першого порядку домножимо рівність (4.5) почленно на υi-1 і обчислимо математичне сподівання обох частин:

cov(EEυυυυρυευiiiiiii,)()−−− − ==+=111 1

=+==−−−ρυυερυρσρEEDiiii121221, (4.15)

внаслідок (4.9), (4.11) та (4.14). Виразимо коваріацію k-го порядку через коваріацію k–1-го порядку. Для цього домножимо рівність (4.5) почленно на υi-k і обчислимо математичне сподівання обох частин

cov(EEυυυυρυευiikiikiiik,)()−−− − ==+=1

=+==−−−−−−−ρυυυερυυρυυEEEcov(iikiiiikiik111()(),1 ),

= =

(4.16)

внаслідок (4.9) та (4.12). Рекурентною підстановкою (4.16), враховуючи (4.15), одержуємо

cov(cov(cov(υυρυυρυυiikiikiik,),),)()()−−−−−==122L ====−−−Lρυυρυρσρkiikik11221cov(D,) . (4.17)

Формули (4.14) і (4.17) показують, що дисперсія та коваріації процесу авторегресії першого порядку визначаються лише двома параметрами – ρ та σ2.

4.6. Узагальнений метод найменших квадратiв у випадку ar(1)-збурень

Нехай в моделі (4.1) збурення підпорядковані процесу авторегресіїї першого порядку. Це означає, що збурення υi , i n =1, задовольняють співвідношенням (4.5)-(4.12). З (4.14) і (4.17) випливає, що коваріаційна матриця збурень приймає наступний вигляд

44

σσρρρρρρρρρρρρρ22212212311111Σ=1-2⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⎛⎝⎜⎜⎜⎜⎜⎜⎞⎠⎟⎟⎟⎟⎟⎟−−−−−−nnnnnn

3 4.18)

Результати множення рiвності (4.1) на матрицюΣ−12у цьому випадку можна записати у явному вигляді. Елементи вектора y*дорівнюють y1211*=−ρ y , (4.19)

yyyiiii*,=−≤≤−ρ12 n. (4.20)

Елементи j-го (0 1 ≤≤−jk) стовпчика матриці X* знаходяться аналогічно: xj1211*=−ρ x j , (4.21)

xxxiijijij*,,=−≤≤−ρ12 n. (4.22)

Якщо у вихідній моделі є постійний доданок, то перетворена модель не матиме константи. Замість неї з’явиться змінна , значення якої дорівнюють x0* x1021*=−ρ, (4.23)

xi012*,=−≤≤ρ i n . (4.24)

Зауважимо, що оцінка -коефіціента при змінній є оцінкою постійного доданку у вихідній моделі. β0x0*

4.7. Виявлення автокореляції. Статистика Дурбіна-Уотсона

Найчастіше для виявлення автокорельованості збурень користуються критерієм Дурбіна–Уотсона. При застосуванні цого критерія нульовою гіпотезою є некорельованість збурень, а альтернативою є те, що збурення підпорядковані процесу авторегресії першого порядку. Позначимо через залишки методу найменших квадратів у моделі (4.1) (див. с. 19). Значення статистики Дурбіна–Уотсона знаходиться за наступною формулою: uii,1≤≤n

45

d

uuuiiiniin=−−==ΣΣ()12221. (4.25)

Можливі значення d належать інтервалу (0; 4). Розподіл статистики Дурбіна–Уотсона приблизно симетричний відносно двійки. Значення d, близькі до 2, вказують на відсутність автокореляції. Значення, близькі до 0, вказують на наявність автокореляції з додатнім ρ, значення, близькі до 4, вказують на наявність автокореляції з від’ємним ρ . Параметрами розподілу статистики Дурбіна–Уотсона є кількість спостережень та регресорів. Точний розподіл статистики залежить від матриці незалежних змінних Х. В таблицях приводяться такі пари критичних значень, що для будь-якого вигляду матриці Х точне критичне значення лежить між табличними. Алгоритм застосування критерія Дурбіна–Уотсона полягає у наступному.

1. Оцінюємо модель (4.1) за допомогою звичайного методу найменших квадратів.

2. За формулою (4.25) обчислюємо значення статистики Дурбіна–Уотсона.

3. Вибираємо рівень значущості α і за таблицею критичних значень статистики Дурбіна–Уотсона знаходимо верхнє і нижнє критичні значення du та dl, а також обчислюємо 4 – du та 4 – dl. Зауважимо, що 0 < dl < du < 2 < 4 – du < 4 – dl < 4.

4. Робимо висновок за таким правилом:

1) Якщо d < dl, то має місце автокореляція з додатнім ρ.

2) Якщо dl < d < du, то ми не можемо зробити ніякого висновку, і цей інтервал називається областю невизначеності.

3) Якщо du < d< 4 – du, то автокореляція відсутня.

4) Якщо 4 – du < d < 4–dl , то ми не можемо зробити ніякого висновку. Цей інтервал також є областю невизначеності.

5) Якщо 4 – dl < d < 4, то має місце автокореляція з від’ємним ρ.

Щодо областей невизначеності можна дати таку практичну рекомендацію: якщо вибіркове значення d потрапляє до інтервалу невизначеності, то вважають, що має місце автокореляція.