![](/user_photo/2706_HbeT2.jpg)
Диплом / suslov_ibragimov_ekonometrika
.pdf![](/html/2706/728/html_kJOyuczs4i.Weiw/htmlconvd-fBlgA5432x1.jpg)
14.3.Процессы авторегрессии |
433 |
Этожепредставлениеможнополучитьсиспользованиемоператоралага.Уравнение(14.8)запишется в виде
(1 − ϕL)xt = εt .
Применив к обеим частям уравнения (1 − ϕL)−1,получим
xt = (1 − ϕL)−1εt = (1 + ϕL + ϕ2L2 + . . . )εt = εt + ϕεt−1 + ϕ2εt−2 + . . . .
В терминах модели линейного фильтра(14.1)для марковского процесса ψi = ϕi .Поэтому
∞ |
∞ |
|
1 |
|
|
|
!i |
! |
|
|
|
|
|
|
− | |
| |
|
|
||
|ψi| = |
|ϕ|i = |
1 |
ϕ |
|
< ∞, |
(14.9) |
=0 |
i=0 |
|
|
|
|
|
т.е.условие стационарности модели линейного фильтра(14.2)выполняется при |ϕ| < 1.
Можно сделать вывод,что условие стационарности процесса Маркова имеет следующий вид:
|ϕ| < 1.
Свойства стационарного процесса AR(1):
1)Если процесс xt слабо стационарен,то его математическое ожидание неизменно,поэтому,беря математическое ожидание от обеих частей(14.8),получим E(xt ) = ϕE(xt ),откуда
E(xt) = 0.
Если добавить в уравнение(14.8)константу:
xt = µ + ϕxt−1 + εt ,
то E(xt ) = µ + ϕE(xt ) и
µ
E(xt) = 1 − ϕ .
2)Найдем дисперсию процесса Маркова,используя полученное выше уравне-
ние σx2 = ϕ2σx2 + σε2:
var(xt ) = γ0 = σx2 = |
σ2 |
|
|
|
ε |
. |
(14.10) |
||
1 − ϕ2 |
||||
|
|
|
![](/html/2706/728/html_kJOyuczs4i.Weiw/htmlconvd-fBlgA5433x1.jpg)
434 Глава14.Линейные стохастические модели ARIMA
Можно также применить общую формулу для автоковариаций в модели линей-
ного фильтра(14.3)с |
k = 0: |
|
|
|
|
|
|
|
|
||
|
|
|
∞ |
|
|
|
|
|
σ2 |
||
γ = σ2 |
= σ2 |
!i |
|
= σ2 |
(1 + ϕ2 |
+ ϕ4 + . . . ) = |
|
− |
|
|
|
|
ψ2 |
|
ε |
. |
|||||||
0 |
x |
ε |
|
i |
ε |
|
|
1 |
|
ϕ2 |
|
|
|
|
=0 |
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
При |ϕ| " 1 дисперсия процесса {xt },вычисляемая по этой формуле,неограниченно растет.
3)Коэффициент автоковариации k-го порядка по формуле(14.3)равен
|
|
∞ |
|
|
∞ |
|
|
|
|
|
|
γ = σ2 |
!i |
|
= σ2 |
! |
|
|
|
|
|
||
ψ ψ |
|
ϕiϕi+k = |
|
|
|
|
|
||||
k |
ε |
i |
i+k |
ε |
|
|
|
|
|
|
|
|
|
=0 |
|
|
i=0 |
∞ |
|
|
|
|
|
|
|
|
|
|
|
∞ |
|
|
σ2 |
|
|
|
|
|
|
|
|
! |
!i |
|
|
− |
|
|
|
|
|
= |
σε2 |
ϕ2i+k = σε2ϕk |
|
ϕ2i = |
|
ε |
ϕk . |
|
|
|
|
|
|
i=0 |
=0 |
|
1 |
ϕ2 |
|
|
|
|
|
|
|
|
|
|
|
Можно вывести ту же формулу иным способом.Ошибка εt некоррелирована не только с xt−1, но и с xt−2, xt−3 и т.д.Поэтому,умножая уравнение процесса (14.8)на xt−k при k > 0 и беря математическое ожидание от обеих частей, получим
E(xt xt−k ) = ϕE(xt−1xt−k )
или
γk = ϕγk−1, k > 0.
Таким образом,учитывая(14.10),получим
k |
|
σε2 k |
|
|
γk = γ0ϕ |
= |
|
ϕ . |
(14.11) |
1 − ϕ2 |
4)Коэффициент автокорреляции,исходя из(14.11),равен:
ρk = γk = ϕk . γ0
При 0 <ϕ< 1 автокорреляционная функция имеет форму затухающей экспоненты(рис. 14.1а),при −1 <ϕ< 0 Ñформу затухающей знакопеременной экспоненты(рис. 14.1б).
Если ϕ > 1,процесс Маркова превращается во ÇвзрывнойÈ процесс.
В случае ϕ = 1 имеет место так называемый процесс случайного блуждания, который относится к разряду нестационарных.
![](/html/2706/728/html_kJOyuczs4i.Weiw/htmlconvd-fBlgA5434x1.jpg)
14.3.Процессы авторегрессии |
435 |
||
а)б) |
|
ρk |
ρk |
|
|
||
|
|
1 |
1 |
|
|
k k
0 < ϕ < 1 |
|
|
−1 < ϕ< 0 |
1 |
|
|
|
|
1 |
||
|
|
|
–1 |
|
|
|
|
|
Рис. 14.1 |
Процесс Юла
Процессом Юла называют авторегрессию второго порядка AR(2): |
|
xt = ϕ1xt−1 + ϕ2xt−2 + εt , |
(14.12) |
или,через лаговый оператор:
(1 − ϕ1L − ϕ2L2)xt = εt .
Для стационарности процесса авторегрессии AR(2) необходимо,чтобы корни λ1, λ2 характеристического уравнения
1 − ϕ1z − ϕ2z2 = 0,
которые,вообще говоря,могут быть комплексными,находились вне единичного круга на комплексной плоскости,т.е. |λ1| > 1, |λ2| > 1.
Неформально обоснуем условия стационарности AR(2),разложив"характеристический полином ϕ(z) на множители(по теореме Виета λ1λ2 = −1 ϕ2 ):
ϕ(z) = −ϕ2(λ1 − z)(λ2 − z) = |
(1 − λ1 )(1 − λ2 ) |
= (1 − G1z)(1 − G2z), |
||||||
|
|
|
|
z |
|
z |
|
|
где мы ввели обозначения G1 = 1 |
|
и G2 = 1 |
λ2 |
. |
|
|
||
|
|
λ1 |
|
|
) в виде: |
|||
Такое разложение позволяет |
представить уравнение AR( |
|||||||
|
" |
|
|
" |
|
2 |
|
|
(1 − G1L)(1 − G2L)xt = εt. |
|
(14.13) |
436 |
Глава14.Линейные стохастические модели ARIMA |
|||
Введем новую переменную: |
|
|
||
|
|
vt = (1 − G2L)xt , |
|
(14.14) |
тогда уравнение(14.13)примет вид: |
|
|
||
|
|
(1 − G1L)vt = εt. |
|
|
Видим,что ряд |
vt является процессом Маркова: |
|
|
|
|
|
vt = G1vt−1 + εt. |
|
|
Для того чтобы процесс vt |
был стационарным,коэффициент |
G1 по модулю должен |
||
быть меньше единицы,т.е. |
|λ1| > 1. |
|
|
|
С другой стороны,из(14.14)следует,что xt имеет вид процесса Маркова с ошиб- |
||||
кой vt : |
|
|
|
|
|
|
xt = G2xt−1 + vt . |
|
|
Условие стационарности такого процесса имеет аналогичный вид: |λ2| > 1. |
||||
Приведенные рассуждения не вполне корректны,поскольку |
vt |
не является белым |
||
шумом. (Укажем без доказательства,что из стационарности |
vt |
следует стационар- |
ность xt .)Кроме того,корни λ1, λ2 могут быть,вообще говоря,комплексными, что требует изучения свойств комплексного марковского процесса.Более корректное обоснование приведенного условия стационарности будет получено ниже для общего случая AR(p).
УсловиястационарностипроцессаAR(2), |λ1| > 1, |λ2| > 1,можнопереписать в эквивалентном виде как ограничения на параметры уравнения авторегрессии:
|
ϕ |
+ ϕ < 1, |
|
|
2 |
− 1 |
|
|
|
|
ϕ2 |
ϕ1 |
< 1, |
(14.15) |
|
||||
|
− 1 < ϕ2 < 1. |
|
||
|
|
|||
|
|
|
|
|
|
|
|
|
|
Проверим эти условия.Для этого рассмотрим два случая.
1)Пусть |
корни характеристического |
|
уравнения |
вещественные,то есть |
||||||
ϕ12 + 4ϕ2 |
" 0.Тогда для выполнения условий |
|λ1| |
> 1, |λ2| > 1 необходимым |
|||||||
требованием является λ1λ2 > 1 |
или |
2 |
1 |
2 |
> 1.В таком случае один из корней |
|||||
− |
|
|||||||||
|
ϕ2 |
|
||||||||
обязательно лежит вне|отрезка| |
[ |
1, 1].2Для того2 |
чтобы и второй корень не попал |
|||||||
в этот отрезок,необходимо и достаточно− 2,чтобы2 |
значения характеристического по- |
|||||||||
линома ϕ(L) = 1 − ϕ1L − ϕ2L2 в точках −1 и 1 были одного знака.Это условие |
||||||||||
можно описать неравенством: |
|
|
|
|
|
|
|
|
|
|
|
ϕ(−1) á ϕ(1) > 0, |
или (1 + ϕ1 − ϕ2)(1 − ϕ1 − ϕ2) > 0. |
![](/html/2706/728/html_kJOyuczs4i.Weiw/htmlconvd-fBlgA5436x1.jpg)
438 |
Глава14.Линейные стохастические модели ARIMA |
можно вывести формулу автокорреляционной функции.Умножив обе части уравнения на xt−k :
xt−k xt = ϕ1xt−k xt−1 + ϕ2xt−k xt−2 + . . . + ϕp xt−k xt−p + xt−k εt ,
и перейдя к математическим ожиданиям,получим уравнение,связывающее коэффициенты автоковариации различного порядка:
γk = ϕ1γk−1 + ϕ2γk−2 + . . . + ϕp γk−p, k > 0. |
(14.17) |
Это выражение является следствием того,что соответствующие кроссковариации между процессом и ошибкой равны нулю: E(xt−k εt ) = 0 при k > 0, т.к. xt−k может включать лишь ошибки εj для j ! t − k.
Делением уравнения(14.17)на γ0 получаем важное рекуррентное соотношение для автокорреляционной функции:
ρk = ϕ1ρk−1 + ϕ2ρk−2 + . . . + ϕp ρk−p, k > 0. |
(14.18) |
Подставляя в выражение(14.18) k = 1, . . . , p,получаем,с учетом симметричности автокорреляционной функции,так называемые уравнения ЮлаÑУокера
(YuleÑWalker)для AR(p):
ρ2 |
= ϕ1 |
ρ1 + ϕ2 |
+ . . . + ϕp ρp−2 |
, |
|
|
|
ρ1 |
= ϕ1 |
+ ϕ2ρ1 |
+ . . . + ϕp ρp 1 |
, |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
− |
|
(14.19) |
|
ρp =ááϕá1ρp−1 + ϕ2ρp−2 + . . . + ϕp . |
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Мы имеем здесь p |
линейных уравнений,связывающих p автокорреляций, |
ρ1, . . . ,ρ p .Из этой системы при данных параметрах можно найти автокорреляции. Сдругойстороны,приданныхавтокорреляцияхизуравненийЮлаÑУокераможно найти параметры ϕ1, . . . ,ϕ p .Замена теоретических автокорреляций выборочными дает метод оценивания параметров процесса AR(p).
В частности,для процесса Юла получим из(14.19)
|
ϕ1 |
|
|
ϕ12 |
|
ρ1 = |
|
, |
ρ2 = |
|
+ ϕ2. |
1 − ϕ2 |
1 − ϕ2 |
Зная ρ1, . . . ,ρ p ,все последующие автокорреляции ρk ( k > p)можем найти по рекуррентной формуле(14.18).
Для нахождения автоковариационной функции требуется знать γ0, дисперсию процесса xt .Если умножить обе части(14.16)на εt и взять математические ожидания,получим,что E(εt xt ) = E(ε2t ) = σε2.Далее,умножая обе части(14.16)
на xt и беря математические ожидания,получим
γ0 = ϕ1γ1 + ϕ2γ2 + . . . + ϕp γp + σε2.
14.3.Процессы авторегрессии |
|
|
|
|
439 |
|
Значит,если известны автокорреляции,то дисперсию |
xt можно вычислять по |
|||||
формуле: |
|
|
|
|
|
|
γ0 = σx2 = |
|
|
σ2 |
|
|
|
|
|
ε |
|
. |
(14.20) |
|
1 − ϕ1 |
ρ1 |
|
|
|||
|
− ϕ2ρ2 − . . . − ϕp ρp |
|
Автоковариации затем можно вычислить как γj = ρj σx2.
С учетом полученного дополнительного уравнения можно записать вариант уравнений ЮлаÑУокера для автоковариаций:
|
γ0 = ϕ1γ1 + ϕ2γ2 + . . . + ϕp γp + σ2 |
, |
|||||
γ1 = ϕ1γ0 + ϕ2γ1 |
+ . . . + ϕp γp |
− |
1, |
ε |
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
γ2 = ϕ1γ1 + ϕ2γ0 + . . . + ϕp γp 2, |
|
(14.21) |
||||
|
|
|
|||||
|
|
|
|
− |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
ááá |
|
|
|
|
|
|
|
γp = ϕ1γp 1 + ϕ2γp 2 + . . . + ϕp γ0. |
|
|||||
|
|
− |
− |
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
В этой системе имеется p + 1 уравнений,связывающих p + 1 автоковариацию,что позволяет непосредственно вычислять автоковариации при данных параметрах.
Заметим,что14.17и14.18имеют вид линейных однородных конечноразностных уравнений,а для подобных уравнений существует общий метод нахождения решения.Решив уравнение14.1 8,можно получить общий вид автокорреляционной функции процесса авторегрессии.Проведем это рассуждение более подробно для процесса Юла, а затем рассмотрим общий случай AR(p).
Вывод формулы автокорреляционной функции процесса Юла
Из соотношения(14.18)для p = 2 получаем: |
|
ρk = ϕ1ρk−1 + ϕ2ρk−2, k > 0. |
(14.22) |
или,используя лаговый оператор,который в данном случае действует на k, ϕ(L)ρk = 0,где ϕ(z) = 1 − ϕ1z − ϕ2z2 Ñхарактеристический полином процесса Юла.Как мы видели,этот характеристический полином можно представить в виде:
|
1 |
|
и G2 = 1 |
|
ϕ(z) = (1 − G1z)(1 − G2z), |
|
||
где G1 = |
λ1 |
|
, а λ1, λ2 Ñкорни характеристического уравнения. |
|||||
|
|
|
|
|
λ2 |
|
||
Таким |
образом, |
ρk |
удовлетворяет уравнению: |
|
||||
|
" |
|
|
" |
|
|
||
|
|
|
|
|
|
|
(1 − G1L)(1 − G2L)ρk = 0. |
(14.23) |
![](/html/2706/728/html_kJOyuczs4i.Weiw/htmlconvd-fBlgA5439x1.jpg)
440 |
|
|
|
|
Глава14.Линейные стохастические модели |
ARIMA |
|||||||||||||||||||||||||
Найдем общее решение этого уравнения.Введем обозначение: |
|
|
|
|
|||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
ωk = (1 − G2L)ρk . |
|
|
|
|
|
|
|
|
(14.24) |
||||||||||||||
Для ωk имеем (1 − G1L)ωk = 0 или ωk = G1ωk−1.Поэтому |
|
|
|
|
|
||||||||||||||||||||||||||
|
|
|
|
|
ω |
k |
= G ω |
k−1 |
= |
ááá |
|
= Gk−1ω |
. |
|
|
|
|
|
|
||||||||||||
|
|
|
|
|
|
|
|
1 |
|
|
|
|
1 |
1 |
|
|
|
|
|
|
|
|
|||||||||
В свою очередь,из(14.24),с учетом того,что |
|
|
|
ρ0 = 1 и ρ1 = ϕ1(1 − ϕ2),следует, |
|||||||||||||||||||||||||||
что |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
ω1 = ρ1 − G2ρ0 = |
|
|
ϕ1 |
− G2. |
|
|
|
|
|
|||||||||||||||||
|
|
|
|
|
1 − ϕ2 |
|
|
|
|
|
|||||||||||||||||||||
Поскольку,по теореме Виета, |
|
G1 + G2 = ϕ1, |
G1G2 = −ϕ2,получаем выра- |
||||||||||||||||||||||||||||
жение для ω1 через корни характеристического уравнения: |
|
|
|
|
|
||||||||||||||||||||||||||
|
|
ω |
|
= |
G1 + G2 |
|
|
G = |
G1(1 − G22) |
. |
|
|
|
|
(14.25) |
||||||||||||||||
|
|
|
1 + G1G2 − |
|
|
|
|
||||||||||||||||||||||||
|
|
|
|
1 |
|
|
|
2 |
|
|
|
1 + G1G2 |
|
|
|
|
|
||||||||||||||
Возвращаясь к формуле(14.24),им еем,исходя из рекуррентности соотноше- |
|||||||||||||||||||||||||||||||
ния: |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
ρk = G2ρk−1 + ωk = G2(G2ρk−2 + ωk−1) + ωk = . . . = |
k−1 |
|
|
|
|||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
= G2k + G2k−1ω1 + G2k−2ω2 + . . . + G2ωk−1 + |
|
|
|
|
s! |
|
|
|
|||||||||||||||||||||||
ωk = G2k + |
|
G2k−1−s ωs+1. |
|||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
=0 |
|
|
|
|
Подставляя сюда ωk = G1k−1ω1, получим |
+ ω1G2k−1 (G1/G2) −1 = |
|
|||||||||||||||||||||||||||||
ρk |
= G2k + ω1G2k−1 s=0 |
|
#G2 |
$ |
= G2k |
|
|||||||||||||||||||||||||
|
|
|
|
|
|
k−1 |
|
G1 |
|
s |
|
|
|
|
|
|
|
|
|
|
(G1/G2)k |
1 |
|
|
|||||||
|
= G2 |
|
|
|
|
|
! |
|
= #G1 |
|
|
G2 |
$G1 |
+ #1 − G1 |
|
− |
$G2. |
|
|||||||||||||
|
+ ω1 G1 − G2 |
|
|
|
|
G2 |
|
||||||||||||||||||||||||
|
k |
|
G1k |
|
G2k |
|
|
|
|
|
|
|
ω1 |
|
|
|
|
|
k |
|
|
|
|
ω1 |
|
|
k |
|
|||
|
|
|
|
|
− |
|
|
|
|
|
|
|
|
− |
|
|
|
|
|
|
|
|
|
|
− |
|
|
|
|
||
Таким образом,общее решение уравнения(14.22)имеет вид: |
|
|
|
|
|||||||||||||||||||||||||||
|
|
|
|
|
|
|
ρ |
k |
= A Gk |
+ A Gk , |
|
|
|
|
|
|
|
(14.26) |
|||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
1 |
|
|
|
|
2 2 |
|
|
|
|
|
|
|
|
|
|||
где коэффициенты A1 и A2 |
вычисляются по формулам: |
|
|
|
|
|
|||||||||||||||||||||||||
A = |
|
G1(1 − G22) |
|
|
|
, |
|
A = |
− |
|
|
G2(1 − G12) |
|
, |
|
(14.27) |
|||||||||||||||
1 |
(G1 − G2)(1 + G1G2) |
|
|
|
|
2 |
|
|
(G1 − G2)(1 + G1G2) |
|
|
|
причем A1 + A2 = 1.
![](/html/2706/728/html_kJOyuczs4i.Weiw/htmlconvd-fBlgA5440x1.jpg)
14.3.Процессы авторегрессии |
|
|
|
441 |
|
ϕ |
|
|
|
|
2 |
|
|
|
1 |
|
|
|
|
2 |
1 |
|
|
|
|
|
ρ |
|
|
ρ |
1 |
k |
|
|
|
|
|
||
k |
|
|
|
|
1 |
|
|
|
|
k |
|
|
k |
1 |
3 |
|
|
4 |
ϕ |
|
|
|
|
1 |
|
|
|
ρ |
|
|
|
1 |
k |
|
|
|
|
|
|
|
|
|
k |
|
Рис. 14.3 |
|
В стационарных процессах корни характеристического уравнения лежат вне единичного круга.Следовательно, |G1| < 1 и |G2| < 1,и автокорреляционная функция состоит из совокупности затухающих экспонент,что на рисунке14.3 соответствует областям 1, 2, 3 и 4,лежащим выше параболической границы
ϕ21 + 4ϕ2 " 0.
При этом,если оба корня положительны или доминирует по модулю отрицательный корень(соответственно,положительное G),автокорреляционная функция затухает,асимптотически приближаясь к экспоненте(области1и4на рис. 14.3).Когда же оба корня отрицательны или доминирует по модулю положительный корень(или отрицательное G),автокорреляционная функция затухает по экспоненте знакопеременно(области2и3на рис. 14.3).
Если корни разного знака и совпадают по модулю,то затухание ρk происходит в области положительных значений, но имеет колебательный характер:
G1 = −G2,следовательно A1 = A2 = 0.5 и
0, если k Ñнечетное ,
ρk =
Gk1, если k Ñчетное .
Рассмотрим случай,когда корни λ1 = G−1 1 и λ2 = G−2 1 Ñкомплексные. Тогдаавтокорреляционная функцияпроцессаавторегрессиивторого порядкабудет представлять собой затухающую синусоиду:
dk ásin(kα + β) ρk = sin β ,