ЭКОНОМЕТРИКА и математическая экономика / Эконометрика. Учебник продвинутый (2005)
.pdf21.3. Упражнения и задачи |
643 |
2.Davidson R., MacKinnon J.G. Estimation and Inference in Econometrics. — Oxford University Press, 1993. (Ch. 15).
3.Greene W.H. Econometric Analysis. — Prentice-Hall, 2000. (Ch. 8, 19).
4.Maddala G.S. Limited-Dependent and Qualitative Variables in Econometrics, Cambridge University Press, 1983. (Ch. 2, 3, 5).
5.Wooldridge Jeffrey M. Introductory Econometrics: A Modern Approach, 2nd ed. — Thomson, 2003. (Ch. 17).
6.Baltagi, Badi H. Econometrics, 2nd edition, Springer, 1999 (Ch. 13).
7.Ruud Paul A. An Introduction to Classical Econometric Theory, Oxford University Press, 2000 (Ch. 27).
Глава 22
Эффективные оценки параметров модели ARMA
В главе 14 «Линейные стохастические модели ARIMA» были рассмотрены два метода оценки параметров моделей ARMA: линейная регрессия для оценивания авторегрессий и метод моментов для общей модели ARMA. Эти методы не обеспечивают эффективность оценок параметров модели. Можно предложить способы оценивания, которые дают более точные оценки. Для этого можно использовать метод максимального правдоподобия. Рассмотрению этого метода и посвящена данная глава.
22.1. Оценки параметров модели AR(1)
Рассмотрим только случай модели AR(1): xt = εt + ϕxt−1, t = 1, . . . , T, на примере которого хорошо видна и общая ситуация.
Чтобы воспользоваться методом максимума правдоподобия, вычислим плотности распределения вероятности наблюдений x1, x2, . . . , xT :
f (x1, . . . , xT ) = f (x1) · f (x2|x1) · f (x3|x2) · . . . · f (xT |xT −1).
Предположим, что условное распределения xt при известном xt−1 нормально. В соответствии с моделью AR(1) это распределение имеет среднее ϕxt−1 и дис-
22.2. Оценка параметров модели MA(1) |
647 |
обойтись, соглашаясь с незначительными потерями точности оценки, но сильно сокращая объем вычислений. Этим обстоятельством объясняется использование МНК-оценок.
22.2. Оценка параметров модели MA(1)
Продемонстрировать общий метод оценивания модели MA(p) можно, рассматривая простейший случай модели MA(1): xt = εt − θεt−1.
Отталкиваясь от наблюдений x1, x2, . . . , xT , воспользуемся методом максимального правдоподобия (ММП). Для этого необходимо вычислить для модели функцию плотности распределения вероятности. Это легче всего сделать, перейдя от последовательности xt к последовательности εt.
x1 = ε1 − θε0 ε1 = x1 + θε0,
x2 = ε2 − θε1 x2 = ε2 − θx1 − θ2ε0 ε2 = x2 + θx1 + θ2ε0
и так далее.
Получаем систему: |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
ε1 |
|
|
θ |
|
|
1 |
|
|
0 |
0 |
· · · |
|
0 |
|
x1 |
|
|||||
ε2 |
= |
|
θ2 |
|
+ |
θ |
|
|
1 |
0 |
· · · |
|
0 |
|
x2 |
|
|||||
ε3 |
|
θ |
3 |
ε0 |
θ |
2 |
|
|
θ |
1 |
· · · |
|
0 |
|
x3 |
. |
|||||
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
. |
|
|
. |
|
|
. |
|
|
. |
. |
. |
. |
|
|
. |
|
|
. |
|
||
. |
|
|
. |
|
|
. |
|
|
. |
. |
|
. |
|
|
. |
|
|||||
. |
|
|
. |
|
|
. |
|
|
. |
. |
|
|
. . |
|
|
. |
|
||||
εT |
|
|
θT |
|
θT −1 θT −2 |
θT −3 · · · |
|
1 |
|
xT |
|
||||||||||
Это система уравнений относительно θ. В векторной форме |
|
|
|
|
|||||||||||||||||
|
|
|
|
|
|
|
|
˜ |
|
+ Qx, |
|
|
|
|
|
|
|
|
|
(22.1) |
|
|
|
|
|
|
|
ε = θε0 |
|
|
|
|
|
|
|
|
|
||||||
где мы обозначили |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
θ |
|
|
|
|
1 |
|
0 |
0 |
|
|
|
· · · |
0 |
|
|
||||
˜ |
|
θ2 |
|
и |
Q = |
|
θ |
|
1 |
0 |
|
|
|
· · · |
0 |
|
|
||||
|
|
3 |
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
. |
|
|||
θ = |
|
θ |
|
|
θ |
|
θ |
1 |
|
|
|
· · · |
0 |
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
. |
|
|
|
|
. |
|
. |
. |
|
|
|
. |
. |
|
. |
|
|
||
|
|
. |
|
|
|
|
. |
|
. |
. |
|
|
|
|
. |
|
|
||||
|
|
. |
|
|
|
|
. |
|
. |
. |
|
|
|
|
|
. . |
|
|
|||
|
|
θT |
|
|
|
|
θT −1 |
θT −2 θT −3 · · · |
1 |
|
|
648 |
Глава 22. Эффективные оценки параметров модели ARMA |
Будем полагать, что εt — последовательность независимых случайных величин, имеющих одинаковое нормальное распределение со средним 0 и дисперсией σε2 .
Плотность распределения вероятности записывается в виде
|
|
|
1 |
T |
|
|
|
|
− |
|
2 |
|
|
f (ε0, . . . , εT ) = f (ε0, x1, . . . , xT ) = (2πσε2)− |
T +1 |
2σ2 |
|
εt |
(22.2) |
|
2 e |
|
ε t=0 |
. |
Метод максимального правдоподобия заключается в нахождении такого значения θ, при котором достигается максимум (22.2), или, что эквивалентно, достигает минимума сумма квадратов
|
T |
|
|
1 + θ˜ |
θ˜ |
|
+ 2x Q θε˜ |
|
|
|
S (θ ε ) = |
ε2 |
= ε2 |
+ ε ε = |
ε2 |
0 |
+ x Q Qx. |
(22.3) |
|||
| 0 |
t |
0 |
|
|
|
0 |
|
|
|
t=0
Необходимо рассмотреть теперь проблему определения величины ε0 . Первый
подход — положить ε0 = 0. Тогда требуется минимизировать x Q QX → min!
θ
Эта нелинейная задача решается разными вычислительными методами. Полученные таким путем решения называется условным МНК-решением, а θ =
= arg min x Q QX — условной МНК-оценкой.
θ
При втором подходе величина ε0 вместе с θ входит в число подлежащих минимизации свободных параметров. Так как величина ε0 входит в выражение для εt линейно, то можно частично облегчить оптимизационную процедуру, поставив вме-
сто ε0 значение εˆ0 , минимизирующее функцию s при данном θ. |
|
|||||||||||||||||||||
То есть на первом шаге решаем задачу |
S(θ|ε0) |
→ |
min! |
|
|
|
|
|
|
|
||||||||||||
|
|
|
|
|
|
|
|
|
ε0 |
|
|
|
|
|
|
|
||||||
|
∂S(θ|ε0) |
= 2(1 + θ˜ |
θ˜)ε |
+ 2x Q θ˜ = 0 |
|
|
|
|
|
εˆ = |
− |
x Q θ˜ |
. |
|
||||||||
|
|
|
|
|
|
|
|
|||||||||||||||
|
∂ε |
|
|
|
0 |
|
|
|
|
|
|
|
0 |
|
˜ ˜ |
|
||||||
0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 + θ θ |
|
|||
Далее, подставим εˆ0 = εˆ0(θ) в S(θ|ε0) (22.3) и решим задачу: |
|
|
|
|
|
|||||||||||||||||
S (θ|εˆ0 (θ)) → |
min! |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
θ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
S (θ εˆ (θ)) = 1 + θ˜ θ˜ |
x Q θ˜ |
|
2 |
|
|
|
|
2(x Q θ˜)2 |
|
|
|
|
|
|
|
|||||||
+ x Q Qx |
− |
|
|
= |
|
|
|
|
||||||||||||||
|
˜ ˜ |
|
|
|
˜ ˜ |
|
|
|
|
|
||||||||||||
| 0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
1 + θ θ |
|
|
|
|
|
1 + θ θ |
|
|
(x Q θ˜)2 |
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
= x Q Qx |
|
|
min! |
|||||||||
|
|
|
|
|
|
|
|
|
|
− |
|
˜ ˜ → |
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
ε0, θ |
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 + θ θ |
|
||
Полученное при таком подходе значение θ , минимизирующее функцию S(θ), |
||||||||||||||||||||||
называют точной МНК-оценкой для θ и |
εˆ0 = − |
x Q θ˜ |
|
|
|
|
|
|
|
|||||||||||||
|
|
|
|
. |
|
|
|
|
|
|
|
|||||||||||
|
|
˜ |
˜ |
|
|
|
|
|
|
|
||||||||||||
|
|
|
|
|
|
|
|
|
|
1 + θ θ |
|
|
|
|
|
|
|
22.2. Оценка параметров модели MA(1) |
649 |
Небольшой дополнительный анализ приводит к точным ММП-оценкам.
Обозначим ˜ ˜ . Функцию правдоподобия можно представить в виде
1 + θ θ = K
f (ε0, . . . , εT ) = f (ε0, x1, . . . , xT ) =
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2 |
−21 |
|
|
K |
|
|
|
2 |
|
|
|
|
|
|
|
|
T |
|
1 |
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
2πσε |
|
|
− |
2σ2 |
|
(ε0−εˆ0) |
|
|
|
|
|
1 |
|
2 |
− 2 |
|
− |
2σ2 |
S(θ) |
|
||||||||
|
|
|
|
|
|
|
|
|
= |
|
|
|
|
|
e |
|
|
ε |
|
|
|
|
|
K−2 2πσε |
|
e |
|
ε |
, |
||||||||||
|
|
|
|
|
|
|
|
|
|
K |
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||
|
S (θ) = x Q Qx − |
(x Q θ˜)2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
где |
|
|
. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
|
˜ ˜ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||
|
|
|
|
|
|
|
|
|
1 + θ θ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
Видим, что первая часть этой записи — это функция плотности распределе- |
||||||||||||||||||||||||||||||||||||||
|
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
ния |
ε0 N (ˆε0, |
σε |
|
), т.е первая часть представляет собой условное распреде- |
|||||||||||||||||||||||||||||||||||
K |
|||||||||||||||||||||||||||||||||||||||
ление f (ε0|x1, . . . , xT ) неизвестного значения ε0 |
|
|
при известных наблюдениях |
||||||||||||||||||||||||||||||||||||
x1, x2, . . . , xT . |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
Вторая часть записи — это |
частная |
|
|
функция |
|
плотности |
распределения |
|||||||||||||||||||||||||||||||
вероятности наблюдений x1, x2, . . . , xT , |
т.е. f (x1, . . . , xT ). Действительно, |
||||||||||||||||||||||||||||||||||||||
x = ε0c + Dε, где |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
−θ |
|
|
|
|
|
|
|
|
1 |
|
|
0 |
|
· · · |
0 |
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
. |
|
. |
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
c = |
0 |
|
|
, D = |
|
−θ 1 |
|
|
|
. . . |
|
|
|
|
|
|
|
|
||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
. |
|
|
. . |
|
|
|
|
|
|
|
||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
. |
|
|
|
|
|
|
|
|
|
. . |
. |
|
|
. |
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
. |
|
|
|
|
|
|
|
|
|
. |
|
|
. |
|
|
|
. |
0 |
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
. |
|
|
|
|
|
|
|
|
|
. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
0 |
|
|
|
|
|
|
|
|
0 |
· · · |
|
−θ |
1 |
|
|
|
|
|
|
|
|
||||||||
Ковариационная матрица ряда x равна |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||
Γ = E(xx ) = E (ε0c + Dε) (ε0c + Dε) |
|
= |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
= E ε02cc + E Dεε D |
= σε2(cc |
+ DD ). |
||||||||||||||||||||||
Обратная к ней: |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
Γ−1 = |
1 |
(cc + DD )−1 |
= |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
|
|
σε2 |
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
1 |
−1 |
|
|
|
|
1 |
|
|||
|
= |
|
|
|
DD − |
|
|
− |
DD − |
|
c 1 + c |
|
DD − |
|
c c DD − |
. |
|||||||||||||||||||||||
|
σ2 |
|
|
|
|
|
|||||||||||||||||||||||||||||||||
|
|
|
|
|
ε |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
Заметим, что |
D− |
1 |
|
|
|
|
|
|
−1 |
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
˜ |
|
|
|
|
|
||||||
|
|
= Q, (D D) |
= Q Q и −D− |
c = −Qc = θ. Тогда |
|
|
|||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
Γ−1 = |
1 |
|
Q Q |
− |
Q θθ Q |
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
. |
|
|
|
|
|
|
|
|
|||||||||||||||||
|
|
|
|
|
|
|
|
|
|
σ2 |
1 + θ |
θ |
|
|
|
|
|
|
|
|
|||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
ε |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
22.3. Оценки параметров модели ARMA(P, Q) |
651 |
22.3. Оценки параметров модели ARMA(p, q)
Рассмотрим модели ARMA(p, q) ряда {xt}:
xt − ϕ1xt−1 − · · · − ϕpxt−p = εt − θ1εt−1 − · · · − θq εt−q .
Будем полагать, что εt — последовательность независимых случайных величин, имеющих одинаковое нормальное распределение со средним 0 и дисперси-
ей σε2. |
|
|
|
|
|
|
|
Через автоковариационную |
функцию |
стационарного |
ARMA-процесса |
||||
γi = E[xtxt−i] можно выразить ковариационную матрицу x = (x1, . . . , xT ) |
|||||||
γ0 |
γ1 |
· · · |
γT −1 |
|
|
||
γ1 |
γ0 |
· · · |
γT −2 |
= Γ. |
|
||
. |
. |
. |
. |
|
. |
|
|
. |
. |
|
. |
. |
|
|
|
. |
. |
|
|
. |
|
|
|
γT −1 |
γT −2 · · · |
γ0 |
|
|
|||
Она является симметричной |
тёплицевой матрицей и |
обозначается как |
|||||
τ [γ0, . . . , γT −1]. |
|
|
|
|
|
|
|
Так как x NT (0, Γ), то логарифмическая функция правдоподобия процесса
равна |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
ln L(θ, ϕ, σ2 ) = |
|
T |
ln(2πσ2 ) |
− |
|
1 |
ln Γ |
|
1 |
x Γ−1x. |
(22.4) |
||||||||||||
|
|
|
|
2 |
|
||||||||||||||||||||
|
|
|
ε |
− 2 |
|
ε |
|
| | − 2 |
|
|
|||||||||||||||
Через ri |
обозначаем автоковариацию, нормированную на дисперсию ошибок, |
||||||||||||||||||||||||
т.е. ri = |
γi |
, а через R обозначаем матрицу τ |
γ0 |
, . . . , |
γT − 1 |
. В терминах |
|||||||||||||||||||
|
|
|
|
||||||||||||||||||||||
|
σε2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
σε2 |
|
|
|
σε2 |
|
||||
нормированной R логарифмическая функция правдоподобия (22.4) записывается |
|||||||||||||||||||||||||
следующим образом: |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
ln L(θ, ϕ, σ2) = |
|
T |
ln(2πσ2) |
|
1 |
ln |
|
R |
|
|
1 |
x R−1x |
|
max! |
|||||||||||
|
|
|
| |
| − 2σε2 |
→ |
||||||||||||||||||||
|
|
ε |
− 2 |
|
|
ε |
− 2 |
|
|
|
|
|
|
|
|
Воспользовавшись условиями первого порядка
|
∂ ln L(θ, ϕ, σ2) |
|
|
|
|
ε |
= 0, |
|
|
|
∂σ2 |
|
||
|
|
|
||
|
ε |
|
|
|
получим оценку σε2 как функцию от θ и ϕ : |
|
|
||
σε2 = σε2(θ, ϕ) = |
x R−1x |
. |
||
|
||||
|
|
|
T |
652 |
Глава 22. Эффективные оценки параметров модели ARMA |
|||||||||||
Поставив оценку σε2 |
в логарифмическую функцию правдоподобия, получим |
|||||||||||
концентрированную функцию правдоподобия |
|
|
|
|
|
|||||||
|
|
T |
|
T |
1 |
|
T |
x R−1x |
|
|||
|
ln Lc(θ, ϕ) = − |
|
ln(2π) − |
|
− |
|
ln |R| − |
|
ln |
|
|
→ max! |
|
2 |
2 |
2 |
2 |
T |
Точные оценки параметров ARMA для процесса xt можно найти, максимизируя функцию ln Lc(θ, ϕ), что делается с помощью численных методов.
22.4. Упражнения и задачи
Упражнение 1
Сгенерируйте ряд длиной 200 наблюдений по модели MA(1) с параметром θ1 = 0.5 и нормально распределенной неавтокоррелированной ошибкой с единичной дисперсией. По этому ряду оцените модель MA(1) методом моментов (приравнивая теоретические и выборочные автокорреляции), условным методом наименьших квадратов и точным методом максимального правдоподобия. Сравните все эти оценки с истинным значением.
Упражнение 2
Сгенерируйте ряд длиной 200 наблюдений по модели AR(1) с параметром ϕ1 = 0.5 и нормально распределенной неавтокоррелированной ошибкой с единичной дисперсией. По этому ряду оцените модель AR(1) методом моментов (приравнивая теоретические и выборочные автокорреляции), условным методом наименьших квадратов и точным методом максимального правдоподобия. Сравните все эти оценки с истинным значением.
Упражнение 3
Сгенерируйте ряд длиной 200 наблюдений по модели ARMA(1, 1) с параметрами ϕ1 = 0.5 и θ1 = 0.5 и нормально распределенной неавтокоррелированной ошибкой с единичной дисперсией. По этому ряду оцените модель ARMA(1, 1) методом моментов (приравнивая теоретические и выборочные автокорреляции), условным методом наименьших квадратов и точным методом максимального правдоподобия. Сравните все эти оценки с истинными значениями.
Задачи
1.Какие предположения должны выполняться, чтобы можно было оценить модель MA(1) с помощью метода максимального правдоподобия?