Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:

ЭКОНОМЕТРИКА и математическая экономика / Эконометрика. Учебник продвинутый (2005)

.pdf
Скачиваний:
511
Добавлен:
20.04.2015
Размер:
4.02 Mб
Скачать

21.3. Упражнения и задачи

643

2.Davidson R., MacKinnon J.G. Estimation and Inference in Econometrics. — Oxford University Press, 1993. (Ch. 15).

3.Greene W.H. Econometric Analysis. — Prentice-Hall, 2000. (Ch. 8, 19).

4.Maddala G.S. Limited-Dependent and Qualitative Variables in Econometrics, Cambridge University Press, 1983. (Ch. 2, 3, 5).

5.Wooldridge Jeffrey M. Introductory Econometrics: A Modern Approach, 2nd ed. — Thomson, 2003. (Ch. 17).

6.Baltagi, Badi H. Econometrics, 2nd edition, Springer, 1999 (Ch. 13).

7.Ruud Paul A. An Introduction to Classical Econometric Theory, Oxford University Press, 2000 (Ch. 27).

Глава 22

Эффективные оценки параметров модели ARMA

В главе 14 «Линейные стохастические модели ARIMA» были рассмотрены два метода оценки параметров моделей ARMA: линейная регрессия для оценивания авторегрессий и метод моментов для общей модели ARMA. Эти методы не обеспечивают эффективность оценок параметров модели. Можно предложить способы оценивания, которые дают более точные оценки. Для этого можно использовать метод максимального правдоподобия. Рассмотрению этого метода и посвящена данная глава.

22.1. Оценки параметров модели AR(1)

Рассмотрим только случай модели AR(1): xt = εt + ϕxt−1, t = 1, . . . , T, на примере которого хорошо видна и общая ситуация.

Чтобы воспользоваться методом максимума правдоподобия, вычислим плотности распределения вероятности наблюдений x1, x2, . . . , xT :

f (x1, . . . , xT ) = f (x1) · f (x2|x1) · f (x3|x2) · . . . · f (xT |xT −1).

Предположим, что условное распределения xt при известном xt−1 нормально. В соответствии с моделью AR(1) это распределение имеет среднее ϕxt−1 и дис-

22.1. Оценки параметров модели AR(1)

 

 

 

 

 

 

645

персию σ2 . Значит,

 

 

 

 

 

 

 

 

 

 

ε

 

 

 

 

 

 

 

 

 

 

 

T

 

 

1

2

 

 

 

 

f (x1, . . . , xT ) = f (x1)

2

1

 

(xt−ϕxt−1)

 

=

 

 

 

2σ2

 

 

 

 

(2πσε )

2

· e

ε

 

 

 

 

 

 

t=2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

T

 

 

 

 

 

 

 

 

 

 

2

 

 

 

 

 

 

 

1

 

(xt−ϕxt−1)

 

 

 

= f (x1)(2πσε2 )

T

2σ2

 

 

 

 

 

2 e

ε t=2

.

Плотность как функция параметров ϕ и σε является функцией правдоподобия.

Вместо полной плотности f (x1, . . . , xT ) в качестве приближения рассмотрим плотность условного распределения x2, . . . , xT , считая x1 заданным, т.е. будем оперировать с f (x2, . . . , xT |x1).

Тем самым мы потеряем одну степень свободы. Приближенная функция правдоподобия равна

 

 

 

 

 

 

1

 

T

 

 

 

 

 

 

 

 

 

1)2

 

 

 

 

 

 

 

 

 

2

T −1

 

 

 

 

(xt

ϕxt

 

T −1

 

 

1

 

 

 

 

2

 

 

 

 

 

 

2

2

 

2σ

ε t=2

 

 

 

 

 

 

2

2

 

 

2 s(ϕ)

 

L(ϕ, σε ) = 2πσε

 

e

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

= 2πσε

 

 

e

 

 

 

,

T

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

где s(ϕ) = t=2 (xt ϕxt−1)2 .

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Максимизируя ее по σε2 , выразим σε2

через ϕ :

 

 

 

 

 

 

 

 

 

 

 

 

 

 

σ2

=

 

s(ϕ)

.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ε

 

 

 

 

T − 1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Подставляя это выражение в L

(ϕ, σ2), получим концентрированную функцию

правдоподобия:

 

 

 

 

 

 

 

 

 

ε

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

c

 

 

 

 

 

 

 

 

s(ϕ)

T −2 1

T −1

 

 

 

 

 

 

 

 

L(ϕ) = 2π

 

 

 

 

 

 

 

 

 

 

e

2 .

 

 

 

 

 

 

 

 

T

1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Максимизация Lc

(ϕ) по

ϕ эквивалентна минимизации суммы квадратов

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

T

 

T

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

s(ϕ) = t=2(xt ϕxt−1 )2 = t=2 εt2 . Таким образом, задача сводится к обычному

МНК. Минимум этого выражения по ϕ равен просто

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

T

xtxt−1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ϕ =

t=2

 

 

 

 

 

 

 

.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

T −1 x2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

t

 

 

 

 

 

 

 

 

 

 

 

t=1

Получили условную МНК-оценку. Несложно обобщить этот метод на случай

AR(p) при p > 1.

646 Глава 22. Эффективные оценки параметров модели ARMA

Мы знаем, что в качестве оценки ϕ можно использовать выборочную автокорреляцию r1 . Но так как условная МНК-оценка несколько иная, в вырожденных случаях можно получить значения |ϕ| > 1. Это можно обойти, учитывая информацию о x1. Для этого воспользуемся тем, что частное распределение x1 является

 

 

σ2

 

нормальным со средним 0 и дисперсией σ2

=

ε

.

1 − ϕ2

x1

 

 

Можно воспользоваться здесь взвешенным МНК. Сумма квадратов остатков после преобразования в пространстве наблюдений равна

 

 

 

T

(xt − ϕxt−1 )2.

 

 

 

 

 

 

h(ϕ) = 1 − ϕ2 x12 +

 

 

 

 

 

 

 

 

 

t=2

 

 

 

 

 

 

 

 

 

 

 

 

Получим точную МНК-оценку

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ϕˆ = argmin h(ϕ).

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ϕ

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

2

 

 

 

 

 

 

 

 

 

2

 

1

 

(1−ϕ

)x1

 

 

 

 

 

 

 

 

 

 

σε

 

2

2σ2

 

 

Плотность частного распределения x1

равна f (x1) =

2π 1−ϕ2

 

ε

.

 

 

e

 

 

 

Отсюда f (x1, . . . , xT ) =

1 − ϕ2

1

T

12

h(ϕ)

 

 

 

 

 

 

2 2πσε2

2

e 2σε

. Будем рассматривать

эту плотность как функцию правдоподобия, обозначая через L(ϕ, σ2).

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ε

 

 

 

 

Точную ММП-оценку находим из условия L(ϕ, σ2)

max.

 

 

 

 

 

 

 

 

 

 

 

ε

σε2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Оценкой σ2 будет h(ϕ)

T

. Концентрируя функцию правдоподобия по σ2

,

ε

 

 

 

 

 

 

 

 

 

 

 

 

ε

 

получим:

 

 

 

2

 

 

 

h (ϕ)

T

T

 

 

 

 

 

 

2

Lc(ϕ) = 1 − ϕ2

1

2π

 

 

 

 

e2

 

 

 

 

 

 

T

 

 

Это эквивалентно решению задачи

 

 

 

 

 

 

 

 

 

1

 

ϕ2

1

h (ϕ)

min!

T

 

 

 

 

 

 

 

ϕ

max!

ϕ

Отсюда найдем ММП-оценку ϕ˜ и σ˜ε2 =

h(ϕ˜ )

.

 

 

 

 

T

Множитель 1 − ϕ2

1

обеспечивает существование минимума в допустимом

T

интервале 1 < ϕ < 1, хотя теперь для нахождения минимума требуются итерационные процедуры. Для таких процедур оценка r1 может послужить хорошим начальным приближением.

Величина 1 − ϕ2 не зависит от T , и с ростом T множитель (1 − ϕ2)T1 стремится к единице. Поэтому этот множитель существенен при малых объемах выборок и |ϕ| близких к 1. При больших T и |ϕ| не очень близких к 1 без него можно

22.2. Оценка параметров модели MA(1)

647

обойтись, соглашаясь с незначительными потерями точности оценки, но сильно сокращая объем вычислений. Этим обстоятельством объясняется использование МНК-оценок.

22.2. Оценка параметров модели MA(1)

Продемонстрировать общий метод оценивания модели MA(p) можно, рассматривая простейший случай модели MA(1): xt = εt − θεt−1.

Отталкиваясь от наблюдений x1, x2, . . . , xT , воспользуемся методом максимального правдоподобия (ММП). Для этого необходимо вычислить для модели функцию плотности распределения вероятности. Это легче всего сделать, перейдя от последовательности xt к последовательности εt.

x1 = ε1 − θε0 ε1 = x1 + θε0,

x2 = ε2 − θε1 x2 = ε2 − θx1 − θ2ε0 ε2 = x2 + θx1 + θ2ε0

и так далее.

Получаем систему:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ε1

 

 

θ

 

 

1

 

 

0

0

· · ·

 

0

 

x1

 

ε2

=

 

θ2

 

+

θ

 

 

1

0

· · ·

 

0

 

x2

 

ε3

 

θ

3

ε0

θ

2

 

 

θ

1

· · ·

 

0

 

x3

.

 

 

 

 

 

 

 

 

 

 

 

.

 

 

.

 

 

.

 

 

.

.

.

.

 

 

.

 

 

.

 

.

 

 

.

 

 

.

 

 

.

.

 

.

 

 

.

 

.

 

 

.

 

 

.

 

 

.

.

 

 

. .

 

 

.

 

εT

 

 

θT

 

θT −1 θT −2

θT −3 · · ·

 

1

 

xT

 

Это система уравнений относительно θ. В векторной форме

 

 

 

 

 

 

 

 

 

 

 

 

˜

 

+ Qx,

 

 

 

 

 

 

 

 

 

(22.1)

 

 

 

 

 

 

ε = θε0

 

 

 

 

 

 

 

 

 

где мы обозначили

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

θ

 

 

 

 

1

 

0

0

 

 

 

· · ·

0

 

 

˜

 

θ2

 

и

Q =

 

θ

 

1

0

 

 

 

· · ·

0

 

 

 

 

3

 

 

 

2

 

 

 

 

 

 

 

 

 

 

.

 

θ =

 

θ

 

 

θ

 

θ

1

 

 

 

· · ·

0

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

.

 

 

 

 

.

 

.

.

 

 

 

.

.

 

.

 

 

 

 

.

 

 

 

 

.

 

.

.

 

 

 

 

.

 

 

 

 

.

 

 

 

 

.

 

.

.

 

 

 

 

 

. .

 

 

 

 

θT

 

 

 

 

θT −1

θT −2 θT −3 · · ·

1

 

 

648

Глава 22. Эффективные оценки параметров модели ARMA

Будем полагать, что εt — последовательность независимых случайных величин, имеющих одинаковое нормальное распределение со средним 0 и дисперсией σε2 .

Плотность распределения вероятности записывается в виде

 

 

 

1

T

 

 

 

 

 

2

 

f (ε0, . . . , εT ) = f (ε0, x1, . . . , xT ) = (2πσε2)

T +1

2σ2

 

εt

(22.2)

2 e

 

ε t=0

.

Метод максимального правдоподобия заключается в нахождении такого значения θ, при котором достигается максимум (22.2), или, что эквивалентно, достигает минимума сумма квадратов

 

T

 

 

1 + θ˜

θ˜

 

+ 2x Q θε˜

 

 

 

S (θ ε ) =

ε2

= ε2

+ ε ε =

ε2

0

+ x Q Qx.

(22.3)

| 0

t

0

 

 

 

0

 

 

 

t=0

Необходимо рассмотреть теперь проблему определения величины ε0 . Первый

подход — положить ε0 = 0. Тогда требуется минимизировать x Q QX → min!

θ

Эта нелинейная задача решается разными вычислительными методами. Полученные таким путем решения называется условным МНК-решением, а θ =

= arg min x Q QX условной МНК-оценкой.

θ

При втором подходе величина ε0 вместе с θ входит в число подлежащих минимизации свободных параметров. Так как величина ε0 входит в выражение для εt линейно, то можно частично облегчить оптимизационную процедуру, поставив вме-

сто ε0 значение εˆ0 , минимизирующее функцию s при данном θ.

 

То есть на первом шаге решаем задачу

S(θ|ε0)

min!

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ε0

 

 

 

 

 

 

 

 

∂S(θ|ε0)

= 2(1 + θ˜

θ˜)ε

+ 2x Q θ˜ = 0

 

 

 

 

 

εˆ =

x Q θ˜

.

 

 

 

 

 

 

 

 

 

 

∂ε

 

 

 

0

 

 

 

 

 

 

 

0

 

˜ ˜

 

0

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1 + θ θ

 

Далее, подставим εˆ0 = εˆ0(θ) в S(θ|ε0) (22.3) и решим задачу:

 

 

 

 

 

S (θ|εˆ0 (θ))

min!

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

θ

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

S (θ εˆ (θ)) = 1 + θ˜ θ˜

x Q θ˜

 

2

 

 

 

 

2(x Q θ˜)2

 

 

 

 

 

 

 

+ x Q Qx

 

 

=

 

 

 

 

 

˜ ˜

 

 

 

˜ ˜

 

 

 

 

 

| 0

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1 + θ θ

 

 

 

 

 

1 + θ θ

 

 

(x Q θ˜)2

 

 

 

 

 

 

 

 

 

 

 

 

= x Q Qx

 

 

min!

 

 

 

 

 

 

 

 

 

 

 

˜ ˜

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ε0, θ

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1 + θ θ

 

Полученное при таком подходе значение θ , минимизирующее функцию S(θ),

называют точной МНК-оценкой для θ и

εˆ0 =

x Q θ˜

 

 

 

 

 

 

 

 

 

 

 

.

 

 

 

 

 

 

 

 

 

˜

˜

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1 + θ θ

 

 

 

 

 

 

 

22.2. Оценка параметров модели MA(1)

649

Небольшой дополнительный анализ приводит к точным ММП-оценкам.

Обозначим ˜ ˜ . Функцию правдоподобия можно представить в виде

1 + θ θ = K

f (ε0, . . . , εT ) = f (ε0, x1, . . . , xT ) =

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

21

 

 

K

 

 

 

2

 

 

 

 

 

 

 

 

T

 

1

 

 

 

 

 

 

 

 

 

 

 

 

 

2πσε

 

 

2σ2

 

(ε0−εˆ0)

 

 

 

 

 

1

 

2

2

 

2σ2

S(θ)

 

 

 

 

 

 

 

 

 

 

=

 

 

 

 

 

e

 

 

ε

 

 

 

 

 

K2 2πσε

 

e

 

ε

,

 

 

 

 

 

 

 

 

 

 

K

 

 

 

 

 

 

 

 

 

 

 

S (θ) = x Q Qx −

(x Q θ˜)2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

где

 

 

.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

˜ ˜

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1 + θ θ

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Видим, что первая часть этой записи — это функция плотности распределе-

 

 

 

 

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ния

ε0 N ε0,

σε

 

), т.е первая часть представляет собой условное распреде-

K

ление f (ε0|x1, . . . , xT ) неизвестного значения ε0

 

 

при известных наблюдениях

x1, x2, . . . , xT .

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Вторая часть записи — это

частная

 

 

функция

 

плотности

распределения

вероятности наблюдений x1, x2, . . . , xT ,

т.е. f (x1, . . . , xT ). Действительно,

x = ε0c + , где

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

−θ

 

 

 

 

 

 

 

 

1

 

 

0

 

· · ·

0

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

.

 

.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

c =

0

 

 

, D =

 

−θ 1

 

 

 

. . .

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

.

 

 

. .

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

.

 

 

 

 

 

 

 

 

 

. .

.

 

 

.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

.

 

 

 

 

 

 

 

 

 

.

 

 

.

 

 

 

.

0

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

.

 

 

 

 

 

 

 

 

 

.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

0

 

 

 

 

 

 

 

 

0

· · ·

 

−θ

1

 

 

 

 

 

 

 

 

Ковариационная матрица ряда x равна

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Γ = E(xx ) = E (ε0c + ) (ε0c + )

 

=

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

= E ε02cc + E Dεε D

= σε2(cc

+ DD ).

Обратная к ней:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Γ1 =

1

(cc + DD )1

=

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

σε2

1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

 

 

1

 

 

 

 

 

 

 

 

 

 

 

 

1

1

 

 

 

 

1

 

 

=

 

 

 

DD

 

 

DD

 

c 1 + c

 

DD

 

c c DD

.

 

σ2

 

 

 

 

 

 

 

 

 

 

ε

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Заметим, что

D

1

 

 

 

 

 

 

1

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

 

˜

 

 

 

 

 

 

 

= Q, (D D)

= Q Q и −D

c = −Qc = θ. Тогда

 

 

 

 

 

 

 

 

 

 

 

 

Γ1 =

1

 

Q Q

Q θθ Q

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

σ2

1 + θ

θ

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ε

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

650

 

Глава 22. Эффективные оценки параметров модели ARMA

Определитель ковариационной матрицы Γ:

 

 

 

 

 

Γ

= σ2T cc + DD = σ2T

1 + c

DD 1 c DD =

 

 

 

 

 

| |

 

ε

ε

 

 

 

 

 

 

 

 

 

 

1

 

 

˜ ˜

 

 

 

 

 

 

 

2T

 

1 + c DD

 

2T

 

 

 

 

 

 

= σε

 

 

 

c = σε

1 + θ θ ,

где мы воспользовались тем, что |D| = 1 и |DD | = |D||D | = 1.

 

По формуле плотности многомерного нормального распределения

 

f (x

, . . . , x ) = (2π)T2

Γ

21 e21 x Γ1x

=

 

 

 

 

 

 

 

 

 

 

1

T

|

|

 

 

 

 

 

 

 

 

 

 

Q θθ Q

 

 

 

 

 

T

 

 

1

 

 

1

x Q Q−

 

 

 

 

2

2

1 + θ˜ θ˜

2

 

 

 

 

x

 

 

 

 

2σ2

1+θ θ

 

 

 

= 2πσε

 

 

 

e

 

ε

 

 

 

.

 

 

 

 

 

 

 

2

T

 

1

 

 

 

 

 

 

 

 

 

 

 

1

2

 

 

S(θ)

 

 

 

 

 

 

 

 

 

 

e

2σ2

 

 

 

 

 

Поэтому f (x1, . . . , xT ) = K2 2πσε

 

 

 

 

ε .

 

 

 

 

 

Итак, необходимо решить задачу:

f (ε0, . . . , εT ) = f (ε0, x1, . . . , xT ) =

= f (ε0|x1, . . . , xT ) · f (x1, . . . , xT ) max!

ε0, θ

От ε0 зависит только первая часть ε0 = εˆ0 , а задача приобретает вид

f (x1

, . . . , xT )

 

max!

 

K

1

2

T

1

S(θ)

 

max!

 

 

2

2σ2

 

 

2

2πσε

 

e

ε

 

 

θ

 

 

 

 

 

 

 

σε2,

Нетрудно получить оценку по σε2 : σˆε2 = S(θ) T . Концентрируем функцию правдоподобия:

f

 

(x

, . . . , x

 

) = K

21

2π

S (θ)

T2

eT2

max!

 

 

 

 

c

1

 

T

 

 

 

T

 

θ

Собираем в данной функции вместе все, что зависит от θ, и получаем

1

 

T

 

 

 

2

 

T

 

 

.

 

 

 

 

 

 

1

S (θ)

 

2πe

K

T

 

 

T

2 1

max! K T S (θ) min!

θ

θ

Значение ˆ , минимизирующее функцию 1/ , называют точной ММП-

θ K T S(θ)

оценкой.

Заметим, что функция K зависит лишь от θ , не зависит от наблюдений, и с ро-

стом T величина K1/ стремится к единице. Поэтому этот множитель существе-

T

нен лишь при малых объемах выборок и в этом случае не представляет труда для вычислений, а при умеренно больших T без него можно обойтись, соглашаясь с незначительным смещением оценки, но сильно сокращая объем вычислений, особенно в случае MA(q). Этим обстоятельством объясняется использование точных МНК-оценок.

22.3. Оценки параметров модели ARMA(P, Q)

651

22.3. Оценки параметров модели ARMA(p, q)

Рассмотрим модели ARMA(p, q) ряда {xt}:

xt − ϕ1xt−1 − · · · − ϕpxt−p = εt − θ1εt−1 − · · · − θq εt−q .

Будем полагать, что εt — последовательность независимых случайных величин, имеющих одинаковое нормальное распределение со средним 0 и дисперси-

ей σε2.

 

 

 

 

 

 

 

Через автоковариационную

функцию

стационарного

ARMA-процесса

γi = E[xtxt−i] можно выразить ковариационную матрицу x = (x1, . . . , xT )

γ0

γ1

· · ·

γT −1

 

 

γ1

γ0

· · ·

γT −2

= Γ.

 

.

.

.

.

 

.

 

 

.

.

 

.

.

 

 

.

.

 

 

.

 

 

γT −1

γT −2 · · ·

γ0

 

 

Она является симметричной

тёплицевой матрицей и

обозначается как

τ [γ0, . . . , γT −1].

 

 

 

 

 

 

 

Так как x NT (0, Γ), то логарифмическая функция правдоподобия процесса

равна

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ln L(θ, ϕ, σ2 ) =

 

T

ln(2πσ2 )

 

1

ln Γ

 

1

x Γ1x.

(22.4)

 

 

 

 

2

 

 

 

 

ε

2

 

ε

 

| | − 2

 

 

Через ri

обозначаем автоковариацию, нормированную на дисперсию ошибок,

т.е. ri =

γi

, а через R обозначаем матрицу τ

γ0

, . . . ,

γT − 1

. В терминах

 

 

 

 

 

σε2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

σε2

 

 

 

σε2

 

нормированной R логарифмическая функция правдоподобия (22.4) записывается

следующим образом:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ln L(θ, ϕ, σ2) =

 

T

ln(2πσ2)

 

1

ln

 

R

 

 

1

x R1x

 

max!

 

 

 

|

| − 2σε2

 

 

ε

2

 

 

ε

2

 

 

 

 

 

 

 

 

Воспользовавшись условиями первого порядка

 

ln L(θ, ϕ, σ2)

 

 

 

ε

= 0,

 

 

∂σ2

 

 

 

 

 

ε

 

 

получим оценку σε2 как функцию от θ и ϕ :

 

 

σε2 = σε2(θ, ϕ) =

x R1x

.

 

 

 

 

T

652

Глава 22. Эффективные оценки параметров модели ARMA

Поставив оценку σε2

в логарифмическую функцию правдоподобия, получим

концентрированную функцию правдоподобия

 

 

 

 

 

 

 

T

 

T

1

 

T

x R1x

 

 

ln Lc(θ, ϕ) =

 

ln(2π)

 

 

ln |R| −

 

ln

 

 

max!

 

2

2

2

2

T

Точные оценки параметров ARMA для процесса xt можно найти, максимизируя функцию ln Lc(θ, ϕ), что делается с помощью численных методов.

22.4. Упражнения и задачи

Упражнение 1

Сгенерируйте ряд длиной 200 наблюдений по модели MA(1) с параметром θ1 = 0.5 и нормально распределенной неавтокоррелированной ошибкой с единичной дисперсией. По этому ряду оцените модель MA(1) методом моментов (приравнивая теоретические и выборочные автокорреляции), условным методом наименьших квадратов и точным методом максимального правдоподобия. Сравните все эти оценки с истинным значением.

Упражнение 2

Сгенерируйте ряд длиной 200 наблюдений по модели AR(1) с параметром ϕ1 = 0.5 и нормально распределенной неавтокоррелированной ошибкой с единичной дисперсией. По этому ряду оцените модель AR(1) методом моментов (приравнивая теоретические и выборочные автокорреляции), условным методом наименьших квадратов и точным методом максимального правдоподобия. Сравните все эти оценки с истинным значением.

Упражнение 3

Сгенерируйте ряд длиной 200 наблюдений по модели ARMA(1, 1) с параметрами ϕ1 = 0.5 и θ1 = 0.5 и нормально распределенной неавтокоррелированной ошибкой с единичной дисперсией. По этому ряду оцените модель ARMA(1, 1) методом моментов (приравнивая теоретические и выборочные автокорреляции), условным методом наименьших квадратов и точным методом максимального правдоподобия. Сравните все эти оценки с истинными значениями.

Задачи

1.Какие предположения должны выполняться, чтобы можно было оценить модель MA(1) с помощью метода максимального правдоподобия?