ЭКОНОМЕТРИКА и математическая экономика / Эконометрика. Учебник продвинутый (2005)

из которого, приравнивая коэффициенты в левой и правой частях при одинаковых степенях z, можно получить выражения для ψi .

Более простой способ состоит в том, чтобы продифференцировать по εt уравнение ARMA-процесса, сдвинутое на i периодов вперед,

p q

xt+i = ϕj xt+i−j + εt+i − θj εt+i−j ,

где θ0 = −1 и θj = 0 при j > q. Таким образом, получим рекуррентную формулу для ψi = dxt+i/dεt :

p

ψi = ϕj ψi−j − θi.

j=1

При расчетах по этой формуле следует положить ψ0 = 1 и ψi = 0 при i < 0.

Если процесс ARMA является обратимым5, то полученное представление в виде MA(∞) является разложением Вольда этого процесса.

14.6.Модель авторегрессии — проинтегрированного скользящего среднего ARIMA

Характерной особенностью стационарных процессов типа ARMA(p, q) является то, что корни λi характеристического уравнения ϕ(L) = 0 находятся вне единичного круга. Если один или несколько корней лежат на единичной окружности или внутри нее, то процесс нестационарен.

Теоретически можно предложить много различных типов нестационарных моделей ARMA(p, q), однако, как показывает практика, наиболее распространенным типом нестационарных стохастических процессов являются интегрированные процессы или, как их еще называют, процессы с единичным корнем. Единичным называют корень характеристического уравнения, равный действительной единице: λi = 1.

5Разложение Вольда необратимого процесса, у которого некоторые корни характеристического уравнения по модулю больше единицы, такое же, как у эквивалентного обратимого процесса. Ошибки однопериодных прогнозов, лежащие в основе разложения Вольда, при этом не будут совпадать с ошибками модели εt .

мнимая

часть

1

действительная

часть

–1

Рис. 14.5. Корни характеристического уравнения процесса

xt = 2.8xt−1 − 3.1xt−2 + 1.7xt−3 − 0.4xt−4 + εt + 0.5εt−1 − 0.4εt−2

на комплексной плоскости

Рассмотрим в качестве примера следующий процесс ARMA(4, 2):

xt = 2.8xt−1 − 3.1xt−2 + 1.7xt−3 − 0.4xt−4 + εt + 0.5εt−1 − 0.4εt−2 . (14.53)

Характеристическое уравнение этого процесса имеет следующие корни: λ1 = 1 + + i, λ2 = 1 − i, λ3 = 1.25, λ4 = 1. Все корни лежат за пределами единичного круга, кроме последнего, который является единичным. Эти корни изображены на рисунке 14.5.

Оператор авторегрессии этого процесса можно представить в следующем виде:

1− 2.8L + 3.1L2 − 1.7L3 + 0.4L4 = (1 − 1.8L + 1.3L2 − 0.4L3 )(1 − L) =

=(1 − 1.8L + 1.3L2 − 0.4L3 )∆,

где ∆ = 1 − L — оператор первой разности.

Введем обозначение wt = ∆xt = xt − xt−1 . Полученный процесс {wt} является стационарным процессом ARMA(3, 2), задаваемым уравнением:

В общем случае, если характеристическое уравнение процесса ARMA(p + d, q) содержит d единичных корней, а все остальные корни по модулю больше единицы, то d-я разность этого временного ряда

wt = ∆dxt = ϕ(L)(1 − L)dxt

может быть представлена как стационарный процесс ARMA(p, q):

Из-за практического значения такую разновидность моделей ARMA выделяют в отдельный класс моделей авторегрессии — проинтегрированного скользящего среднего и обозначают ARIMA(p, d, q). При d = 0 модель описывает стационарный процесс. Как и исходную модель ARMA, модель ARIMA также называют моделью Бокса—Дженкинса.

Обозначив f (L) = θ(L)(1 − L)d, представим процесс ARMA(p + d, q) в виде:

f (L)xt = θ(L)εt.

f (L) называют обобщенным (нестационарным) оператором авторегрессии, таким, что d корней характеристического уравнения f (z) = 0 равны единице, а остальные по модулю больше единицы. Такой процесс можно записать в виде модели ARIMA

Ряд {xt} называют интегрированным, поскольку он является результатом применения к стационарному ряду {wt} операции кумулятивной (накопленной) суммы d раз. Так, если d = 1, то для t > 0

t

xt = wi + x0.

i=1

Этим объясняется название процесса авторегрессии — проинтегрированного скользящего среднего ARIMA(p, d, q).

Этот факт можно символически записать как

xt = Sdwt,

где S = ∆−1 = (1 − L)−1 — оператор суммирования, обратный к оператору разности. Следует понимать, однако, что оператор S не определен однозначно, поскольку включает некоторую константу суммирования.

Простейшим процессом с единичным корнем является случайное блуждание:

xt = Sεt,

где εt — белый шум.

14.7.Оценивание, распознавание и диагностика модели Бокса—Дженкинса

Для практического моделирования с использованием модели Бокса—Джен- кинса требуется выбрать порядок модели (значения p, q и d), оценить ее параметры, а затем убедиться, правильно ли была выбрана модель и не нарушаются ли какие-либо предположения, лежащие в ее основе.

Заметим, что один и тот же процесс может быть описан разными моделями ARMA (14.41). Во-первых, неоднозначна компонента скользящего среднего θ(L)εt , о чем говорилось выше. Из разных возможных представлений MA здесь следует предпочесть обратимое. Во-вторых, характеристические многочлены авторегрессии и скользящего среднего могут содержать общие корни. Пусть ϕ(z) и θ(z) содержат общий корень λ. Тогда характеристические многочлены можно представить в виде ϕ(z) = (1 − z/λ)ϕ (z) и θ(z) = (1 − z/λ)θ (z). Соответственно, один и тот же процесс можно записать как

ϕ(L)xt = θ(L)εt

или как

ϕ (L)xt = θ (L)εt.

Ясно, что вторая запись предпочтительнее, поскольку содержит меньше параметров. Указанные неоднозначности могут создавать проблемы при оценивании.

Прежде, чем рассмотреть оценивание, укажем, что уравнение (14.41) задает модель в довольно ограничительной форме. А именно, стационарный процесс, заданный уравнением (14.41), должен иметь нулевое математическое ожидание. Для того чтобы сделать математическое ожидание ненулевым, можно ввести в модель константу:

xt = µ + ϕ1xt−1 + . . . + ϕpxt−p + εt − θ1εt−1 − . . . − θqεt−q .

Если процесс {xt} стационарен, то

µ

E(xt) = 1 − ϕ1 − · · · − ϕp .

Альтернативно можно задать xt как

где ошибка {wt} является стационарным процессом ARMA:

При этом E(xt) = β. Ясно, что для стационарных процессов два подхода являются эквивалентными.

Последнюю модель можно развить, рассматривая регрессию

детерминированные тренды, сезонные переменные, фиктивные переменные для выбросов и т.п.

Метод моментов для оценивания параметров модели Бокса—Дженкинса

Опишем в общих чертах процедуру оценивания ARIMA(p, d, q). Предположим, что имеется ряд x1, . . . , xT , по которому требуется оценить параметры процесса. Оценке подлежат три типа параметров: параметры детерминированной части модели (такие как β, α, о которых речь шла выше), авторегрессионные параметры ϕ и параметры скользящего среднего θ. При оценивании предполагается, что порядок разности d, порядок авторегрессии p и порядок скользящего среднего q заданы.

Если ряд {xt} описывается моделью (14.58) (которая предполагает d = 0), то параметр β этой модели можно оценить с помощью среднего x¯, а далее действовать так, как если бы процесс сразу задавался моделью (14.59). В качестве wt рассматриваются центрированные значения, полученные как отклонения исходных уровней временного ряда от их среднего значения: wt = xt − x¯.

Если ряд {xt} описывается более общей моделью (14.60), которая тоже предполагает d = 0, то можно оценить параметры α с помощью обычного МНК, который дает здесь состоятельные, но не эффективные оценки a. Далее можно взять wt = xt − Zta и действовать так, как если бы процесс задавался моделью (14.59).

При d > 0 от ряда xt следует взять d-е разности: wt = ∆dxt. Мы не будем рассматривать оценивание детерминированной составляющей в случае d > 0. Заметим только, что исходный ряд не нужно центрировать, поскольку уже первые разности исходных уровней ряда совпадают с первыми разностями центрированного ряда. Имеет смысл центрировать d-е разности ∆dxt.

Проведя предварительное преобразование ряда, мы сведем задачу к оцениванию стационарной модели ARMA (14.59), где моделируемая переменная wt имеет нулевое математическое ожидание. Получив ряд w1, . . . , wT (при d > 0 ряд будет

на d элементов короче), можно приступить к оцениванию параметров авторегрессии и скользящего среднего.

Выше мы рассмотрели, как можно оценивать авторегрессии на основе уравнений Юла—Уокера (14.21). Прямое использование этого метода для модели ARMA(p, q) при q > 0 невозможно, поскольку в соответствующие уравнения будут входить кросс-ковариации между изучаемым процессом и ошибкой (см. 14.42). Однако можно избавиться от влияния элементов скользящего среднего, если сдвинуть уравнения на q значений вперед. Тогда уравнения для автокорреляций будут иметь вид (14.43). При k = q + 1, . . . , q + p получим следующую систему (т.е. используем здесь тот же подход, что и раньше: умножаем (14.59) на wt−q−1, . . . , wt−q−p и переходим к математическому ожиданию):

γq+1 = ϕ1γq + ϕ2γq−1 + . . . + ϕpγq−p+1,

γq+2 = ϕ1γq+1 + ϕ2γq + . . . + ϕpγq−p+2,

(14.61)

· · ·

γq+p = ϕ1γq+p−1 + ϕ2γq+p−2 + . . . + ϕpγq .

В итоге имеем систему, состоящую из p уравнений относительно p неизвестных параметров ϕj . Решение этих уравнений, в которых вместо γk берутся эмпирические значения автоковариаций ck для последовательности значений {wt}, т.е.

дает нам оценки параметров ϕ1, . . . , ϕp 6.

С помощью оценок авторегрессионных параметров можно, с учетом (14.59) построить новый временной ряд ηp+1, . . . , ηT :

ηt = wt − ϕ1wt−1 − . . . − ϕpwt−p,

и для него рассчитать первые q выборочных автокорреляций r1η , . . . , rqη . Полученные автокорреляции используются при расчете начальных оценок параметров скользящего среднего θ1, . . . , θq .

6На данный метод получения оценок параметров авторегрессии можно смотреть как на применение метода инструментальных переменных к уравнению регрессии:

wt = ϕ1wt−1 + . . . + ϕp wt−p + ηt ,

где ошибка ηt является MA(q) и поэтому коррелирована с лагами wt только вплоть до q-го. В качестве инструментов здесь используются лаги wt−q−1, . . . , wt−q−p .

Действительно, {ηt} фактически представляет собой процесс скользящего

для которого, как мы знаем, первые q автокорреляций могут быть выражены через параметры модели (см. (14.36)):

Поскольку система уравнений нелинейная, то могут возникнуть некоторые проблемы с ее решением. Во-первых, система может не иметь решений. Во-вторых, решение может быть не единственным.

Рассмотрим в качестве примера случай q = 1. При этом имеем одно уравнение

Максимальное по модулю значение правой части 1 2 достигается при θ1 = ±1. Если |r1η | > 1 2 , то уравнение не имеет действительного решения7. Если |r1η| < 1 2 , то оценку θ1 получим, решая квадратное уравнение. А оно будет иметь два корня:

Один из корней по модулю больше единицы, а другой меньше, т.е. один соответствует обратимому процессу, а другой — необратимому.

Таким образом, из нескольких решений данных уравнений следует выбирать такие, которые соответствуют обратимому процессу скользящего среднего. Для этого, если некоторые из корней характеристического уравнения скользящего среднего по модулю окажутся больше единицы, то их следует обратить и получить коэффициенты, которые уже будут соответствовать обратимому процессу (см. 14.40).

Для q > 1 следует применить какую-либо итеративную процедуру решения нелинейных уравнений8.

7Если решения не существует, то это может быть признаком того, что порядок разности d выбран неверно или порядок авторегрессии p выбран слишком низким.

8Например, метод Ньютона, состоящий в линеаризации нелинейных уравнений в точке текущих приближенных параметров (т.е. разложение в ряд Тейлора до линейных членов).

Описанный здесь метод моментов дает состоятельные, но не эффективные (не самые точные) оценки параметров. Существует ряд методов, позволяющих повысить эффективность оценок.

Методы уточнения оценок

Система (14.61) при q > 1 основана на уравнениях для автоковариаций, которые сдвинуты на q. Поскольку более дальние выборочные автоковариации вычисляются не очень точно, то это приводит к не очень точным оценкам параметров авторегрессии. Чтобы повысить точность, можно предложить следующий метод.

С помощью вычисленных оценок θ1, . . . , θq , на основе соотношения (14.62), находим последовательность значений {εt} по рекуррентной формуле:

εt = ηt + θ1εt−1 + . . . + θq εt−q .

В качестве εt−j при t j берем математическое ожидание ряда E(εt) = 0.

Получив с помощью предварительных оценок ϕ и θ последовательность значений {εt} и имея в наличии ряд {wt}, методом наименьших квадратов находим уточненные оценки параметров модели (14.59), рассматривая εt в этом уравнении как ошибку.

Можно также получить уточненные оценки параметров детерминированной компоненты α в модели (14.60). Для этого можно использовать обобщенный метод наименьших квадратов (см. гл. 8), основанный на оценке ковариационной матрицы ошибок wt, которую можно получить, имея некоторые состоятельные оценки параметров процесса ARMA.

Автоковариационную матрицу процесса ARMA можно представить в виде Γ = σε2Ω. Оценку матрицы Ω можно получить, имея оценки параметров авторегрессии и скользящего среднего (см. выше вывод автоковариационной функции процесса ARMA). Имея оценку Ω, воспользуемся обобщенным МНК для оценивания параметров регрессии:

aОМНК = (Z Ω−1Z)−1Z Ω−1X.

Можно использовать также автокорреляционную матрицу R:

aОМНК = (Z R−1Z)−1Z R−1X.

В качестве примера приведем регрессию с процессом AR(1) в ошибке. Матрица автокорреляций для стационарного процесса AR(1), соответствующего последова-

Матрицу R−1 легко представить в виде произведения: R−1 = D D, где

тогда полученные в преобразованной регрессии с помощью обычного МНК оценки будут оценками обобщенного МНК для исходной регрессии:

aОМНК = (Z Z )−1Z X .

Рис. 14.6. Автокорреляционная функция интегрированного процесса (слева) и стационарного процесса (справа)

Они будут обладать не только свойством состоятельности, но и свойством эффективности.

К примеру, для парной регрессии xt = αzt + wt, где w = ϕwt−1 + εt, преобразование (14.63) приводит к уравнениям

1 − ϕ2x1 = α 1 − ϕ2z1 + ε1

и

xt − ϕxt−1 = α(zt − ϕzt−1 ) + εt , t > 1,

для оценивания которых при данном ϕ применим обычный МНК.

После получения эффективных оценок параметров регрессии можно пересмотреть оценки параметров процесса ARMA. Можно продолжать такие итерации и далее до тех пор, пока не будет достигнута требуемая сходимость (см. метод Кочрена—Оркатта, описанный в п. 8.3).

Распознавание порядка модели

Сначала вычисляются разности исходного ряда до тех пор, пока они не окажутся стационарными относительно математического ожидания и дисперсии, и отсюда получают оценку d.

Если процесс является интегрированным, то его выборочная автокорреляционная функция затухает медленно, причем убывание почти линейное. Если же автокорреляционная функция затухает быстро, то это является признаком стационарности. В качестве примера на рисуке 14.6 слева изображена коррелограмма