Стационарные временные ряды. Автокорреляционная функция
Важное значение в анализе временных рядов имеют стационарные временные ряды, вероятностные свойства которых не изменяются во времени.
Случайным процессом Y(t) называется функция от t, которая при любом значении t является случайной величиной.
Временной ряд 
можно рассматривать как одну из реализаций
(траекторий) случайного процесса Y(t).
Временной ряд 
называется строго стационарным (или
стационарным в узком смысле), если
совместное распределение вероятностей
случайных величин
точно такое же, как и для случайных величин
для любых t,τ и n.
Для стационарных
временных рядов определяют степень
тесноты связи между Y(t)
и 
:
ибо
,
.
Зависимость 
называют автокорреляционной функцией.
В силу стационарности временного ряда
автокорреляционная функция зависит
только от лага τ.
Под стационарным процессом в широком смысле понимают случайный процесс, у которого среднее и дисперсия не зависят от t, а автокорреляционная функция зависит только от длины лага между рассматриваемыми переменными:
,
,
,
где 
Основная проблема
в оценивании параметров случайного
процесса состоит в том, что фактически
имеется только одна его реализация.
Данную проблему можно решить с
использованием понятия эргодичности
– замены усреднения по множеству
реализаций случайного процесса
усреднением по времени. Эргодичность
делает возможным оценивание 
только
по одной его реализации – временному
ряду.
Оценка математического ожидания
=
.
Оценка дисперсии
.
Оценка автокорреляции
(выборочный коэффициент автокорреляции
)
=
.
Функцию
называют выборочной корреляционной
функцией, а ее график – коррелограммой.
При расчете 
следует помнить, что с увеличением τ
число n-τ
пар наблюдений 
уменьшается, поэтому лаг 
должен быть таким, чтобы число n-τ
было достаточным для определения
.
Обычно 
.
Адаптивные модели прогнозирования
При прогнозировании стационарных процессов используются так называемые адаптивные модели, к числу которых относятся модели экспоненциального сглаживания и модель Бокса-Дженкинса, которая является более общей по отношению к модели экспоненциального сглаживания.
Экспоненциальное сглаживание
Экспоненциальное сглаживание временного ряда yt осуществляется по рекуррентной формуле
,
(4.17)
где St – значение экспоненциальной средней в момент времени t;
a – параметр сглаживания (0<a<1);
=1-a.
Выражение (4.17) можно переписать следующим образом:
.
(4.18)
В формуле (4.18) экспоненциальная средняя на момент времени t выражена как сумма экспоненциальной средней предшествующего периода St-1 и доли a разницы текущего значения временного ряда yt и экспоненциальной средней St-1.
Последовательное применение рекуррентной формулы (4.17) приводит к следующему выражению для St:
,
где n – число точек временного ряда;
S0 – некоторая начальная величина, необходимая для первого
применения формулы (4.17).
Так как
< 1, то при
n
,
а сумма коэффициентов
и
,
(4.19)
т. е. St оказывается взвешенной суммой всех уровней временного ряда. При этом веса падают экспоненциально с возрастанием «возраста» данных.
Рассмотрим стационарный процесс следующего вида:
.
Для такого процесса
. (4.20)
Найдем математическое ожидание и дисперсию St, воспользовавшись формулой (4.20).
,
.
Так как
,
то
.
Таким образом, экспоненциальная средняя St имеет то же математическое ожидание, что и yt , но меньшую дисперсию.
Экспоненциальная средняя St может быть использована не только для сглаживания временного ряда, но и для краткосрочного прогнозирования.
Прогнозная модель имеет вид
,
где
–
прогноз, сделанный в момент времени t
на
единиц времени вперед.
Отметим, что все свойства экспоненциальной средней распространяются на прогнозную модель. В частности, если St-1 рассматривать как прогноз на 1 шаг вперед в момент времени t-1, то величина yt-St-1 представляет собой погрешность этого прогноза, а новый прогноз St получается в результате корректировки предыдущего прогноза с учетом его ошибки по формуле (4.18). В этом и состоит суть адаптации.
При краткосрочном прогнозировании желательно с одной стороны быстро отразить изменение среднего уровня, а с другой – очистить ряд от случайных колебаний.
Для выполнения первого требования величину a следует увеличить, а для выполнения второго – уменьшить. Таким образом, эти два требования находятся в противоречии и необходим некий компромисс.
Рассмотрим вопрос
выбора параметра a.
При
St=
S0,
т. е. адаптация полностью отсутствует,
а при
имеет
место так называемая «наивная» модель
прогнозирования
,
в соответствии с которой прогноз на любой срок равен текущему (последнему) значению временного ряда. В ряде работ рекомендовано брать значение a в пределах от 0,1 до 0,3, однако эта рекомендация, по сути, не имеет должного обоснования.
Выбор начального
значения S0
всегда вызывает вопрос, однако если
параметр a
велик, то
величина
быстро
убывает с ростом i
и влияние S0
на величину
St
становится
несущественным.
ПРИМЕР
Для иллюстрации процедуры расчета экспоненциальной средней рассмотрим пример сглаживания динамики курса акций фирмы IBM, производящей ЭВМ (табл. 4.4).
Т а б л и ц а 4.4. Экспоненциальные средние
Номер точки |
Исход-ный ряд |
|
|
|
Номер точки |
Исход-ный ряд |
|
|
|
1 |
510 |
506,4 |
508,0 |
509,6 |
16 |
512 |
505,7 |
513,3 |
513,1 |
2 |
497 |
505,5 |
502,5 |
498,3 |
17 |
510 |
506,1 |
511,7 |
510,3 |
3 |
504 |
505,3 |
503,2 |
503,4 |
18 |
506 |
506,1 |
508,8 |
506,4 |
4 |
510 |
505,8 |
506,6 |
509,3 |
19 |
515 |
507,0 |
511,9 |
514,1 |
5 |
509 |
506,1 |
507,8 |
509,0 |
20 |
522 |
508,5 |
517,0 |
521,2 |
6 |
503 |
505,8 |
505,4 |
503,6 |
21 |
523 |
509,9 |
520,0 |
522,8 |
7 |
500 |
505,2 |
502,7 |
500,4 |
22 |
527 |
511,6 |
523,5 |
526,6 |
8 |
500 |
504,7 |
501,4 |
500,0 |
23 |
523 |
512,8 |
523,2 |
523,4 |
9 |
500 |
504,2 |
500,7 |
500,0 |
24 |
528 |
514,3 |
525,6 |
527,5 |
10 |
495 |
503,3 |
497,8 |
495,5 |
25 |
529 |
515,8 |
527,3 |
528,9 |
11 |
494 |
502,4 |
495,9 |
494,2 |
26 |
538 |
518,0 |
532,7 |
537,1 |
12 |
499 |
502,0 |
497,5 |
498,5 |
27 |
539 |
520,1 |
525,8 |
538,8 |
13 |
502 |
502,0 |
499,7 |
501,2 |
28 |
541 |
522,2 |
538,4 |
540,8 |
14 |
509 |
502,7 |
504,4 |
508,3 |
29 |
543 |
524,3 |
540,7 |
542,8 |
15 |
525 |
505,0 |
514,7 |
523,3 |
30 |
541 |
525,9 |
540,9 |
541,2 |
При проведении расчетов начальное значение экспоненциальной средней S0 было принято равным средней арифметической из первых 5 уровней ряда:
В нашем случае
Дальнейшие вычисления при выглядят следующим образом:
и т. д.
Результаты вычислений экспоненциальных средних при a=0,1, a=0,5 и a=0,9 приведены в табл. 4.4.
Модели Бокса–Дженкинса
Рассмотрим ряд
частных моделей Бокса–Дженкинса
для стационарного процесса 
c
нулевым математическим ожиданием. Если
математическое ожидание процесса не
равно нулю (
,
то вычитая это значение из всех значений
временного ряда, можно получить временной
ряд с нулевым математическим ожиданием.
А) Модель скользящего среднего 1-го порядка СС(1)
Модель скользящего среднего 1-го порядка имеет вид
,
(4.21)
Где 
–
некоррелированная случайная величина
с нулевым математическим ожиданием (
и постоянной
дисперсией (
);
– параметр
модели.
Нетрудно видеть, что процесс СС(1) обладает следующими свойствами:
.
При 
.
Аналогично при
всех остальных τ (2,3,…) 
.
Б) Модель скользящего среднего q-го порядка СС(q)
Модель скользящего среднего q-го порядка имеет вид
.
(4.22)
Процесс СС(q)обладает следующими свойствами:
при 
.
В) Модель авторегрессии 1-го порядка
Модель авторегрессии 1-го порядка имеет вид
.
(4.23)
Предположим, что этот процесс стационарный с нулевым математическим ожиданием.
Тогда
и
.
Отсюда
,
.
Таким образом,
,
Можно показать, что в общем виде для автокорреляционной функции процесса авторегрессии первого порядка будет иметь место следующая зависимость:
.
Таким образом, автокорреляционная функция убывает по геометрической прогрессии.
Г) Модель авторегрессии p-го порядка
Модель авторегрессии порядка p – АР(p) имеет вид
.
(4.24)
Для компактного
описания этого процесса введем понятие
оператора сдвига назад B: 
;
;
…. 
.
Тогда математическая модель может быть записана в следующем виде:
, (4.25)
где 
.
(4.26)
Процесс авторегрессии не всегда стационарен. Вопрос о стационарности процесса авторегрессии можно выяснить с помощью так называемого характеристического уравнения
. (4.27)
Если все комплексные
корни характеристического уравнения
лежат вне единичного круга, то есть 
,
то процесс авторегрессии является
стационарным. Отметим, что данное
требование является обязательным.
Пример.
Процесс авторегрессии первого порядка
имеет
характеристическое уравнение 
с корнем 
Так как
,
то процесс стационарен. Его значения
колеблются вокруг нуля.
Процесс авторегрессии
первого порядка 
имеет
характеристическое уравнение 
с корнем 
Так как 
,
то процесс не стационарен. Коэффициент
1,1 приводит к постоянному увеличению
последующих значений процесса.
Для процесса авторегрессии диагностической функцией ее порядка является так называемая частная автокорреляционная функция (ЧАК).
Предположим, что
описывается процессом авторегрессии
порядка τ:
. (4.28)
При этом последний
коэффициент 
называется
коэффициентом частной автокорреляции
для величины лага τ.
Ряд ЧАК(τ)
называется частной актокорреляционной
функцией. Для процесса АР(p)
ЧАК(τ)=0
для значений 
.
Д) Смешанная модель авторегрессии – скользящего среднего порядка (p,q) – АРСС(p,q)
Модель авторегрессии – скользящего среднего порядка (p,q)имеет вид
. (4.29)
С помощью оператора сдвига назад эта модель может быть записана в компактном виде
, (4.30)
где
При соблюдении некоторых условий стационарный процесс АРСС(p,q) может быть представлен как бесконечный процесс авторегрессии или бесконечный процесс скользящего среднего:
или
, (4.31)
где 
Бесконечный полином
определяется выражением
.
(4.32)
В частности, стационарный процесс АР может быть представлен как бесконечный процесс скользящего среднего, а большинство процессов скользящего среднего (при условии обратимости) – как бесконечный процесс авторегрессии. При анализе реальных временных рядов следует выбирать представление процесса с наименьшим возможным числом параметров.
Пример1. Рассмотрим процесс скользящего среднего .
Из 
следует, что 
и
.
Из 
следует, что 
и
и т. д, т. е.
Этот процесс
сходится при условии 
.
Пример 2. Рассмотрим стационарный процесс авторегрессии первого порядка
.
Выразим предшествующий уровень по этой же формуле:
.
Тогда 
.
Аналогично
и
+…
Поскольку 
,
этот ряд сходится.
Е) Модели Бокса–Дженкинса для нестационарных рядов
Модели Бокса–Дженкинса могут применяться и для описания нестационарных рядов, которые путем взятия разностей приводятся к стационарным. Например, стационарным может оказаться процесс
.
Для таких процессов модель Бокса–Дженкинса представляется в виде
(4.
33)
где
;
− стационарный процесс, образованный
d-й
разностью процесса
;
– среднее
значение процесса 
;
−
некоррелированная случайная величина
с нулевым математическим ожиданием;
−
параметры модели (авторегрессии и
скользящего среднего).
Прогнозирование показателей на основе моделей Бокса–Дженкинса включает следующие этапы:
– идентификацию типа модели (определение порядка взятия разности d, числа членов авторегрессии p и скользящего среднего q);
– предварительную оценку параметров модели;
– уточненную оценку параметров модели;
– диагностическую проверку ее адекватности;
– использование модели для прогнозирования, расчет дисперсии ошибок прогноза.
На первом этапе последовательно производится взятие очередной
(d-й) разности исходного временного ряда:
t = d = (1-B)d , (4. 34)
где B
− оператор сдвига назад (B
= 
);
− оператор взятия разности ( = - ).
Выбор порядка разности d осуществляется последовательным перебором d=0,1,... до получения минимума дисперсии разностного временного ряда.
Для полученного разностного ряда вычисляются оценки:
– среднего значения
,
(4.35)
где n = N – d;
N − число точек исходного временного ряда;
– автоковариационной функции
(k = 0,…, n/3);
(4.
36)
– автокорреляционной функции
(k
= 0,…, n/3
);
(4.37)
– частной автокорреляционной функции
при
l=1
=
(l=2,…,
n/3),
(4.38)
где
( j
= 1,…, l-1
).
Дальнейшая идентификация типа модели (определение параметров p и q) осуществляется на основании анализа поведения автокорреляционной и частной автокорреляционной функций. У процесса авторегрессии порядка p - АР(p) частная автокорреляционная функция равна нулю при k > p, а у процесса скользящего среднего порядка q - СС(q) автокорреляционная функция равна нулю при k > q.
Формула для оценки дисперсии выборочного коэффициента автокорреляции при задержках k, больших q, за которыми автокорреляционная функция процесса СС(q) равна нулю, получена Bartlett M. S. и имеет вид
.
(4.
39)
Этот результат может использоваться для определения числа членов скользящего среднего q путем статистической проверки гипотезы
Н0 : rk=0 (k > q).
Гипотеза не отвергается, если
(k > q) .
(4.
40)
Отметим, что в
формуле (4. 40) вместо истинных значений
ri
стоят их
оценки
.
Если q невелико ( q 2 ), то процесс можно описать в виде модели скользящего среднего СС(q).
Определяется число
членов авторегрессии - p
из условия, что при k
> p случайная
величина
имеет нормальное распределение с нулевым
математическим ожиданием и дисперсией
D (
)
n
. Этот факт
можно использовать для статистической
проверки гипотезы о равенстве нулю
истинных значений Фk,k
для k
> p.
Гипотеза не отвергается, если
(k
> p)
.
(4. 41)
Если p невелико ( p 2 ), то процесс можно описать в виде модели авторегрессии АР( p ).
Из величин p и q выбирается наименьшее, и процесс полагается либо СС(q), либо АР(p). Если p=q или p и q достаточно велики, то процесс следует идентифицировать как смешанный процесс АРСС(1,1).
Для решения вопроса идентификации моделей можно использовать ряд критериев:
– информационный критерий Акаике
ИКА (p;q) = n ln S2(p;q) + 2 (p+q);
– байесовский информационный критерий
БИК (p;q) = ln S2(p;q) + (p+q) ln n / n;
– критерий Хеннана-Куина
XK (p;q) = ln S2(p;q) + (p+q) c ln( ln n / n).
Здесь S2(p;q) − оценка дисперсии 2 остаточного ряда, а с − некоторая константа (c > 2) .
Процедура подгонки состоит в вычислении критериальной функции для различных значений p и q и выборе тех p и q, при которых величина критериальной функции минимальна.
На втором этапе осуществляется предварительная оценка параметров авторегрессии и скользящего среднего.
Рассмотрим сначала процесс авторегрессии АР(р).
.42
Умножим (4.42) на
:
Берем математическое
ожидание 
и
получаем разностное уравнение для
автоковариации μ(
)
.
Отметим, что
когда
k>0,
так как
может включать
реализации ε, имевшие место до момента
t-k, а
они некоррелированы с
.
Разделив все
члены на дисперсию процесса, получим
разностное уравнение для автокорреляционной
функции
.
(4.43)
Имея коэффициенты
автокорреляции, можно с их помощью
оценить параметры авторегрессии. Для
этого подставим в (4.43) k=1,2,..,p
и получим
систему
линейных уравнений для 
:
,
,
………………………………………………
.
(4.44)
Система уравнений
(4.44) называется системой уравнений Юла
– Уокера. Заменив теоретические
автокорреляции 
на их оценки 
,
можно получить оценки параметров модели
авторегрессии.
Для модели скользящего среднего первоначальная оценка параметров может осуществляться на основе следующих соотношений:
.
(4.45)
Задавая k=1,2,..,q
, получим
систему уравнений, которая является
нелинейной относительно оцениваемых
параметров 
и решается с помощью итеративных
процедур.
Таким образом, оценка параметров авторегрессии Ф (если р >0) находится из системы p линейных уравнений Юла–Уокера, а оценка параметров скользящего среднего осуществляется с помощью сложной итеративной процедуры.
На третьем этапе
осуществляется уточнение оценок
и
,
полученных
на предыдущем этапе, с помощью алгоритма
Марквардта, цель которого заключается
в минимизации суммы квадратов
t
по параметрам
и
.
.
Диагностическая проверка адекватности моделей сводится к проверке статистической гипотезы о некоррелированности случайных величин t. Для этого могут использоваться критерий Дарбина–Уотсона и совокупный критерий согласия Бокса–Пирса. Этот вопрос будет рассмотрен несколько позже.
На последнем этапе производится вычисление прогнозных значений показателя. Для этого модель
Ф(B)
( 1 - B
)d
=
(B)
t
(4.46)
приводится к виду
,
(4.47)
где величины
получаются
как коэффициенты при Bl
в произведении
( 1 - B )d на Ф(B).
Формула (4.47)
позволяет прогнозировать yt
рекуррентно для
t=t+1, t+2, ...., t+L
, где t
− текущий момент времени. При этом на
i-м шаге в
качестве величин yt+1,
yt+2,
... yt+i-1
используются их прогнозы, полученные
на предыдущих шагах −
t+1,
t+2,
...
t+i-1,
а
t+1,
t+2,
... t+i-1
полагаются
равными нулю. Величины
εt,
t-1,
t-2,
... t-q
определяются
на этапе уточненной оценки параметров
модели.
Дисперсия ошибок прогноза вычисляется по формуле
,
(4.48)
где
–
дисперсия
,
а величины
l
определяются
по формулам
0=
1
1=
2= 1
l= l-1 p+dl-p-dl .
При этом l = 0 для l > q и l = 0 при l < 0 .