книги / Статистический анализ временных рядов
..pdfГлава 7
СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ
ПРОЦЕССЫ
7.1. ВВЕДЕНИЕ
В статистическом анализе последовательность Т наблюде ний, образующих временной ряд, часто рассматривают как выборку Т последовательных наблюдений через равные промежутки вре мени из существенно более продолжительной (генеральной) после довательности случайных величин. При этом статистические вы воды делаются относительно вероятностной структуры генеральной последовательности. Такую последовательность удобно считать простирающейся неограниченно в будущее и, возможно, в прошлое. Последовательность случайных величин уи у2, ... или ..., у- ь
у0, уъ ... называется случайным процессом с дискретным параметром времени.
Несмотря на полную произвольность вероятностных моделей последовательностей случайных величин, полезно отличать слу чайные процессы от множества случайных величин этого процесса, учитывая понятие времени. Грубо говоря, в случайном процессе наблюдения, разделенные небольшими промежутками времени, близки по значениям в отличие от наблюдений, далеко отстоящих друг от друга по времени. Более того, модель значительно упроща ется после расширения конечной последовательности наблюдений до бесконечной.
Одним из таких упрощений является свойство стационарности. Будем считать, что поведение множества случайных величин с вероятностной точки зрения не зависит от времени. Это свойство обсуждалось выше при рассмотрении процессов скользящего сред него или процессов, порождаемых стохастическими разностными уравнениями.
В гл. 5 нас интересовали процессы, описываемые конечным чис лом параметров. Теперь мы будем рассматривать процессы, в кото-
7.2. ОПРЕДЕЛЕНИЯ И ПРИМЕРЫ 407
рых число параметров может быть бесконечным. Например, гаус совский (нормальный) стационарный процесс имеет конкретные среднее значение и дисперсию, но бесконечное число коэффициентов ковариации. Поставим вопрос: какую информацию о них можно получить исходя из конечного числа наблюдений?
Случайный процесс, как бесконечная последовательность слу чайных величин, связан с понятием вероятностной меры, опреде ленной в бесконечномерном пространстве. Некоторые интерес ные вопросы, в частности о пределах функций последовательнос тей, касаются вероятностей множеств в бесконечномерном про странстве. Но, поскольку мы интересуемся выводами из конеч ного (хотя, возможно, большого) числа наблюдений, вероятности таких множеств не понадобятся. В этой главе математическая тео рия случайных процессов обсуждается лишь на уровне идей, по скольку детальное ее изучение на этом этапе не требуется.
Случайный процесс у (f) с непрерывным параметром времени можно определить для 0 < / < оо или — оо < t < оо и рассматри вать с привлечением вероятностной меры на пространстве функций у (/). Выборка из такого процесса состоит из наблюдений в конечном числе точек времени, или из непрерывных наблюдений в интервале времени. Пусть, например, процесс представляет собой теорети ческую модель наблюдений температуры в некоторой местности. Тогда последовательность ежечасных отсчетов или диаграмма непре рывных показаний является выборкой из случайного процесса. Случайный процесс с дискретным временем часто понимают как выборку через равные промежутки времени из случайного процес са с непрерывным временем.
7.2.СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ, ОПРЕДЕЛЕНИЯ И ПРИМЕРЫ
7.2.1.Определения
Случайным процессом с дискретным временем называется бес конечная последовательность случайных величин уъ у2, ... или ..., У-1, уп, ух.......Наблюдение процесса, часто называемое реализацией* есть точка в соответствующем бесконечномерном пространстве, где определена вероятностная мера. Вероятность определяется на некоторых множествах, называемых измеримыми. Этот класс мно жеств включает вместе с любым множеством его дополнение, а так же объединение и пересечение счетного числа множеств этого клас са; вероятностная мера на этом классе множеств определяется таким образом, что вероятность объединения непересекающихся множеств равна сумме вероятностей отдельных множеств.
4 08 |
СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ |
Г л . 7. |
Практически мы интересуемся вероятностями, которые свя заны с конечным числом случайных величин. Эти вероятности вклю чают в себя функцию совместного распределения Рг {ух < ь и ...
..., Ут < Ьт}, а также вероятности, полученные из нее. Потребуем, чтобы в класс измеримых множеств входили множества {ух <; Ьъ ...
..., Ут < Ьт\. Множества, которые определяются в терминах конеч ного числа координат уи, ..., ytn, называются цилиндрическими
множествами. Таким образом, вероятностная мера случайного процесса всегда определяет вероятности цилиндрических (измери мых) множеств, в частности считаются известными функции сов местного распределения.
Наоборот, пусть заданы конечномерные функции совместного распределения (ф.с.р.), тогда на бесконечномерном простран стве вероятностную меру можно определить таким образом, что вероятностная мера цилиндрических множеств согласуется с ф. с. р. в том смысле, что может быть вычислена по соответствующим ф. с. р. Это расширение единственно. Согласованность семейства ф. с. р. означает: (i) любая маргинальная (совместная) ф. с. р., полученная из заданной ф.с.р., приводит к соответствующей ф. с. р. меньшего числа переменных, (И) ф.с.р., соответствующие наборам точек параметра t, написанным в различном порядке, согласованны. Точ
нее, пусть F (alt |
..., ап\ tv ..., |
tn) означает ф. с. р. |
от сц, |
..., |
ап, лю |
|||||
бых tu ..., |
tn (из |
множества ..., —1, 0 , |
1, ... или |
1, |
2 , ...) и |
п = 1, |
||||
2, |
.... Потребуем выполнения равенств |
|
|
|
|
|
||||
■(1) |
F(av |
.. . , |
ат, оо, . . . , |
оо; tlt |
. . . , tm, |
|
|
. . . , |
/„) = |
|
|
|
|
= F(alt . . . , Umt |
... » |
^m), |
m = |
1, |
. . . , ftt |
||
(2) |
F (ax, |
. . . . |
an; tlt . . . . |
tn) = F (a<„ . . . . |
aln; |
tlt, . . . . |
tin), |
|||
тде (iv ..., |
in) есть произвольная перестановка чисел (1, |
..., |
п). Со |
|||||||
гласованное семейство ф. с. р. определяет случайный процесс yt
в |
том смысле, что F (аъ ..., а„; tv ..., /„) = Рг {уи < ах, . . . , ytn < |
^ |
а„} для всех а,., t{ и п. Это утверждение принадлежит Колмогоро |
ву (1933), доказательства его мы не приводим.
В качестве примера зададим ф. с. р. как ф. с. р. многомерных нормальных распределений, определив средние значения и диспер
сии |
следующим образом: |
(3) |
%yt — т (t), |
<4) |
%[yt — m (0) [ys — т (s)] = Соv (yt, у,) = о (/, в). |
Последовательность т (t) произвольна. Двойная последовательность <т (t, s) должна удовлетворять обычным свойствам ковариаций, а именно а (/, s) = а (s, t) для каждой пары s, t и любая матрица
7.2. |
ОПРЕДЕЛЕНИЯ И ПРИМЕРЫ |
№ |
[сг(/*, </)], /, / = 1, ..., п> положительно полуопределена (или, эк вивалентно, неотрицательно определена.— Перев.). Эти условия оп ределяют случайный процесс. Такой процесс называется гауссов ским. Случайный процесс с дискретным временем называется ста ционарным (или стационарным в узком смысле), если распределение величин уи% ..., ytn совпадает с распределением уи+и ..., y tn+t
для любого конечного множества целых чисел {/ь ..., /„} и любого целого /. Это определение эквивалентно требованию того, что веро ятностные меры последовательностей {ys} и {f/s+*} совпадают для любого целого /.
Пусть существуют первые моменты, тогда из стационарности
следует |
|
|
(5) |
%ys = %ys+t, s, t = . . . , |
— 1, 0, 1, . . . . |
или |
|
|
(6 ) |
т (s) = т (s + |
t) — т |
для любых s, t. Поскольку распределения (ytl, yt,) и (ytl+t, Уи+t> совпадают, то из существования моментов второго порядка и стацио нарности следует
(7) |
о (flt |
*4) |
= о |
+ t; t2+ t). |
Подставляя t = —12, получаем |
|
|||
(8 ) |
a (flt t j |
= a |
|
0 ) = a (tlt — 1%). |
В случае нормальных ф. с. р. свойства (5) и (7) эквивалентны ста ционарности случайного процесса.
Случайный процесс называется стационарным в широком смыс ле, или слабо стационарным, или стационарным второго порядка,
если функция средних т (t) и ковариационная функция о (t, s), определенные в (3) и (4), существуют и удовлетворяют соотно шениям (5) и (7), т. е. средние постоянны и не зависят от времени, а ковариация любых двух значений зависит только от их расстоя ния во времени. Очевидно, любой процесс, стационарный в узком смысле и имеющий конечную дисперсию, является также стацио нарным и в широком смысле. (В рассмотренном выше нормальном случае стационарности в узком и широком смысле эквивалентны.)
7.2.2.Примеры стационарных случайных процессов с дискретным параметром
Рассмотрим несколько примеров стационарных случайных про цессов.
Пример 7,1. Пусть yt независимы и одинаково распределены с
(9) |
%yt = т, |
Var */, = ста. |
410 |
СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ |
ГЛ. 7. |
||
Тогда |
|
|
t — s, |
|
<Ю) |
o(t, s) = о* |
при |
|
|
|
0 |
при |
t=£s. |
|
Этот процесс стационарен в узком смысле. Если отбросить условие одинаковой распределенности величин yt (в то время как (9) и (10) сохраняются), то результирующий процесс будет все же стацио нарен в широком смысле.
Пример 7.2. Пусть все yt тождественно равны случайной вели чине у. Тогда, если существуют два первых момента у,
( 11) |
|
|
|
|
|
|
%yt = %у = т, |
|
|
|
|
||
(12) |
|
|
|
|
|
|
o(t, s) — Var у = |
о2. |
|
|
|
||
Этот процесс стационарен в узком смысле. |
|
|
|
|
|||||||||
Пример 7.3. |
Определим последовательность |
{yt} |
следующим |
||||||||||
образом: |
|
|
|
|
|
|
|
|
|
|
|
|
|
(13) |
У( — 2 |
И / cos V |
|
+ |
В/ siri Я/0, |
t = |
• • • » - 1 , 0, |
1, •.. , |
|||||
|
/=i |
|
|
|
|
|
|
|
|
|
|
|
|
где Я/ — постоянные, a A t...... |
5:1> •••» |
|
|
- случайные вели |
|||||||||
чины, такие, что |
|
|
|
|
|
|
|
|
|
|
|
||
(14) |
|
* А , = |
ИВ/ = |
0, |
|
/■= |
1 ... |
Я, |
|
||||
|
|
|
|
|
ю |
|
to |
|
|
|
|
|
|
(15) |
|
|
|
йо |
|
Q |
|
/ = |
1,.. |
<7, |
|
||
|
|
II ОБ |
|
II •j. |
|
|
|||||||
(16) |
% AtA j = |
g |
|
|
= 0, 1 Ф! > |
*. / = |
1. |
• • • » q, |
|||||
(17) |
g^B/ = |
о, |
|
|
|
|
/ = |
1, |
• • • *q- |
||||
Тогда |
|
|
|
|
|
|
|
|
|
|
|
|
|
(18) |
|
|
|
|
|
|
%yt = |
0 , |
|
|
|
|
|
(19) |
%ytyt = |
Я |
|
(Л cos V + Bi sin V ) И / c°s Я/ s + Bf sin kts) =* |
|||||||||
2 |
8 |
||||||||||||
|
|
/ , / s s l |
|
|
|
|
|
|
|
|
|
|
|
|
= |
q |
[%>A2j cos Xft cos KfS + |
gВ/ sin Xft sin A,/$J = |
|||||||||
|
2 |
||||||||||||
|
|
/=1 |
|
|
|
|
|
|
|
|
|
|
|
|
= |
* |
2 |
IcosV COS XfS + |
sin %it sin Л/s] =* |
|
|||||||
|
2 |
°f |
|
||||||||||
|
|
/«i |
|
|
|
|
|
|
|
|
|
|
|
|
|
q |
O/COSkf{t — s). |
|
|
|
|
|
|
||||
|
— 2 |
|
|
|
|
|
|
||||||
|
|
/=' |
|
|
|
|
|
|
|
|
|
|
|
Следовательно, процесс стационарен в широком смысле. Если Л/ и Bj нормально распределены, то yt будут также распределены нор-
7.2. |
ОПРЕДЕЛЕНИЯ И ПРИМЕРЫ |
411 |
Bj
Рис. 7.1.
Определение параметров 0/ и /?/.
мально, так как они являются линейными комбинациями величин Aj и Bj. В этом случае процесс будет стационарным в узком смысле.
Этот процесс можно также представить следующим образом:
(20) |
|
у , = 2 |
Я/cos (V — в/). |
< |
|
|
1, о, |
1, .. . , |
||
|
|
|
м |
7.1) R} |
|
|
|
|
|
|
где |
(как |
на |
рис. |
0, |
|
|
|
|
|
|
(21) |
|
|
|
$ = А а, + |
$ , |
1 = 1 , |
. . . , q , |
|
||
(2 2 ) |
|
|
tg 0/ = Bj/Aj, |
) = |
1, |
. . . , q, |
|
|||
0 < |
0 / < |
я, |
если |
B j> 0 , и |
я < |
0 / < |
2 я, |
если |
£ / < |
0 . |
Если ^4/ и 5/ распределены нормально, то R/ |
пропорционально Xs |
|||||||||
с двумя степенями свободы и 0 / |
равномерно распределено между О |
|||||||||
и 2 я (ввиду симметрии нормального распределения) и не зависит от Я/. Для доказательства стационарности процесса заметим, что
(23)yt+s = 2 Rj cos [У — (0/ — М ],
/=i |
|
|
где (0; — X/s) равномерно |
распределено на |
интервале длины 2 я. |
Таким образом, yt и yt+s |
имеют одно и то же |
распределение. Если |
А/ и В) имеют распределение, отличное от нормального, то последо вательность {yt} не обязательно стационарна в строгом смысле.
Этот пример важен потому, что в известном смысле каждый слабо стационарный случайный процесс с конечной дисперсией можно аппроксимировать линейными комбинациями, аналогичными правой части (13).
Пример 7.4. Процесс скользящего среднего.
Пусть ..., о_ь v0, vu ... — последовательность независимых и одинаково распределенных случайных величин, а а 0, а ь ..., aq —