
книги / Статистический анализ временных рядов
..pdf7.6. |
ГИЛЬБЕРТОВО ПРОСТРАНСТВО И ТЕОРИЯ ПРОГНОЗИРОВАНИЯ |
453 |
|
7.6.2. Проекции и линейное |
прогнозирование |
|
|
Мы будем рассматривать |
прогнозирование случайной величины |
||
yt по |
известным yt-1, yt- 2 ....... yt-р (части прошлого) или |
по yt-t, |
yt- 2, ... (всему прошлому) для случайного процесса {yt} со средним
значением %yt — 0 |
и |
ковариационной функцией %titys = |
a (t — s). |
|
Пусть yt — прогноз; |
в качестве критерия |
наилучшего |
прогноза |
|
возьмем S (yt — у()2. |
Среднеквадратичная |
ошибка прогноза бу- |
||
дет минимальна, |
|
А |
|
|
если yt взято как условное математическое ожи |
||||
дание величины yt при заданных yt-\, г/ , _ 2....... |
yt- p или yt~\, |
yt- 2 ....... |
Это условное математическое ожидание будет, конечно, зависеть от распределения величин yt, yt-1, •••, yt-P или вероятностной меры для yt, yt—.......... Если процесс гауссовский, то условное математи ческое ожидание будет линейной функцией от yt—i, yt-2, ..., yt-p или от yt-1, yt-2, ...; в других примерах оно может и не быть ли нейной функцией.
Л |
Л Р |
yt |
2J cJ)t-s, |
в слу- |
Будем считать yt |
линейной функцией, |
|||
|
|
|
s= l |
|
чае прогнозирования |
по yt-1, ..., yt-P, или |
|
А |
таких |
пределом yt |
линейных функций. В таком случае S (yt — ytf зависит только от {а(Л)}. Эту проблему удобно сформулировать в терминах геомет рии гильбертова пространства.
Линейное многообразие есть непустое подмножество гильбертова пространства, такое, что ах + f>y для каждых действительных а и р принадлежит подмножеству, если х и у принадлежат этому подмножеству. Линейное многообразие замкнуто, если оно содер жит предел каждой последовательности Коши, содержащейся в нем. Конечное или бесконечное множество точек гильбертова про странства может порождать замкнутое линейное многообразие, которое состоит из всевозможных конечных линейных комбинаций точек этого множества и их пределов. Говорят, что замкнутое ли нейное многообразие натянуто на исходное множество точек этого пространства. Замкнутое линейное многообразие является гиль бертовым пространством и называется подпространством.
|
|
|
л |
|
|
л |
то |
Так как математическое ожидание © (yt — yt)2 есть |
|| yt — yt f , |
||||
нахождение наилучшего |
линейного |
прогноза |
для |
yt |
сводит |
|
ся |
к нахождению точки линейного многообразия, |
натянутого на |
||||
множество величин ys (s < |
t), которая |
наиболее |
близка |
(по рас |
стоянию, определяемому нормой) к точке yt. В § 2.2 мы уже рассмат ривали этот вопрос для Г-мерного евклидова пространства с нор
мой у Т х . Вектор линейного многообразия, |
порожденного первыми |
р координатными векторами, ближайший |
к у, есть определяемый |
единственным_образом вектор г, такой, что у — г ортогонален этим
454 |
СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ |
Гл. 7. |
р координатным векторам (и, следовательно, ортогонален каждому вектору линейного многообразия). Покажем теперь, что это решение: имеет место и в общем случае гильбертова пространства.
Используя понятие скалярного произведения (х, у), два эле мента х н у будем называть ортогональными, если (х, у) = 0. Это. можно записать так: х _1_ у.
Теорема 7.6.5. (Теорема о проекции.) Если М — подпростран ство гильбертова пространства Ж и у—элемент в Ж, то существует
единственный элемент х в М, такой, что || у — х || = |
min || у — г|| - |
|
Если у (f М, то у — х ортогонален каждому z £ М. |
г£М |
|
|
||
Д оказательство. Пусть min |
|| у — z I = d и {*<")} — последо- |
|
вательность, удовлетворяющая |
условию \\у— л^п)|| |
d. (Такая по |
следовательность существует по определению минимума.) Дока зав, что последовательность {х(п)} является последовательностью* Коши, получим существование элемента х . Имеем
(14) |(у-_ *<»>)__ ( y ~ x im)) f |
+ |
I (у ~ х < >) + (у -х< т>) Г = |
||||
|
|
|
|
|
= |
2 И^ — jf(n>||2 + 2Цу— ^(т) IP- |
Перепишем левую часть: |
|
|
|
|||
(15) |
|
Лт) |
М) 1,2 + |
4 |
|
Jm)\ |
так как (л5п>+ x(m>)/2 £ М, то |
второе |
слагаемое в (15) не менее |
||||
4сР. Таким образом, из (14) следует |
|
|||||
(16) |
||* (m)- |
* (n )||2 < 2||y - * |
(">||2 + |
21у— *<т,||'— 4d2, |
||
а правая |
часть |
(16) |
стремится |
к 0 . |
Значит, {а:<п>} — последова |
тельность Коши и существует предел х этой последовательности. По следствию 7.6.2 || у — х || = d.
Для любого элемента г £ М
(17) d? < ||у '—х — a z f = ||у — Jff — 2 (у — х, ссг) + ||аг||2 =
— d2 — 2a(y — x, 2) + а 2 ||гр.
Если у $ М и, следовательно, у — х =£ 0, то неравенство выпол няется для любого а, если только (у — х, г) — 0 , т. е. если у — х ортогонален г.
Если существует другой элемент х ', такой, что || у — х' || 2 = d2,.
то (у — х', |
г) = |
0 |
для каждого г £ М. Для |
каждого г = х — хг |
будем иметь 0 |
= |
(у — х \ х — х') — (у — х, |
х — х') — (х — х \ |
|
х — х') = |
I х — х' 1 2, откуда следует, что х = |
х’.я |
7.6. |
ГИЛЬБЕРТОВО ПРОСТРАНСТВО И ТЕОРИЯ ПРОГНОЗИРОВАНИЯ |
457 |
||||||||
Д о казательство. |
Пусть |
us — ys — ys, |
s — t, |
t — 1, |
..., |
or8 = |
||||
:= %us- |
Так как |
элемент |
us |
ортогонален Ms-i, то |
b>usur — О, |
|||||
г < $. Пусть ys = |
&ytUt-s/o2, s — 1 , 2 , . .. . Тогда |
|
|
|
||||||
(27) |
0 |
|
/ |
m |
|
\ 2 |
m |
y l , |
|
|
8 [yt - |
2 |
|
= St/,2 - |
«г8 2 |
|
|
||||
|
|
|
\ |
s=0 |
|
/ |
s=0 |
|
|
|
|
oo |
|
|
|
00 |
|
|
|
|
|
откуда |
2Y s < |
oo. Поэтому |
2 |
Ysu*-s сходится в среднем и лежит |
||||||
|
s=0 |
|
|
|
s = 0 |
|
|
|
|
|
внутри подпространства, порожденного ut, ш~\.........Определим V, следующим образом:
(28) |
V/ — У( |
оо |
Ysu<—«• |
2 |
|||
|
|
s=0 |
|
Тогда 8vtur = |
8ytur — <T8Y,-, = |
0 для г < t\ 8vtur = 0 для г >• t, |
|
потому что |
иг ортогонален |
всем |
элементам из Mt и vt £ Mt. |
Так как элемент vt |
ортогонален щ, то он принадлежит |
Mt- ь По |
|||||||
индукции |
vt £ Ms для |
s |
/ и, |
следовательно, |
V, |
принадлежит |
|||
оо |
|
Решение |
единственно, |
потому |
что |
us £ Ms, |
|||
М —м = П Mt-s. |
|||||||||
s=0 |
|
|
|
и YS = 8 t/,tt,_s/a8.H |
|
|
|
||
элемент us ортогонален Ms-\ |
|
|
|
||||||
Теорема |
7.6.8. |
Процесс |
(о,), |
определенный в |
теореме 7.6.7, |
||||
детерминированный, а |
процесс |
{о»,}, где |
|
ОО |
регу- |
||||
ш, = |
2 |
Y |
|||||||
лярный. |
|
|
|
|
|
|
s= 0 |
|
|
|
|
|
|
|
|
|
|
|
Д оказательство. Д ля доказательства детерминированности про цесса {о,} нужно показать, что замкнутое линейное множество, ко торое натянуто на vt, o,_i, ... (обозначим его Mtv) есть М—*>, т. е. нужно показать, что Ми, = Mt—\>v = ... = А1»». Тогда vt есть линейная комбинация (может быть бесконечная) элементов о,_i,
Vf-2, ... .
Лемма7.6.1.
(29) |
|
|
М - о , |
= M t- |
|
|
|
|
|
||
|
Доказательство. Здесь |
M t |
является |
подпространством, |
орто- |
||||||
тональным |
Ми, |
порожденному |
{и,}. |
Если |
х £ Ж_<» = |
оо |
м (, |
||||
П |
|||||||||||
то |
х £ M t |
и, следовательно, х |
ортогонален щ+ 1 |
|
t=— оо |
||||||
для каждого t, |
|||||||||||
т. |
е. x £ M t . |
Обратно, |
пусть |
х £ M t. |
Так |
как |
Ж — |
U |
Mt, |
||
то х £ Mf хотя бы для одного t. |
Так |
как х J_ |
|
|
t=— оо |
||||||
то х £ Mt- 1 |
и по |
7 .6 . ГИЛЬБЕРТОВО ПРОСТРАНСТВО И ТЕОРИЯ ПРОГНОЗИРОВАНИЯ 459
Действительно, |
{yt} |
будет |
регулярным |
процессом тогда и только |
|||||||||||||
тогда, когда |
F'(X) > |
0 |
почти |
всюду |
(—я |
< X < я) |
и |
|
|
||||||||
<32) |
|
|
|
|
|
j |
log/7' (A)dX> — оо. |
|
|
|
|
||||||
|
|
|
|
|
|
— Я |
|
|
|
|
|
|
|
|
|
|
|
Разложение |
функции |
|
log |
F' (А,) = log V F' (А,) |
в ряд |
Фурье |
|||||||||||
оо |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2 |
апе0м, |
где |
а_„ = |
ап, |
действительно |
(так |
как |
log F' (А,) |
есть |
||||||||
«Л=—оо |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
действительная и симметричная функция); тогда |
|
|
|
||||||||||||||
<33) |
|
|
г (г) = |
|
2 |
TS2S= |
exp Га 0 + |
2 2 |
апгА |
|
|
|
|||||
и F' (К) = |Г (е -Л )р . |
|
s=0 |
|
|
L |
|
|
л=1 |
J |
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
Если процесс {yt} имеет спектральную |
плотность / (А,) = |
F' (А,) |
|||||||||||||||
я если (32) выполняется, то |
|
|
|
|
|
|
|
|
|
||||||||
<34) |
|
|
|
|
|
|
yt = |
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
s=0 |
|
|
|
|
|
|
|
|
< Yo — 1 и 2 |
Ys<°°* |
Тогда наилучшим линейным прогнозом для |
|||||||||||||||
|
|
s= 0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
оо |
|
|
|
|
|
|
|
|
|
|
yt по щ—1, щ—2» ... будет 2 |
Ysu‘-s- Выясним |
теперь, справедливо |
|||||||||||||||
ли соотношение |
|
|
|
S = 1 |
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
<35) |
|
|
|
|
|
|
|
щ = |
2 |
Р.и-* |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
s = 0 |
|
|
|
|
|
|
|
|
с Ро = |
1. Если оно справедливо, то наилучшим линейным прогно- |
||||||||||||||||
|
|
|
|
|
оо |
P^-s* |
|
|
|
|
|
|
(35) существу- |
||||
зом для |
yt будет —2 |
|
Если |
представление |
|||||||||||||
|
|
|
|
S—1 |
|
|
|
|
|
|
|
|
|
|
|
||
•ет, то можно записать |
|
|
|
|
|
|
|
|
|
|
|
|
|||||
<36) |
|
|
Щ= 2 |
Ps 2 YrUf-r-s = |
2 2 |
fa-rYr“t~<f |
|
|
|||||||||
Здесь |
PoYo = |
l |
и |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
<37) |
|
|
|
S |
|
U |
|
= o, |
q= l, |
2 ........... |
|
|
|
||||
|
|
|
|
r—0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
Для |
большей точности |
предположим, что функция Г (г) = |
2 |
Ys2* |
|||||||||||||
аналитическая и не равна нулю при |г | < |
I. Тогда |
|
s=0 |
|
|||||||||||||
|
|
|
|||||||||||||||
<38) |
|
|
|
|
|
щ г = |
В (г) = |
2 |
№ |
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
г==0 |
|
|
|
|
|
460 СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ Гл. 7.
есть |
аналитическая |
функция, |
не |
равная нулю при |z |< l. Отсюда |
||||||
(39) |
|
* |
/ |
ОО |
\ |
= |
J |
|B (e- a )|Mf(X) |
||
|
l s=0 |
|
||||||||
|
|
|
|
|
|
|
|
|||
существует и определено, так |
как |
|В (е_ а)| ограничено. Следова |
||||||||
тельно, (35) |
существует |
как |
предел |
в среднеквадратичном. Если |
||||||
|
|
|
|
Я |
cos XtdCu(Я,) + |
Я |
sin XtdSa(Я) = |
|||
(40) |
|
ut — j |
j |
|||||||
|
|
|
|
о |
|
|
|
|
о |
|
|
|
|
= |
Я |
J |
е ^ [ С и( Я ) - ^ и(Я)], |
||||
|
|
|
|
|
0 |
|
|
|
|
|
где |
(Я) = |
|
(Я) = |
а2Я/я, то пусть |
||||||
(41) |
|
У<= Ц |
еШВ -1(е-*) d [Си(Я)- iSu (Я)]. |
|||||||
Тогда |
|
|
|
о |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
(42) |
2 |
= |
Я |
f 2 |
Р,** (,—S)B- 1 |
(е~а)d \Си(Я)- iSu(Я)] = |
||||
|
s = 0 |
|
|
g |
s = 0 |
|
|
|
|
|
|
|
= |
^ [ е шй[Сы(Я ) - /5 и(Я)]. |
Остается показать, что спектральная плотность для (41) есть
(43) - g - |B - ' (е_ ‘х) |2 = / (Я).
В большинстве случаев задачу прогнозирования можно рассмат ривать как нахождение Ьъ Ь2.......которые минимизируют
(44) |
|
%(yt ~ |
^ b syt. s) \ |
|
|
|
S = 1 |
Нормальные уравнения будут иметь вид |
|||
(45) |
2 |
o (r~ s)b s = a(r)t / - = 1 , 2 , . . . |
|
|
S=1 |
|
|
Они эквивалентны |
|
|
|
(46) |
f е‘х7 (Я) |
2 |
1 |ЙЯ = 0, г = 1, 2, ... |
ЛVs=i
7 .7 . |
НЕКОТОРЫЕ ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ |
461 |
Таким образом, мы хотим найти такую функцию В (er~iK)
(47) |
В ( г ) - 2 Ь^ |
|
s=l |
что положительные |
коэффициенты Фурье выражения / (А.) х |
X \В (е~а) — 1] равны нулю.
Более определенные результаты получены Акутовицем (1957), их мы приводим без доказательства.
Т еорема |
7.6.9. Если f (А) |
ограничена, то (35) справедливо с огра- |
||
|
со |
|
|
|
ничением 2 |
I Ps 12 < |
00 тогда и только тогда, когда функция Г (г) =■ |
||
оо |
s=0 |
|
|
|
|
|
такова, |
что интеграл |
|
= 2 YjZs, |z | <с 1, |
||||
s=0 |
|
|
2я |
|
(48) |
|
|
IГ (реа) I2 dk |
|
|
|
|
ограничен при р ->■ 1.
Говорят, что функция 1/Г(г), регулярная в круге |z| < 1, при надлежит классу Харди Я2, если интеграл (48) ограничен при р -> 1. [См. Зигмунд, (1959, т. I, гл. VII, разд. 7); см.,также Гренандер и Розенблатт (1957, стр. 288).]
Т еорема 7.6.10. В условиях теоремы 7.6.9 наилучшим линейным, прогнозом будет '
(49) - 2
г= 0
Теория прогнозирования развивалась независимо Колмогоро вым (1941а), (194 lb) и Винером (1949) (первоначальная публикация ограниченного распространения — в 1942 г.). Парзен (1961а) ис пользовал подход, основанный на теории гильбертовых пространств.
7.7. НЕКОТОРЫЕ ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ
Распределения многих статистик, представляющих интерес для анализа временных рядов, слишком усложнены, чтобы ими можно было пользоваться непосредственно. Однако в ряде случаев можно получать предельные распределения, которые используются как аппроксимации к точным распределениям, когда число наблюдений Т велико. В этом параграфе мы рассмотрим несколько предельных теорем довольно общего характера.
462 |
СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ |
Гл. 7. |
Метод нахождения предельного распределения последователь ности случайных величин заключается в нахождении предельного распределения аппроксимирующей последовательности (как в § 5.5).
|
Т еорема 7.7.1. Пусть |
|
|
|
|
(I) |
ST = |
ZkT + Хит, Т — 1, |
2, |
, , , , |
&= 1, 2, ... . |
Предположим, что для любых б > |
0 и е > |
0 существует k0, такое, |
|||
что при k > |
k0 выполняется |
|
|
|
|
<2 ) |
|
Pr{|X *r | > |
6 } < 8 |
|
|
для всех Т, и пусть |
|
|
|
||
(3) |
|
Рг {ZkT < г) = |
FkT(z) |
Fk (г) |
|
при Т -*■ о о , |
а |
|
|
|
|
(4) |
|
lim Fk (z) = |
F{z) |
|
|
|
|
/г-+оо |
|
|
|
в каждой точке непрерывности функции F (г). Тогда
(5) lim Pr {Sr < z} = F (г)
T-+OQ
в каждой точке непрерывности F (г).
Д оказательство. И з условия (2) следует, что Хкт сходится по вероятности к 0 равномерно по Т при k -*• оо. Так как функция F (г)
непрерывна в точке г, то для любого е > 0 существует б > 0 , та |
||
кое, что |
|
|
(6 ) |
|/ ?( Z ± 6) - F ( 2) | < - f 8 , |
|
и такое, |
что г — б и г + б суть точки непрерывности F (г). Тогда |
|
найдется такое klt что для k > |
kx |
|
(7) |
| / у г ± |
б ) _ / г (г)| < 8 . |
Выберем б так, чтобы выполнялось (6 ), и возьмем k таким, чтобы k >
> k0 и k > k i, |
зафиксируем б и k. |
Тогда для Т > Тк (зависящего |
||
от е) |
|
|
|
|
(8 ) |
1Fкт(z) — Fk(z) 1< е, |
|
||
(9) |
l^ftr (z + б) — Fk(z + S)\<. e, |
|||
(10) |
| Fftr (г— 6) — |
|
(г — 6) | < |
e. |
Теперь |
|
|
|
|
( I I ) Pr {ST< |
z} = Pr {ZkT + XkT < |
z} < |
|
|
|
< P r {ZkT< z + |
6 , \X kTК |
S} + Pr {| Хкт| > 6 } « |
|
|
< FkT(z + 6) + |
8 . |
|
|