
книги из ГПНТБ / Хеннан, Э. Многомерные временные ряды
.pdf180 Гл. I I I . Прогнозирование и фильтрация случайных процессов
При изложении частотного анализа теории прогнозирования мы следуем сначала Хелсону и Лауденслагеру [1958]. Величина, которая должна быть минимизирована в случае одношагового прогноза, равна
Я
- Я
ибо это есть сумма квадратов ошибок прогноза компонент х (0) по величинам Xj (т), 7 = 1, . . ., р\ пъ = —1, . . ., —N. Миними
зация, |
конечно, производится по всевозможным последовательностям |
|||
А л- (/). |
Мы рассмотрим формально более общую проблему оценки |
|||
выражения |
|
|
|
|
|
inf р-1Tr j {А (0) —hy (e1*-)} F (dA) {А (0) - hN {е^)}*, |
(5.4) |
||
где h y |
= У] |
л- (/) exp ijX, а А (0) пробегает всевозможные матрицы |
||
с единичным |
определителем. |
матрица, |
||
Напомним, |
что если В — эрмитова неотрицательная |
|||
то существует |
единственная эрмитова матрица Н, такая, |
что |
В — |
= ехр Н (это выражение определяется посредством экспоненциаль
ного ряда). Введем |
обозначение Я |
= log В. |
|
||
Т е о р е м а 3". |
Нижняя гранъ |
(5.4) |
равна |
|
|
|
|
Я |
|
|
|
ехр V |
è f J Tr{log2re/(A.)}dA.] . |
(5.5) |
|||
|
|
— Я |
|
|
|
Вновь, если Тг (log / |
(А,)) неинтегрируем, |
то (5.4) и |
(5.5) следует |
считать равными нулю. Если А (0), как прежде, фиксирована, то мы можем взять нижнюю грань по множеству _40 матричнозначных функций, голоморфных внутри единичного круга, непрерывных на его границе и имеющих нулевое среднее значение. Тогда почти в точ
ности так же, как в |
скалярном случае, можно показать, что если |
||
h — проекция А |
(0) |
6 L2 (F) (см. математическое приложение) на |
|
замыкание А 0 ъ Ь2 (F), то сингулярная компонента F не дает вклада |
|||
в нижнюю грань |
и |
|
|
(А |
(0) |
- |
/г) / (А.) (А (0) — h)* = C и. в., |
тде h и С, конечно, зависят от А (0). Поэтому далее мы будем рас сматривать абсолютно непрерывный случай. Докажем соотношение
ехр Ы Ь " J Т г(1ог2я/ ) ^ ] = inf |
J Tr (е*2яf)dx, |
(5.6) |
5. Прогнозирование векторных процессов |
181 |
где ф пробегает эрмитовы полиномиальные матрицы, такие, что
J Тг і)5 dX —0. Имеем
ехр [ і ^ Г j Т г ^l0dKg]2=я^ехр [ і Ь - I l0g det
J {бе1(2я/)}1/рй Ж
J Tr2"/^.
где было использовано соотношение Тг log В = log det В и нера венство между геометрическим и гармоническим средними (один раз для сумм с собственными значениями матрицы 2л/ и второй раз для интегралов). Полагая х) W = (ехр 1/2ty) 2л/ (ехр Ѵгф), получаем
ехр [■ 4 ^ Т\ гIogW i d K ] < ’ é J rТг w d K
а поскольку
Тг log W = log (det (exp op) det (2л/)},
находим (используя, что Тгф имеет нулевое среднее)
ехр [ і Ь " I Тг log 2я/ |
^ i b - 1 Тг |
dx- |
(5-7) |
Теперь, как и прежде, можно доказать, что нижняя грань правой части не изменится, если ф будет пробегать все матрицы с интегри руемым следом (эрмитовы п такие, что Тгор имеет нулевое среднее). В самом деле, если мы определим положительную часть эрмитовой матрицы как матрицу, собственные значения которой равны поло жительным частям собственных значений исходной матрицы, а соб ственные векторы — те же самые, то доказательство леммы 1 § 3 почти не изменится. Аналогичный прием позволяет затем показать, что в (5.6) имеет место равенство, так как если Тг log 2л/ интегри руем 2*), то функция
фо = (2лр)-1 ( j Тг log 2л/ dXj I — log 2л/
является допустимой, и для нее в соотношении (5.7) достигается равенство.
Теперь нам придется рассуждать иначе, нежели при доказатель стве аналогичной теоремы в § 3, так как из А = ехр В не следует,
что А А* = ехр (В + |
В*) |
(это верно лишь в случае, |
если А комму |
тирует с А*). Для |
этой |
цели докажем следующую |
лемму: |
*) |
Мы определяем матрицу |
W так, чтобы она была эрмитовой. |
|
2) |
В противном случае мы действуем так же, как при доказательстве теоре |
||
мы 3 |
§ 3. |
• |
. . . |
І82 Гл. I l l . Прогпозирование и фильтрация случайных процессов
Л е м м а 3. Если нижняя гранъ (5.4) положительна, то f (X) факторизуется по формуле
=ф (в* ) ф (**>*•
где Ф голоморфна в единичном круге, причем
|
СО |
|
ф (z) = |
S C ( ;V , |
det {С (0)} Ф 0. |
|
о |
|
Д о к а з а т е л ь с т в о . Пусть |
h — элемент замыкания Л 0 |
|
в Ьг (JF), минимизирующий |
|
|
j |
(I + h)f (I + h)*dX. |
Тогда (I + h) f (I + h)* = С, где С невырожденна, так как в против ном случае можно было бы найти матрицу А (0) с det {А (0)} = 1, такую, что величина
Тг {А (0) СА (0)*) = j Tr (А (0) + А (0) К) / {А (0) + А (0) h)* dX
сколь угодно мала. (В качестве первой строки матрицы А (0) возьмем а*, такую, что а*Са = 0. Выберем остальные строки так, чтобы они со строкой а* образовывали линейно независимую систему. Умножая их на подходящую постоянную, мы можем сделать след сколь угодно малым, тогда как строку а* можно, не изменяя следа, умножить на Другую ненулевую постоянную, чтобы определитель А (0) равнялся единице.) Полагая А = С- 1!2 (берется положительный корень),
имеем (А -{-Ah) f{A -j- Ah)* = /, так что / = (Л +Л А )-1 (Л+Л/г)*_1.
Так как элементы матрицы (Л +Л /г)-1, очевидно, квадратично инте грируемы по мере dX и
j (Л -f-Ah)~1 einX dX— j f (A-f- Ah)* einX dX =
= j f (/-j- li)* einX dXA* = 0, |
ra = 1, 2, . . . , |
то лемма доказана. |
|
Пусть т|) — такое же, как в соотношении (5.6). Тогда собственные значения матрицы ехр (— строго больше нуля, и мы получим положительную нижнюю грань в соотношении (5.4), если в качестве /
возьмем ехр (—я р ) ; следовательно, |
ехр (—ф) = ВВ*, |
где |
СО |
|
|
В = ^ В ( п ) еіпХ, |
det В (0) Ф 0. |
|
о |
|
|
Покажем теперь, что det В (0) = 1. |
Так как ВВ* = |
Тг (ехр (—-ф)), |
то элементы матрицы В равномерно ограничены, а значит, интегри
5. Прогнозирование векторных процессов |
183 |
руемы, и поскольку
СО
det В = det -В (0) + S с in) еІ71?\ 1
то из неравенства для среднего геометрического и среднего арифме тического получаем
j log-1 det В I2 dX•< log | det J5(0) |2.
По построению В в лемме имеем ехр ф = D*D, где D~x — A-\-Ah\ аналогично, для D имеем
j log I det D |2 dX log | det A |2.
Так как В (0) A = /, то, складывая эти неравенства, получаем, что они должны обращаться в равенства. По предположению,
0 = —^ J log (det e’t) dX= log | det A |2,
и определитель А положителен, ибо A — эрмитова положительная матрица; следовательно, этот определитель, как и определитель матрицы В (0), должен равняться единице. Таким образом, а іы показали, что если ф такая, как в соотношении (5.6), то
J Tr ( ^ 2*/) dk = |
I Tr (D2nfD*) dX, |
(5.8) |
|
где D = j4 + //, определитель |
А |
равен единице ы |
|
со |
|
|
|
II = s |
Н (j) е*>\ |
|
|
1 |
|
|
|
Так как нижняя грань выражений в левой части (5.8) равна, как
мы доказали, ехр (2лр)-1 j Tr (log 2л/) dX, то, взяв нижнюю грань
правой части по, очевидно, более широкому классу, мы получим
inf |
j Tr {A (0) + /г) 2я/ {А (0) + /г}* dX< ехр |
j iTr (log 2я/) dX. |
Так же как в одномерном случае, противоположное неравенство можно получить из соотношения (5.8), и теорема 3" доказана.
Эту теорему можно сформулировать в следующей эквивалентной форме:
Т е о р е м а 3".
Я
det (G) = ехр j log (det 2я/ (X)}dX.
- Я
Доказательство мы оставляем читателю в качестве упражнения. Если det G > 0, то мы говорим, что х (п) — процесс максималъ-
184 Гл. I I I . Прогнозирование и фильтрация случайных процессов
ного ранга. Конечно, может быть и так, что clefc G = 0, но процесс чпсто недетерминированный, так как G может оказаться ненулевой матрицей.
Т е о р е м а 4 ". Если х (п) — процесс максимального ранга, то
U W = / (А), F, {X) = F(2) (X) + F(3) (X).
Достаточно показать, что F0 (X) сингулярна; тогда утверждение будет следовать из единственности разложения Лебега. Этот резуль тат принадлежит Винеру и Мазани [1957].
Докажем сначала, что если А н В — эрмитовы неотрицательные
матрицы, то |
det (Л -)-S)/Tr {А -\-В) |
^ |
det Л/Тг Л. |
Очевидно, |
|||
мы можем предположить, что Л дпагоиальпа, |
и тогда ясно, что |
||||||
det (Л + 5 ) ^ |
det Л + |
У] Ъ}, }АХі |
(где |
Л^’Л — соответствующее |
|||
алгебраическое дополнение). Так какТг Л ^ |
|
то Ті'Л det (Л А-В) ^ |
|||||
^ Т г Л det Л + Т т В det Л = det Л Тг (Л +В), |
что и |
требовалось |
|||||
доказать. Таким образом, |
|
|
|
|
|
||
|
|
det / ^ |
det fu |
’ |
|
|
|
откуда |
|
Тг / ^ |
Tr U |
|
|
|
|
|
|
|
|
|
|
|
|
|
det |
det /tt |
|
|
|
|
|
Следовательно, |
|
|
|
|
|
|
|
j log (det 2л/) dXr^2л log (det G) + |
|
|
|
dX. |
Таким образом, второе слагаемое равно нулю, а так как Тг /„ и. в.
конечен, то Тг ^ Fv (X) |
j равен нулю и. в., откуда, учитывая эрми |
||
тову неотрицательность |
(d/dX)Fv (X), |
получаем результат. |
|
Утверждение теоремы 4" может не выполняться, если х (п) не |
|||
является процессом максимального |
ранга (см. Мазани |
[1959а]). |
|
До сих пор не удалось полностью обобщить теорему 5, |
так как |
отсутствует исчерпывающее описание «внешних» функций. Другими
словами, для функции Q (z) = (2 М (У) z0 G1/2 не найдено простого конечного выражения в терминах /, даже при условии Q (О)2 = G. Основная работа в этом направлении проделана Мазани [1959b], [1960], который использовал математические результаты Потапова [1955]. См. также Хелсон [1964]. Однако в случае процессов макси мального ранга имеет место полный аналог теоремы 1, который мы назовем теоремой 1", хотя у нас не было теоремы 1'.
Т е о р е м а 1". Если х (п) — чисто недетерминированный проиесс максимального ранга, то имеет место теорема 1 во всей ее обидно-
|
6. Проблемы |
интерполяции |
185 |
|
сти, причем |
функция |
|
|
|
|
|
СО |
|
|
|
Ф (е‘Ь) = |
2о ^ 0) |
еІЛ |
|
однозначно определяется следующими условиями: |
Ф (z) голоморфна |
|||
в единичном |
круге, / (X) = (2л) ~1 ФСФ* |
и Ф (0) |
= Ір. |
Эта теорема доказывается почти точно так же, как теорема 1; исключение составляет единственность, которую мы сейчас устано вим. Рассмотрим det Ф (z). Очевидно, что эта функция отлична от нуля почти всюду на окружности, так как этим свойством обладает
det / (X). |
Положим |
R |
(z) |
= Ф (z)_1 Ч* (z) G1^, |
где 'Чг (z) — другая |
||||||||
функция, удовлетворяющая тем же условиям, что |
и Ф (z). Тогда |
||||||||||||
на окружности |
RR* = |
2яФ-1/ф *-1 = |
G, так что по формуле поляр |
||||||||||
ного разложения для матриц |
R |
= GlhS, |
где |
S унитарна. Далее, |
|||||||||
рассматривая |
|
|
|
|
|
|
|
|
|
|
|
||
|
|
G (z) = |
exp |
|
j |
^e |
z |
loS (detФ) d x j |
, |
||||
можно доказать, |
что G4*S голоморфна |
внутри круга. |
В самом деле, |
||||||||||
I G (z) I |
^ |
I det |
(Ф (z)) |
I |
точно |
так |
же, |
как |
при |
доказательстве |
|||
теоремы |
5; |
но |
G (0) |
= |
det Ф (0) |
= 1, |
и, |
поскольку |
G (z) не имеет |
||||
нулей в круге, |
|
функция det (Ф (z))/G(z) |
голоморфна в круге и по |
модулю меньше или равна единице. По принципу максимума модуля
эта функция тождественно |
равна единице, и det Ф (z) голоморфен |
и не имеет нулей в круге. |
Следовательно, R (z), а значит, п S (z), |
голоморфны в круге. |
Но |
S (0) = / р, |
и |
доказательство завершается |
теперь так же, как |
для |
теоремы |
3; |
именно, S * = S -1, значит, |
S (ехр zX)-1 голоморфна как внутри, так и вне круга, и, следова
тельно, есть постоянная матрица, которая должна |
равняться І р. |
Таким образом, R (z) = G1^, т. е. Ф (z) = Y (z), и |
единственность |
доказана.
Остается проблема фактического построения коэффициентов А (/), т. е. функции Ф (z), которая в скалярном случае принципиально решается теоремой 5. Однако, как объяснялось во введении, построе ние алгоритма для определения А (/) не имеет большого практиче ского значения, и мы не будем далее обсуждать этот вопрос.
6. ПРОБЛЕМЫ ИНТЕРПОЛЯЦИИ
Проблемы интерполяции более просты, чем проблемы прогнозиро вания, так как на интерполирующие фильтры налагается меньше ограничений. Мы рассмотрим сначала интерполяцию пропущенного значения для случайного процесса с дискретным временем, а затем интерполяцпю между выборочными точками для процесса с непрерыв ным временем. Другие результаты по интерполяции читатель может найти в работах Гренандера и Розенблатта [1957], Розанова [1963] и Бонне [1965], использованных в нашем изложении.
186 Гл. I I I . Прогнозирование и фильтрация случайных процессов
Мы ищем |
теперь такую |
линейную комбинацию х (п) величии |
X (п — ]'), j ^ |
0, которая |
минимизирует ошибку интерполяции |
II а: (гг) — х (гг)]|2. Так же как в § 2, введем частотные характери стики
М ^ ) = 2 ' Л х ( / ) ^ \ |
(6.1) |
- N |
|
где штрих означает отсутствие слагаемого при j = 0. Мы ищем функцию 1) h, такую, что
Л
lim Tr [ |
j |
(kJThN)F(dX) (Ä - M * ] = 0 , |
N-*-co |
_ я |
|
причем |
л |
|
|
|
|
T r [ j |
( / р — h) F (dX) (Ip — / г ) * ] |
минимален. Тогда
Л
X (гг) = f е_і"Ѵг (eil) z (dX).
- я
Положим
2 = E {(x (гг)— x (гг)) (x (гг)— x (гг))
Очевидно, мы можем, не ограничивая общности, считать, что п = 0. Если F (X) не является абсолютно непрерывной, то, как мы знаем из § 5, сингулярная часть F отвечает безошибочно предсказуемому процессу, который, следовательно, может быть и безошибочно интер полирован. Это приводит нас к рассмотрению абсолютно непрерыв ного случая. Предположим, что не существует ненулевого вектора а, такого, что а ’х (гг) = 0 почти наверное. Очевидно, что это пред положение не ограничивает общности, ибо в противном случае можно было бы понизить размерность х (гг).
Т е о р е м а 8. Пустъ х (гг) удовлетворяет сформулированному выше условию и имеет абсолютно непрерывный спектр, и пустъ /(А.)-1 — обобщенная обратная к матрице f (X). Необходимым и достаточным условием невырожденности 2 является интегрируе мость / (Я,)-1. Если это условие выполнено, то частотная характери стика оптимального интерполирующего фильтра равна
Л |
|
1 |
(6-2) |
-я |
|
а) Мы по-прежнему будем часто опускать аргумент функции /г.
б. Проблемы интерполяции, |
187 |
причем
|
|
я |
|
|
|
|
|
“Я |
|
|
|
Д о к а з а т е л ь с т в о . Очевидно, |
что |
для любой пары ком |
|||
плексных векторов |
а, ß должно выполняться равенство |
|
|||
Е {а* {х (0) — X(0)} X (п)' ß}= 0, |
п ф 0, |
|
|||
т. е. |
|
|
|
|
|
а* |
j |
(Ір — h)f(X)ein*-d'k$= 0, |
пфО . |
(6.3) |
|
Отсюда следует, |
что |
С, |
|
|
|
|
|
(Ір — h) f = |
|
|
где С — постоянная матрица. Таким образом,
(ІР - h ) = Cf-\
Это решение не единственно, однако любое другое решение отли чается от него на матрицу, которая при умножении справа на / дает нуль и, следовательно, приводит к той же 2. Далее, из (6.3) вытекает также, что
Я
j (Ip—h)fh*dk = 0,
-Я
так как h есть среднеквадратичный предел выражений вида (6.1). Таким образом,
|
2 = j ( І р |
— h )fd l = 2пС, |
|
|
откуда следует, |
что |
С = С* = С. Предположим сначала, |
что /-1 |
|
интегрируема; тогда |
|
|
|
|
|
|
Я |
Я |
|
|
2 = |
С j /-1//-1 d l = C j Г 1 dlC |
|
|
|
|
-я |
-я |
|
|
с = с { 4 г |
|
(6.4) |
|
|
|
|
- Я |
|
решением этого |
уравнения является |
|
||
|
с ={тЕГ |
5 / ( Ч - ‘ Л > " - |
(6.5) |
|
|
|
|
-Л |
|
ISS Гл. I I I . Прогнозирование и фильтрация случайных процессов
Вновь любое |
другое решение (6.4) приводит к той же самой 2; |
в самом деле, |
положим |
|
|
~ ГТ |
тогда мы должны рассмотреть решения уравнения X = АТ4Х. Если |
||
X |
= С-\-D, где |
С дается соотношением (6.5), то, полагая Е — |
= |
.4Л ' х = А~ХА, |
мы можем считать, что ED = DE = EDE — D, |
так как E X E , очевидно, приводит к той же 2, что и X. Тогда имеем |
||
|
C+ D = (C+ D) А (C+ D) = CAC+CAD+DAC + DAD, |
|
т. |
е. |
|
D = ED + DE + DAD,
откуда |
—D = DAD = {~D) А (- D ). |
|||||
|
|
|||||
и |
X = С — Di, где |
Di — также |
решение уравнения X = ХАХ, |
|||
но |
теперь |
Х А Х = |
САС, что |
и |
требовалось |
доказать. |
|
Таким |
образом, мы можем |
взять С в виде |
(6.5), и теорема, за |
исключением утверждения о невырожденности 2, будет доказана.
Если / (X.)“1 |
интегрируема, то 2 действительно невырожденна, ибо |
||
в противном |
случае |
найдется вектор а, |
такой, что' |
|
I |
ос// (к)'1 adk =0, |
а'а = 1. |
Выбирая ортогональную матрицу Р, первая строка которой совпа дает с а, получаем, что Pf (к) Р' для всех к имеет нулевые элементы в первой строке и первом столбце, откуда следует, что а!х (п) — О почти наверное. С другой стороны, если 2 невырожденна, то, учиты
вая соотношение |
j {Іѵ — h) f (Ip — h) dk = j (4л)-2 2 / -12 dk, мы |
видим, что 2 /-12 |
интегрируема, значит, и / _1 должна быть интегри |
руемой. Доказательство завершено.
Пусть X (п) — скалярный процесс; тогда если / (^)-1 не интегри руема, то ошибка интерполяции равна нулю, и обратно (это можно
доказать, рассматривая |
f(k)-j-e, е > 0, |
и устремляя е к нулю). |
В скалярном случае 2 |
равна среднему |
гармоническому функции |
2л/ (к); ее можно рассматривать как среднее гармоническое и в общем случае. Таким образом, имеет место любопытная сводка результатов об оценивании х (0). В случае когда мы не имеем никакой информации
о прошлом и будущем, мы полагаем х (0) = 0 и получаем матрицу ошибок Г (0).
Используемая |
информация |
Матрица ошибок |
|
|
Отсутствие |
информации |
Среднее арифметическое 2 |
л/ |
|
Прошлое |
|
Среднее |
геометрическое 2 |
п/ |
Прошлое и будущее |
Среднее |
гармоническое 2 |
л/ |
6. Проблемы интерполяции |
189 |
Рассмотрим теперь задачу интерполирования значения х (t) одномерного процесса с непрерывным временем по наблюдениям X (гг), п — О, ± 1, . . . . Вновь, не ограничивая общности, можно рассматривать только абсолютно непрерывный случай. Таким обра зом, мы должны минимизировать величину
оо
j I e~ia ~ h i (X) \2f (X) dX, 0 < i < 1,
где ht принадлежит части пространства L z(f dX), порождаемой функ циями ехр іпХ, п = 0, ±1) ••• •
Следовательно, мы должны иметь
I {е ~ г1Х— k t } e ~ inXf d X = 0, тг = 0, ± 1 , . . . ,
и, поскольку ht (X) = ht (X+ 2ктс),
Лоо
j I |
2 е_іі(>”+2г4Л)/ (А,+ |
2/сл) — ht (X) 2 |
/ (л + 2/тл) I |
dX = 0. |
|
— Я |
—со |
|
— оо |
|
|
Отсюда |
|
|
|
|
|
|
у . / ( Х + 2 к л ) |
е - іга + 2а д |
|
|
|
|
ht (Х) = - |
|
|
• я- ^ Х^ я , |
|
|
У , |
П Х + |
2кл) |
|
|
что по модулю не превосходит единицы. |
Ошибка интерполяции равна |
||||
|
со |
|
|
2 |
|
\
— о
2 f (Х + 2кп) е~и2кл
1 — ^ ------------------ |
/ w ^ - |
2 П Х + 2 Ы )
— ОО
Если эта ошибка равна нулю, то ht (X) exp itX должна равняться единице и. в. относительно / dX. Но если X возрастает на 2/я, то h t (X) ехр ИХ просто домножается на ехр (г'2/я£), так что / должна равняться нулю вне интервала [—я, я]. Обратно, если это выпол няется, то ошибка интерполяции, очевидно, равна нулю, так что это является довольно очевидным необходимым и достаточным усло вием того, что любая величина х (t) может быть точно восстановлена только по наблюдениям х (гг). Если наблюдения производятся в точ ках Ап, А > 0, то, переходя к процессу у (t) = х (At) со спектраль ной плотностью f y (X) = А~г/ х (Х/А), мы получаем так называемую
теорему отсчетов:
Те о р е м а 9. Пустъ х (t) имеет абсолютно непрерывный спектр
испектральную плотность /. Для того чтобы любое значение х (t)