Churakov_Mat_met_obr_exp_dan_v_ekon
.pdf^kh-i-^k-ih
в^kh-3-^к-зЬк , c= 0
aj^bQ-a^bj,
Вектор Zn, определяемый стохастическим матричным уравне нием (4.47), по сложившейся традиции назовем стохастическим вектором состояния. Этот вектор путем линейного преобразова ния (4.46) формирует решение у^ уравнения (4.32). Как из уравне ния (4.32) в качестве частных случаев были получены модели AR, МА, ARMA, ARIMA, так и из системы (4.46), (4.47) путем введе ния соответствующих ограничений на параметры характеристик (4.48) можно сформировать те же модели, но в терминах вектора состояния.
Положив в (4.48) к=р, Ьо = bi = ... = bp^\ = О, ЬрЧ^^О, т.е. В^ = = -Ь[ар_\ ар^2 ••• ^о]^ и сохранив^, С в виде (4.48), получим авто регрессионную модель AR(p). Покажем это для случая/? = 2, вос пользовавшись чисто формальной процедурой. Обозначим:
«1 |
С2=- |
«о |
так что |
|
|
q = — - , |
«2 |
|
|
||
«2 |
|
|
|
|
2_ |
|
|
А = |
С2 О |
B = b2 , с |
|
|
|
|
|
^ 2 |
И, воспользовавшись оператором сдвига, запишем ((^E2—A)Zn
= Вхп или же Zn = (<;Е2 —А)~^ВХп, где Еуединичная матрица размерности два. Тогда у^ = С^{с,Е2 — Ау~пх,+ bXft. Осуществив формальные операции, получим
Уп Z?2(C|C-HC2) -x„-tbx„
«2(C^-qC-^2)
Умножим обе части этого выражения на q — Ciq — С2 и учтем смысл оператора q. В результате находим Уп+2 — (^1Уп+\ ~ ^тУп
= beiXfj+i + bc2Xn + bXn+2 — bc\Xn+\ — ^^2^/i, ЧТО после замены « + на п приводит к окончательному результату (4.40):
200
Уп = С]У„-1 + С:2У„_2 + Ьх„.
Если в выражениях (4.48) положить k = q,aQ = a\ =... = а^_| = О,
т.е.
О |
1 О |
... о" |
bq-\ |
'Г |
||
О |
о |
1 |
... |
0 |
bq-2 |
0 |
А = |
|
|
|
|
, в= |
0 |
0 |
0 |
0 |
... |
1 |
|
«9 |
0 |
0 |
0 |
... |
0 |
. *0 . |
OJ |
ТО получим модель скользящего среднего МА(^), в чем можно убедиться подобным предыдущему образом.
Положив в соотношениях (4.48) к=р,Ьо = bi = ... = bp_g_i = О, bp_g Ф О, bp^qj^x Ф О, ..., Ьр Ф О, получим модель авторегрессии скользящего среднего АкМА(р, q). Наконец, если представить A{z) = Ax{z){z - 1)^, выразить коэффициенты многочлена У4(^) че рез коэффициенты многочлена A\{z) и построить соответствую щую матрицу У4, получим матрично-векторную модель ARIMA(/7, q). Таким образом, уравнения (4.46), (4.47) при надлежащем оп ределении структурных параметров (4.48) можно рассматривать как обобщенную матрично-векторную стохастическую модель временного рада, отражающую современные тенденции описа ния случайных последовательностей.
Модель (4.46), (4.47) является достаточно гибкой в том смыс ле, что легко адаптируется к рядам, содержащим не только стоха стические составляющие, но и детерминированные. Так, если на блюдения (4.46) дополнительно содержат гармоническую составляющую/j == wsin(w«) с неизвестной амплитудой и и известной ча стотой w, имитирующую сезонные колебания, то можно, расши рив вектор состояния, свести описание ряда к той же модели (4.46), (4.47), но увеличенной размерности. С этой целью зададим амплитуду и как решение уравнения Uy^ = w„_i, добавив его к сис теме (4.45), и величину Un включим в качестве {к + 1)-го компо нента в состав вектора Z^j. Как следствие, это приведет к возрас танию размерностей всех матричных величин (4.48), которые окажутся равными:
201
|
|
Oil |
1 0 |
|
0 |
... |
0 |
о' |
|
|
021 |
0 |
1 |
0 |
... |
0 |
0 |
|
|
аз1 |
0 |
0 |
1 |
... |
0 |
0 |
2п = |
|
А = |
|
|
|
... |
1 |
0 |
|
|
а*-1,1 |
О |
О |
О |
|||
|
и„ |
ак\ |
0 |
0 |
0 |
... |
0 |
0 |
|
О |
0 |
0 |
0 |
... |
0 |
1J |
|
|
|
|
О |
В = |
О |
|
|
|
О |
оsin(w/j)
Здесь для упрощения записей использованы более лаконич ные обозначения элементов матриц А, В, С, но их смысл тот же, что и в (4.48). Аналогичным образом можно поступить и в случае совместно неизвестных и viw, введя дополнительное уравнение для частоты Wn = У^^П-U ^ТО еще на единицу увеличит размерность модели и сделает ее нелинейной. Воспользовавшись аналогич ным подходом, можно надлежащим выбором матрицы А предус мотреть присутствие в составе ряда полиномиального тренда и иных детерминированных составляющих.
4.12. Рекуррентный алгоритм прогнозирования стохастических временных рядов (калмановский фильтр)
Уточним постановку задачи. Будем полагать, что наблюдается временной ряд д'ь у2, ..., ум- Элементы (уровни) этого ряда пред ставляют собой аддитивную смесь полезной составляющей ряда и сопутствующих любому эксперименту измерительных ошибок (шумов, возмущений). Полезная составляющая ряда линейным образом выражается через ненаблюдаемый стохастический век тор состояния. Математическая модель ряда, таким образом, имеет подобный (4.46), (4.47) вид:
202
3;, = C'^Z« + /?„/z = l,2,...,iV, |
(4.49) |
Z^=^^_, + 5x^_i. |
(4.50) |
Здесь обозначены: Pn - N{0, a^) — экспериментальные ошиб ки типа гауссовского белого шума; х^ ~ Л^(0, о^^) — порождащий белый шум, причем M{ppCj) = О при V/,y; Z{^ ~ N{m^, К^) — опре деленное в вероятностном смысле начальное состояние, не зави сящее от jco; параметры модели С, А, В предполагаются известны ми. Отличие модели (4.49), (4.50) от ее прототипа (4.46), (4.47) проявляется в том, что в (4.49) включены экспериментальные шумы, но отсутствует слагаемое Ьх^, фигурирующее в (4.46). Фор мально это означает, что в уравнении (4.32) т< киЬ^ = 0, что ха рактерно для многих приложений. В последующем мы это огра ничение снимем. Обозначим у^* = C^Zn. Решаемая далее задача заключается в следующем: располагая наблюдениями в объеме (4.49), требуется найти наилучшую в некотором смысле оценку Ущ величины у^*, где т> N. Эта оценка ищется в виде Y,^ = C^Z^, mQZfn — прогнозированное значение стохастического вектора со стояния. В свою очередь, как будет показано, Z,,, = A^~^Zj^, гдeZдг
— оценка вектора состояния Ъ^, найденная по наблюдениям ух, У25 •••» Ум- Таким образом, задача прогнозирования сводится к по иску наилучшей в определенном смысле оценки Z/v вектора Zj^.
Обозначим символом j^i'' вектор наблюдений с компонентами
Уь )^25 •••5 Уп^ т.е. у\^ = [У1У2 ••• Уп]^-> и по этим наблюдениям найд оценку 2п (у\^) вектораZn как функцию наблюденийух^, макси мизирующую апостериорную плотность вероятностей co(Z,j|yi'^) этого вектора. Таким образом, в качестве наилучшей принимает ся оценка
Z^ =arg max a)(Z„ \y^), |
(4.51) |
Напомним, при рассмотрении байесовского метода оценива ния параметров регрессионной модели было показано, что для линейной гауссовской модели наблюдений и квадратичной функции стоимости байесовские оценки совпадают с оценками по критерию максимума апостериорной плотности вероятнос тей. Это справедливо и в данном случае. Поэтому задача (4.51) эквивалентна условию
203
MdlZ.-ZjPljfl-^min,
т.е. решение задачи (4.51) обеспечивает наилучшее приближение оценки Zn к оцениваемому вектору Z^, но аналитически опериро вать с (4.51) удобнее.
Для решения задачи (4.51) прежде всего установим структуру апостериорной плотности. Так как модель (4.49), (4.50) является линейной и гауссовской, то и условная плотность {i^{Z^{^) будет также гауссовской. Как известно, условная гауссовская плотность определяется двумя параметрами: условным математическим ожиданием M{Zn\y\^} и условной ковариационной матрицей MiZ^"" (Z^° )^lyi'^}, где, как и ранее, ° — символ центрирования. Но математическое ожидание гауссовской величины соответствует максимуму ее плотности вероятностей, в силу чего M{Z„\yi"} =Д^. Дополнительно обозначим Af{Z^°(Z,,°)'^lyi''} = M{(Z^ - zJ)(Z„ -
— Zfj)^\yi^} = Rn. Эту матрицу, характеризующую точность оцени вания вектора Z^ по данным ух", принято обычно называть апос териорной ковариационной матрицей. Таким образом, (})(Z„\yi^) = = N(Z„, R„).
Аналогичным образом и по тем же причинам выразим
co(Z>,"-') = МД,,«-ь Kf-ih |
где Д,,«-1 = М{2„\УГ\ |
Rn, «-i = |
|
^_1 принято назы |
вать априорной ковариационной матрицей. Вектор Z„n-\ является оценкой вектора состояния Z^, найденной по наблюдениям j^i'^"^ = "= \У\У2 ••• Уп-\]^у ^^то принципиально отличает его от оценки Z^ того же вектора, но найденной по наблюдениям j^j'^. По существу, величина Zfjfj^i является прогнозированным значением вектора Zfj-i на один шаг вперед, найденным по наблюдениям yi, У2, ...,
Уп-1-
Установим связь между условными плотностями (x)(Zfj\yi^) и Ci)(Zn\y\^~^). Для этого предположим, что найдена условная плот ность (d(Zn-i\yi^~^), и рассмотрим ряд соотношений, основанных на общих свойствах плотностей вероятностей:
co(Z„ УП\УГ') = (o(Zn\yr') (0(yn\Z,,yrb = ОУ(УП\УГ') (^(Z,\y,"y
Из этого равенства следует интересующее нас соотношение c^iZn^ = cMZn\yr') co(y,|Z„>;i'^-^) = cMZnly^') о^(УпЮ, (4.52)
204
где Сп = I/COCH^JIVI'^"^) И учтено, что при фиксированном векторе Zf^ величина Уп не зависит от предшествующих наблюдений у\^~^, в силу чего co(y«|Z,j .vi'^"^) = co(yjZ^). Входящая в выражение (4.52) условная плотность co(y^|Z^) находится из (4.49): о^{уп\^п) ~ = N{C^Zn, Ор^). Так как с„ не зависит от Z^^, а обе плотности (x)(Zfj\yi ) и cd(yn\Zn) из (4.52) являются гауссовскими, то общий
показатель экспоненты произведения (o(Zn\y\'^~^) х (jdiynlZ^) имеет
вид:- i ( Z ^ ~ 4 « _ i ) X « - r ^ ( ^ A . - 4 / i - i ) - |
~a/2(^,_C^Z,)lHo |
тогда задача (4.51) в силу (4.52) эквивалентна задаче |
|
J = (Zn-Z,^„_0'^R;},_^(Z„-Z„^,.O^cf{y„ |
- C ^ Z j 2 _>min. (4.53) |
Запишем необходимое условие минимума:
V/= 2i?-^_i(Z^ -Д,,«_1) + 2af^C(yn - C^Z,) = 0^
где 0;t "~ нулевой /:-вектор. Решение этого уравнения и будет представлять собой оценку Д,. Таким образом,
Zn = {R-n]n-\ + Op-^CC^)-\R-n]n-x Z^,n-i + V'Cv,). (4.54)
Воспользовавшись леммой об обращении матрицы, предста вим
(4.55)
"^ Rn, n-i — Rn, п-\С(С i?/i,Ai-lC'+ Gp) С Rn,n-b
a на основе (4.50) запишем
Zn,n-i = MiZnlyi""'} = M{AZn-x + Bxn-iW'} =
=AM{Z,.,)yr')=AZ,_u
откуда следует важное соотношение
4« - 1 = >4Д,_1. |
(4.56) |
Выражения (4.55), (4.56) позволяют следующим образом от редактировать формулу (4.54):
205
Обозначив |
|
Кп = л., п-хС{С^ Л,, ,_iC + a/) - ^ |
(4.57) |
из последнего выражения получим |
|
Zn-AZn-x + Kniyn-C^AZn-x^n^ia.-^-.N, |
(4.58) |
Выражение (4.58) позволяет последовательно вычислять оценки Zb Z2, 2з, ..., причем каждая последующая оценка выра жается через предьщущую и очередное наблюдение, т.е. алгоритм носит рекуррентный характер. Это выражение часто называют
уравнением фильтрации.
Для завершения алгоритма необходимы дополнительные со отношения, определяющие матрицу i?^,«-i в выражении (4.57). Займемся их поиском.
Обратимся к выражению (4.52) и рассмотрим его правую часть, т.е. функцию co(Z;j|yi'^~^)co(3^jZ;,)/co(>'«|yi''~ ). Дополнитель но к уже найденным определим условную плотность co(y«lyi'^'"*). При линейной гауссовской модели (4.49), (4.50) эта плотность также является гауссовской и определяется двумя параметрами — условными математическим ожиданием и дисперсией. Найдем их:
М{Уг)уГ') = M{C^Z, +/7>ГП = C^Z,,,.!;
M{(y,-C^Z,,,_i)V"'} = M{(C^{Zn-Zn,n-i) ^Pn)\r') =
И, таким образом, ^{у,}у\^~^) = N{C^ Zn^n-ъ C^^n, n-\C + o^^). Те перь, используя определение гауссовской плотности, построим
206
функцию p(Z«), являющуюся показателем экспоненты в выраже нии b^{Zn^ri^iyn\Zn)/^iynW'^Y
p(Zn) "^ - Т (Zn'-Zn^n-l) ^ \ n-i(Zn —Zfj^n-l) ~
Разложим эту функцию в ряд Тейлора в окрестности точки Z^. Так как функция квадратичная, разложение будет содержать лишь три слагаемых:
p(Z,) = p(Z,) + ^ ^ ^ ( Z , ~ Z , ) + ~ ( Z , - Z , ^ ^
В силу оптимальности оценки Z^ выполняется условие
-~7^^ = 0. Так как в (4.52) co(Z>i'') = N{Zn, R^), то показатель dZ„
экспоненты плотности co(Z;jlyi'') при Z^ = Д, обращается в нуль. Но тогда и функция p(Z^) в этой точке обращается в нуль, т.е. p(Z;,) = О, и, следовательно,
p{z„)=i(z„-i„)Ti^(z„-z„).
^oZ„
Показатель экспоненты функции (o(Z^lyi'*) = 7У(Дг, Rn) равня ется - -• (Z^ - Zft)^Rn''\Zft - Д,), и так как должно выполняться равенство (4.52), он должен равняться функции p(Z;j). Но это ра-
венство достигается, если |
~^ = (-Л~^), что после дифферен- |
|
az2 |
цирования приводит к соотношению R^^ = Rn!n-\ "*" Ор^СС^, Об ращая обе части этого равенства и применяя к правой части лем му об обращении матрицы (4.55), с учетом (4.57) получаем
Rn = (£-KnC^)Rn^„^b |
(4.59) |
207
Теперь установим связь между матрицами R^^ „^i и Rn-i- Для этого рассмотрим последовательность равенств
Rn, n-i = M{(Zn^Zn,n-x)(Zr, -z,,«-i)''h"'~H =
-- ARr^.xA^ Л^ (5^BB^,
из которых следует
Кп-\ = ARr^^i^ + 0,251?'^. |
(4.60) |
Совокупность соотношений (4.57) ~ (4.60) образует рекур рентный калмановскии алгоритм оценивания стохастического вектора состояния. Вычисления по этому алгоритму организуют ся следующим образом.
1.В соответствии с априорной информацией ZQ ~ Щт^, K^Q) принимаются начальные условия для алгоритма ZQ = т^, RQ =
2.Пусть я = 1.
2.1.В соответствии с (4.60) вычисляется матрица i?i^o-
2.2.На основе (4.57) находится вектор К\,
2.3.Используя (4.58), находят оценку Zi вектора Zj, соответ ствующую наблюдению У1.
2.4.Из выражения (4.59) находится матрица J?i.
3.Пусть п = 2.
3.1.На основе (4.60) вычисляется матрица J?2,i-
3.2.В соответствии с (4.57) вычисляется вектор К2.
3.3.Из (4.58) находят оценку Z2, соответствующую наблюде
ниям >;ь>'2;
3.4. Вычисляют матрицу i?2? используя (4.59).
Последующие расчеты проводятся аналогичным образом при л = 3, 4,..., 7V, результатом чего будет оценка Z^. Прогнозирован ное значение}^ = C^Z^ ряда обосновывается результатом (4.56) и принимает вид Y^ = C^A^~^Z/s/. Апостериорная ковариационная матрица Rj^ определяет точность оценивания вектора состояния Z]^, соответствующая величина С^А^"^ — Rj\/(A^~^)^C характери зует точность прогнозирования.
208
4.13. Нелинейная параметрическая идентификация модели стохастического временного ряда
При построении калмановского алгоритма прогнозирования предполагалось, что параметры^, В, С модели (4.49), (4.50) и вхо дящих в нее белых шумов известны. Однако одна из особеннос тей эконометрических задач проявляется в том, что это предпо ложение оказывается излишне оптимистическим, и параметры, прежде чем решать задачу прогнозирования, еще следует опреде лить. Источником соответствующей информации при этом явля ется сам временной ряд Ух, У2, ..., Ум- Ранее уже отмечалось, что для традиционных моделей ряда вида AR, МА, ARMA разработа ны алгоритмы оценивания их параметров, широко представлен ные в литературе. Поэтому, воспользовавшись этими методами, можно идентифицировать неизвестные параметры, а затем пост роить модель ряда в терминах стохастического вектора состоя ния, но уже с известными параметрами, и решить задачу прогно зирования калмановскими средствами. Покажем, что калмановская идеология позволяет избежать этой двухэтапной процедуры и совместить в рамках общего алгоритма решение задач иденти фикации и прогнозирования.
Обратимся к соотношениям (4.49), (4.50). Неизвестными па раметрами этой модели, что следует из (4.48), являются первый столбец матрицы А, вектор Д первый элемент вектора С, диспер сия Gr?, Введем для них обозначения:
|
^11 |
Z i = |
, Z2=B, Z3 = |
Так как эти параметры являются стационарными и во време ни не меняются, условно их можно задать как решения простей ших разностных уравнений:
^1,/? - ^ 1 , « - Ь ^2,А1 ~ ^1,п-Ъ ^3,А1 ~ ^3,д|-1- |
(4.61) |
Введем в рассмотрение блочные векторы и матрицу соответ ственно:
209