книги / Статистический анализ временных рядов
..pdf2 .2 . |
ОБЩАЯ ТЕОРИЯ НАИМЕНЬШИХ КВАДРАТОВ |
23 |
статистика (12) имеет нецентральное ^-распределение с параметром нецентральности
(14) |
(р<2) _ >)' (Ам _ а21ап'а12) (Р<2>- Р(2>) |
|
о* |
||
|
Эти результаты являются следствием того, что Ь(2>имеет нормаль ное распределение N (Р(2>, а2А22). [См., например, Т. Андерсон (1958, § 2.4).1
Если р<2>= 0, то нулевая гипотеза означает, что элементы z*2) не входят в функцию регрессии. При этом говорят, что величины
Уъ •••, Ут не зависят от векторов z*2). В этом важном случае числи тель в (12) есть просто Ь(2>' (А22 — А^АЦ^А^) Ь(2>.
Доверительная область для р(2>с коэффициентом доверия 1 — г
имеет вид |
|
|
|
(15) |
{Р2 |
(ь(2>- Р(2У (А22—а21А|7'а12)(Ь(2)- |
р<2>) |
|
|
(P —r)s2 |
<. Fp_r,т-о (г)! • |
где Fp_r,r_p (е) есть верхняя 100е-процентная точка *> F-pacnpe- деления с р — г и Т — р степенями свободы.
Если интерес представляет только один элемент вектора р, то вместо F-статистики можно использовать /-статистику. Пусть, на пример, нас интересует элемент рр. Тогда А22 = арр есть число, и
отношение (Ьр — Pp)/(s Y аРР) |
|
имеет /-распределение с Т — р сте |
||||
пенями |
свободы. |
|
|
|
yt. — b'z, |
не коррелировс чы с неза |
Заметим, что остатки yt = |
||||||
висимыми переменными zt в выборке: |
|
|||||
(16) |
7 |
^ |
7 |
|
7 |
г&Ъ = О, |
^ |
УА = |
> |
1 |
УЛ — |
||
|
{=) |
|
t= |
/-=1 |
|
а множество этих остатков не коррелировано с вектором выбороч ной регрессии в генеральной совокупности. (См. упр. 7.)
Сказанное поясняет следующая геометрическая интерпретация
(см. рис. 2.1). Пусть у = |
(уъ ..., ут — вектор в Г-мерном евклидо |
||||||||
вом |
пространстве, |
г |
столбцов |
матрицы |
Ъх = |
(z\x\ ..., z^)' |
|||
представляют собой г векторов в этом |
пространстве, а р — г столб |
||||||||
цов матрицы |
Z2 = (z/2), |
..., z(r2))' суть |
р — г его векторов. Пусть |
||||||
при этом Z = |
(ZxZ2). Тогда математическое ожидание вектора у вы |
||||||||
ражается в виде Zp и является вектором |
в р-мерном |
подпростран |
|||||||
стве, |
натянутом на столбцы матрицы Z. |
Выборочная |
регрессия Zb |
||||||
является проекцией |
вектора у на |
это |
р-мерное |
подпространство. |
|||||
И |
То есть значение, выше которого лежит |
100е процентов распределения*— |
Прим. перев.
2
Геометрическая интерпретация оценивания по методу наименьших квадратов.
Рис. 2.2.
Геометрическая интерпретация проверки гипотезы
2.3. ЛИНЕЙНЫЕ ПРЕОБРАЗОВАНИЯ НЕЗАВИСИМЫХ ПЕРЕМЕННЫХ 25
Вектор остатков у — Zb ортогонален каждому вектору этого р-мер-
ного подпространства и является проекцией у на |
(Г — р)-мерное |
|||
подпространство, ортогональное столбцам матрицы |
Z. |
|
||
|
На рис. 2.2 представлено р-мерное подпространство, порожден |
|||
ное столбцами матрицы Z. Проекция вектора Zb — Zp = |
Z (b — P) |
|||
на |
r-мерное подпространство, порожденное столбцами |
матрицы |
||
ZL |
равна |
Zib'W — ZiP*«> = Zx (b*<!>— p*<‘>), |
где |
b*<!>= |
= (ZiZ^-'Zly. (См. § 2.3.) Проекция на (p — г)-мерное подпро странство Z, ортогональное Z1( равна Z (b — P) — Zj (b*(l>—
— P*(I)) = (Z, — Z1An1A12) (b(2) — p(2>). Числитель ^-статистики (12) равен квадрату длины последнего вектора, а знаменатель пропор ционален квадрату длины вектора у — Zb.
2.3. ЛИНЕЙНЫЕ ПРЕОБРАЗОВАНИЯ НЕЗАВИСИМЫХ ПЕРЕМЕННЫХ; ОРТОГОНАЛЬНЫЕ НЕЗАВИСИМЫЕ ПЕРЕМЕННЫЕ
В представлении функции регрессии независимые переменные могут быть отнесены к различным р-координатным системам. При этом некоторые координатные системы могут оказаться предпочти тельнее других.
Пусть i t = Gzt, t = 1, ..., Т, где G — произвольная невырож денная матрица, и пусть р = G'P*. Тогда %yt можно записать в виде
(1) p'z, = p*GG_lz; = p*'z;.
Компоненты векторов zj, t = 1, ..., Т, являются координатами век торов zt в новой координатной системе. Оценки для р* и а2 по на блюдениям г^, ..., ут, z1(..., zтвыражаются соотношениями
(2) |
Ь* = |
А*” 12 |
Щ = |
(ОАО'Г'О £ |
ztyt = (О'Г'Ь, |
|
|
Ы\ |
|
t=l |
|
(3) |
(Г - р) s*2 - |
2 (у, - |
b*'zt)2 - 2 {yt - |
b'ztf = (T - p) s*. |
|
В последнем использовано равенство |
|
||||
(4) |
|
b*'z< = |
[(G')-1 |
b]' Gz, = b'z,. |
Функции, которые взяты в качестве оценок для функции регрессии, в обеих координатных системах принимают одинаковые значения b'zt = b*'zj.
Независимые переменные можно разбить на два множества,
zt = (г ^ г Г ), и особо интересоваться множеством z*2). Например, может представлять интерес проверка нулевой гипотезы р(2> —0.
26 |
ИСПОЛЬЗОВАНИЕ РЕГРЕССИОННОГО АНАЛИЗА |
Гл.2. |
В этом случае удобно преобразовать независимые переменные с помощью матрицы
где матрица Gu квадратная. Тогда |
|
|
|
|||||
(6) |
' = [G 312 |
° ) = |
( Оп , |
II |
°_Л |
|||
|
\,G2 |
G22/ |
22 |
G22/ |
||||
|
|
|
|
|
\—G |
G21G |
||
(7) |
Р* = |
( |
Он’)' —(G22IG GTT)'')|/Г |
|
||||
\ |
|
о |
(ОГ21)' |
J |
|
|||
|
р*(2\1 |
|
|
|||||
|
' (GTT1)' Р(1) — (GiilG21G- |
|
|
|
||||
|
|
|
|
|
( 2) |
|
|
|
|
|
|
(ОГгУр1 |
|
|
|
||
Гипотеза |
Н : р(2>= 0 |
эквивалентна, |
таким |
образом, гипотезе |
||||
Я : Р*(2) = |
0. В результате преобразования вектора |
г{ получим |
||||||
(8) |
|
|
|
|
|
О,,!!1' |
\ |
|
|
U а ) |
|
|
|
\ о а Л " + 0 „ г Р ) ' |
|||
Поскольку b*(2>= (G22V |
Ь(2) |
и |
|
|
|
|
||
(9) |
А22 — А21 (Ац) |
^ |
12= 6 2 2 ^ 2 2 |
— A21AnIA1?)G22» |
то F-критерии для проверки обеих нулевых гипотез совпадают. Если в качестве матрицы G взять матрицу
(10) |
/ Оц |
• ) - |
( ' |
, |
0 |
|
*о21 о J |
\ — а мап' |
I ) |
то векторы z;(1) = z(/> и тональными, т. е.
N -к- *
II
i\2) — А21Ац1z(/ } становятся орто-
(11) |
Ая = |
А?; = 2 t l V |
|
= |
Аг1 - |
А21Ап‘Ап = 0. |
||
Поскольку же |
|
**=1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
||
(12) |
|
|
А;2= Аг2- А 21Ай‘А12, |
|
||||
то статистика |
/’’-критерия |
принимает |
в этом |
случае вид |
||||
Ь*<2>'А;2Ь*<2>/[(р |
- |
г) s2]. |
G |
можно выбрать таким образом, |
||||
Линейное |
преобразование |
|||||||
чтобы |
все компоненты вектора |
z* |
были |
попарно |
ортогональны. |
|||
Пусть |
|
|
|
|
|
|
|
|
(13) |
|
|
z<= |
Гг,, |
|
|
2.3. |
ЛИНЕЙНЫЕ ПРЕОБРАЗОВАНИЯ НЕЗАВИСИМЫХ ПЕРЕМЕННЫХ |
27 |
где
(14)
1 |
0 |
0 |
. . |
., |
0 |
Y a i |
1 |
0 |
|
|
0 |
|
|
|
|
|
|
Y s i |
Y S 2 |
1 |
. . . |
, |
0 |
|
|
|
|
||
_ Y p i |
V p 2 |
Y p s |
• • • |
|
|
Тогда г’- = ги и |
|
|
|
|
||
(15) |
|
гы = г*, + |
V |
k = 2, ... , р, |
||
|
|
|
м |
|
|
|
т. е. 2ft/ зависит только от тех г,/, для |
которых / < |
Условия орто |
||||
гональности вектора (ги, •••, 4г) к (г*ь |
г\т)...... (г*-и, |
|||||
совпадают с |
условиями |
ортогональности |
вектора |
(ги, ..., г\т) к |
||
(г„, |
zir), |
(г*—i,i, .... 2ft_i,r) и имеют вид |
|
|||
|
|
|
г 11 |
^\,k—1 |
|
|
.(16) |
— (у*!, |
. . . , Vft.*—О |
|
|
= (Я, |
, dk,k—l)- |
|
|
|
Ok—1,1 • . • tffc-u-l |
|
||
При этих условиях матрица |
|
|
|
|||
|
|
|
|
au |
0 .. . |
0 |
(17) |
|
2 Z/V' = A* = ГАГ = |
0 |
Я22 |
0 |
|
|
|
|
|
|||
|
|
'=i |
|
_ 0 |
0 .. . |
opp__ |
|
|
|
|
|||
диагональна. Для компонент соответственно имеем соотношения |
||||||
(18) |
|
2 |
*//27/== О, |
is£l- |
|
|
|
|
/=1 |
|
|
|
(Если ортогональные переменные, кроме того, нормированы деле* нием z*.t на j/a*., то соответствующая процедура ортогонализации
известна под названием процесса ортогонализации Грама — Шмидта.)
Если независимые переменные ортогональны, то формулы и вы
числения |
по ним значительно |
упрощаются. Поскольку |
|
|
- *—I |
0 .. . |
0 |
|
an |
||
(19) |
0 |
O2 2 ' .. . |
0 |
A*” 1= |
|
|
|
|
0 |
0 • • • |
•—1 |
|
aPD __ |
28 |
ИСПОЛЬЗОВАНИЕ РЕГРЕССИОННОГО АНАЛИЗА |
Гл. 2. |
то элементы векторов Ь* некоррелированы и имеют дисперсии, рав ные <уг/ац, i = 1, р. При этом нормальные уравнения принимают простой вид
(20) |
b’ = с< _ |
7 |
|
i = i , . . |
2 |
V " . |
|||
|
йзг |
“И <=1 |
|
|
а формула для оценки дисперсии переходит в |
||||
(21) |
(Т - |
р) s2 = 2 |
У? - |
2 |
|
|
<=i |
1=1 |
В этом случае F-статистика (12) из § 2.2 для проверки гипотезы р*(2) = р*(2) равна
|
2 |
(* ;-© • |
|
(22) |
<-'+1 |
— Fp-rj-p. |
|
|
(p — r)s2 |
Иногда независимые переменные с самого начала выбираются ортогональными. Как будет показано в гл. 4, тригонометрические
последовательности {cos 2njt/T}, j = 0, 1, ..., |
r j, |
и \s\n2nktlT), |
k = 1, .... j^-i- (Т — l)j ортогональны для t = |
1, ... , |
Т имогутбыть |
использованы как компоненты вектора zt. Ортогонализировать можно любое множество независимых переменных, но проводить эту операцию не имеет особого смысла, если данное множество переменных используется только один раз. Напротив, если одна и та же совокупность независимых переменных используется много кратно, то ортогонализация независимых переменных может дать большой выигрыш, сокращая объем вычислений.
Примером использования ортогонализации независимых пере менных может служить полиномиальная регрессия. Предположим,
ЧТО Zit = tl~x и
(23) %yt = PJ + + ••• + Pp^p—I, f = 1, ••• ,T .
Степени переменной t можно заменить ортогональными полиномами
Фог (0 |
= 1, ф1г (f).......фр-i.r |
(t), имеющими вид |
|
(24) |
Щт (t) — |
Ck—i{k, |
Т)Р~' + ••• -f- Cj (k, T)t-\-C 0(k, Т). |
Здесь коэффициенты С зависят от длины ряда Т и степени полинома k и определяются соотношениями
(25) 2 Ф‘7 (0 ф{т(0 — о, i /.
м
2.3. |
ЛИНЕЙНЫЕ ПРЕОБРАЗОВАНИЯ НЕЗАВИСИМЫХ ПЕРЕМЕННЫХ |
29 |
При ЭТОМ |
|
|
(26) |
%yt = Yo<Por (0 + Yi9ir V) + ••• + Ур—1Фр—1,7 (*)• |
|
Более подробно ортогональные полиномы рассмотрены в § 3.2. Большинство вычислительных методов решения нормальных уравнений АЬ = с включает в себя так называемые прямое и об ратное решения Прямое решение состоит из последовательно сти операций над строками матрицы (Ас), в результате которой А приводится к треугольному виду. При этом (Ас) преобразуется
в матрицу (Ас): D (Ас) = (Ас), или
|
1 |
0 |
. . . 0 |
|
а и а ы • • • а 1р С 1 |
|||
(27) |
d u |
1 |
. . . 0 |
(Ac) = |
0 |
0.^2 ■ ■ • а 2р |
с2 |
|
|
|
|
|
|
|
|
||
|
— d p i d p2 • • • 1_ |
|
_ 0 |
0 |
• • • |
~с р - |
||
|
|
|
|
|||||
Матрица D имеет здесь форму матрицы Г. Исследование вы |
||||||||
ражения (27) |
показывает, что каждая строка из |
D совпадает с |
соответствующей строкой матрицы Г, так что D = Г. [Различные методы приведения А к треугольному виду отличаются только последовательностью операций и являются в алгебраическом смысле эквивалентными при одинаково упорядоченных наборах переменных. Отметим, что прямое решение уравнения (27) для некоторого k является частью прямого решения для любого последующего k.] Таким образом,
(28) |
akk = 2 |
4 гы = 2 (4 )2 = akk, |
|
t=l |
1 |
_ Т
(29)ck = 2 ZktDt = c*k-
t=\
Коэффициенты выборочной регрессии для ортогонализированных переменных bk = Cklakk можно_ получить из прямого решения нор
мальных уравнений: bk = ck/a kk. Фактически во многих вычис лительны^ методах, таких, как метод Дулитла, каждая строка
матрицы (Ас) делится на старший отличный от нуля элемент и запоми нается. При этом последний элемент каждой строки является коэф фициентом регрессии при соответствующей ортогональной перемен ной. Таким образом, прямое решение связано с теми же алгебраи ческими преобразованиями, которые используются при определении ортогональных переменных. Существенное отличие, конечно, состоит в том, что вычисление ортогональных переменных связано с полу-
0 В советской литературе их обычно называют прямым и обратным ходом решения.— Прим. перев.
30 |
ИСПОЛЬЗОВАНИЕ РЕГРЕССИОННОГО АНАЛИЗА |
Гл. 2. |
чением рТ чисел гм. Отметим в заключение, что значение выраже
ния Ы2)' (А22 — А21AJJ1 А12) Ь(2) можно получить из прямого решения
р |
^ |
р |
сЦа№. (См. упр. 12.) |
как 2 |
^ |
= 2 |
|
fe=r-f-l |
|
t=r-1-1 |
|
2.4. КОРРЕЛИРОВАННЫЕ ПЕРЕМЕННЫЕ
Если зависимые переменные коррелированы и ковариацион ная матрица известна с точностью до постоянного множителя (или точно), то развитую выше теорию можно соответствующим образом видоизменить. Предположим, что
(1) |
Л сУ/— РЧ ) |
*У, = Р * р |
|
1 = |
1, |
|
||
(2) |
(0* — РЧ> = <*№ |
t, |
s = |
1........т . |
|
|||
Здесь |
Z/ — известный вектор-столбец |
из |
р |
чисел, / = 1, |
..., Т, |
|||
a ots = |
о2 |
/, s = |
1, ..., Т, где величины |
%s известны. |
Удобно |
записать эту модель в более компактной матричной форме. Пусть
У = (0i, • • •, Ут)', |
ъ = Ч , ... , гт У , £ = (0te) и ¥ = (ip*). |
Тогда (1) и (2) принимают вид |
|
(3) |
Лу = Zp, |
(4) |
Л (у — ZP) (у — ZP)' = £, |
где £ = а2¥ , а V — известная матрица. Пусть матрица D удовлет воряет соотношению
(5) |
DVD' = 1. |
|
|
|
Положим Dy = |
х = (хъ ...,хт)' и DZ = W = (wx, ..., wг)'. Умножая |
|||
(3) на D слева, а (4) на D слева и на D' справа, приходим к модели |
||||
(6) |
|
Лх = |
Wp, |
|
(7) |
Л (х — WP) (х — WP)' = |
a2l, |
|
|
изучавшейся в § 2.2. Нормальное |
уравнение АЬ = |
с, в котором |
||
А = W'W и с = |
W'x, эквивалентно |
|
|
|
(8) |
Z'D'DZb = |
Z'D'Dy. |
|
|
Из (5) видно, что V = D~' (D ')-’ = |
(D'D)-1 и V—l = |
D'D. Поэто |
||
му решением уравнения (8) является |
|
|
||
(9) |
b = (Z'V -'Z )-1Z 'V -!y. |
|
||
Отсюда получаем |
|
|
|
|
(Ш) |
Ль = ( Z 'v - 'z r 1ГЧГЧу = р, |
|
2 .4 |
КОРРЕЛИРОВАННЫЕ ПЕРЕМЕННЫ1 |
31 |
(И) |
g (Ь — р) (Ь — Р)' = (Z 'V -'z r 1тчг' х |
|
х8 (у — Zp) (у — ZP)' V _1Z (Z '^ -'Z )-1 =
=оЦ ГЧ Г1! ) - 1.
Каждый элемент вектора b является наилучшей несмещенной ли нейной оценкой соответствующей компоненты вектора р (теорема Гаусса— Маркова). При этом вектор b называется марковской
оценкой для р. Он минимизирует квадратичную форму (у — Zb)' х
XV- 1(у —Zb). Если У х , у т имеют совместное нормальное распре-
л
деление, то b и а2 = (Т — р) &IT являются оценками максимально го правдоподобия для параметров р и о2 и образуют для этих пара метров достаточное множество статистик.
Оценка наименьших квадратов
(12) |
bL = (Z 'Z r1Z'y |
является несмещенной, т. е. |
|
(13) |
8bL = (Z'Z)-1 Z'Sy = Р, |
и имеет ковариационную матрицу
(14)8 (bL — Р) (Ь/. — Р)' - (Z'Z)-‘ Z'8 (у — ZP) (у— ZP)' Z (Z'Z)-1=
=a2 (Z'Z)-1 Z'TZ (Z'Z)-1.
Если только столбцы матрицы Z не связаны специальным образом с *F, то любая линейная комбинация компонент вектора Ь/., напри мер y'bL, будет иметь дисперсию, большую чем дисперсия соот ветствующей линейной комбинации у'Ь компонент вектора Ь. В этом случае разность выражений (14) и (11) будет положительно полуопределенной матрицей.
Теорема 2.4.1. Если Z = V*C, причем р столбцов матрицы V* являются линейно независимыми характеристическими вектора ми матрицы У, а С — невырожденная матрица, то оценка наи меньших квадратов (12) совпадает с марковской оценкой (9).
Доказательство. |
Условие на V* означает, что |
(15) |
4rV* = V*A*, |
где А* — диагональная матрица, состоящая из (положительных) характеристических корней матрицы V, соответствующих столбцам матрицы V*. Тогда справедливо равенство
(16) |
= A *~‘V*', |
и |
а оценка наименьших квадратов равна |
(17) |
. Ь*. = С-1 (V*'V*)~' V*'y, |
32 |
ИСПОЛЬЗОВАНИЕ РЕГРЕССИОННОГО АНАЛИЗА |
Гл. 2. |
|
а марковская оценка |
|
|
|
(18) |
b = |
( C 'V ^ r 'W ) -1 C,V*,'F_1y -= |
|
|
= |
(C'A*- I V*'V*C)_I C'A*- l V*'y. |
|
Правая часть (18) идентична правой части (17). в
В разд. 10.2.1 будет показано, что условие теоремы 2.4.1 явля ется не только достаточным, но и необходимым. Его можно сформу лировать и иначе: существует р линейно независимых линейных комбинаций столбцов матрицы Z, являющихся характеристически ми векторами матрицы 4*“. Смысл теоремы заключается в том, что при выполнении указанных условий оценки наименьших квадра тов (для случая, когда матрица V неизвестна) являются несмещен ными линейными оценками с наименьшей дисперсией. В разд. 10.2.1 будет рассмотрен случай, когда существует произвольное число линейно независимых комбинаций столбцов матрицы Z, яв ляющихся характеристическими векторами матрицы V. Оценки наименьших квадратов для коэффициентов этих линейных комбина ций совпадают с марковскими, если остальные независимые пере менные ортогональны данным. Утверждение о том, что при выполне нии условий теоремы 2.4.1 оценки наименьших квадратов являются и оценками максимального правдоподобия, было доказано для слу чая нормального распределения Т. Андерсоном (1948).
2.5. ПРОГНОЗИРОВАНИЕ |
|
Займемся теперь прогнозированием |
значения ух в момент |
t = т. Если функция регрессии известна, |
то известно также %ух, |
и'Ъно будет наилучшим образом прогнозировать значение ух в том смысле, что при этом минимизируется среднеквадратичная ошибка прогноза.
Предположим теперь, что имеются наблюдения ух........ ут, по которым мы хотим предсказать значение ух (т > Т), причем %ух =
р
— 2 PftZfri ~ P'zt, где р неизвестный, a z* известный векторы. Пред-
£=*1
ставляется разумным оценивать вектор р с помощью оценки наи меньших квадратов Ь и в качестве прогноза ух использовать b'zx. Займемся обоснованием такой процедуры. При этом будем рас
сматривать только линейные прогнозы 2 dtyt. Коэффициенты d, мо-
гут зависеть от zu .... гти гх. Прежде всего потреГ ноз был несмещенным, т. е., чтобы