книги / Статистический анализ временных рядов
..pdf614 |
ЛИНЕЙНЫЕ ТРЕНДЫ И СЛУЧАЙНЫЕ СОСТАВЛЯЮЩИЕ |
Гл. 10. |
ности положительно полуопределенных матриц С(1), |
С(Я> име |
ется всего р диагональных элементов, равных 1. Все остальные диа гональные элементы этих матриц равны нулю. Учитывая, что зна чения vA, A = 1 , ..., Я, и du, i = 1 , ..., р, упорядочены одинаковым
образом, получаем отсюда, что те элементы с«\ которые равны 1 при некотором А, соответствуют последовательным значениям ин
декса /. В силу положительной полуопределенности матрицы С<Л) из с(и = 0 вытекает,что и c'f = с]? = 0, } = 1, ..., р. Таким образом,
С(Л) имеет не более одного диагонального блока, отличного от нуле вого. Но тогда из (23) следует, что остальные недиагональные эле
менты равны нулю и ранг C<ft) равен числу единиц на ее диагонали. Поэтому сумма рангов положительно полуопределенных матриц
С<Л), Л — 1, ..., Я, равна р, а ранг С(й> совпадает с рангом матрицы
A(ft), Л = 1.......Я. |
|
|
|
|
Обратно, предположим, что сумма рангов матриц |
С(А), Л = |
1 , ..., |
||
Я, равна р. Из (23) и (24) |
находим, что 2 |
(vg — vA) C(g) = |
D — |
|
— vAI. Ранг левой части |
gi=h |
не превосходит |
||
последнего соотношения |
||||
суммы рангов Я — 1 матриц C(g> (g Ф Л), |
равной |
р минус |
ранг |
матрицы С(Л). Поэтому число тех du, которые равны vA, не меньше ранга С(Л). Поскольку последнее утверждение справедливо для всех . А, это число в точности равно рангу С(Л). Пусть ненулевыми среди
матриц |
C(ft), Л = |
1, ..., Я, являются матрицы Lb |
.... |
L0, имеющие |
|||
ранги г1( ..., Га соответственно, и пусть |
отвечающие |
им vA равны |
|||||
ии |
..., |
UQ. Тогда |
(27) имеет вид da = |
2 |
и«4? • Элемент du равен |
||
для |
* = |
1 , . . . , ^ |
|
«=1 |
|
|
|
значению иъ наибольшему среди ug, g = 1,.... G. |
|||||||
Поэтому для этих значений i имеем tu |
— 1 и ftf |
— 0, g Ф 1. Из |
приведенных ранее соображений ясно, что верхний левый угол мат рицы Lx есть единичная матрица, а верхний левый угол Lg являет ся нулевой матрицей, g ф l . Поскольку ранг Lx равен порядку матрицы I, то остальные элементы Lx равны нулю. Подобные же со ображения, примененные к следующей группе уравнений, показы вают, что L2 имеет единичную матрицу в следующем диагональном блоке и нули на остальных местах и т. д. В результате получаем, что каждая матрица Lg имеет диагональный блок, представляющий собой единичную матрицу, причем порядок этой матрицы равен рангу Lg.B
Л емма 10.2.1. Если X > 0, то |
1 >• 1. При этом |
BXSX-1 = 1 тогда и только тогда, когда X с вероятностью 1 явля
ется положительной постоянной.
10.2 |
ЭФФЕКТИВНОЕ ОЦЕНИВАНИЕ ФУНКЦИЙ ТРЕНДА |
617 |
|
ния, |
которые ш^еют вид |
|
|
(38) |
( х - р ) '[8(Ь — Р)(Ь—. Р)']-' ( х - Р ) |
- |
|
|
= (* — РГ Z'2-1Z (х — Р) = /? + |
2, |
|
(39) |
( х - р ) '[8(Ь*- р )(Ь * - РОГ1(х- |
Р) = |
|
= (х— ру г г (z'sz)-,z'z (Х—р) = р + 2 .
Равномерные распределения на областях, заключенных в пределах эллипсоидов (38) и (39), имеют те же самые векторы средних и те же ковариационные матрицы, что и оценки b и Ь* соответственно. Неравенство (36) означает геометрически, что эллипсоид (38) рас положен целиком внутри эллипсоида (39). Числитель первого и вто рого отношений в (37) пропорционален квадрату объема эллипсои да (38), а знаменатель пропорционален квадрату объема эллипсои да (39). (См. Т. Андерсон (1958).)
Теорема 10.2.3. Eff (b*) <; 1, причем Eff (b*) = 1 тогда и толь ко тогда, когда оценка наименьших квадратов совпадает с марков ской.
Для облегчения изучения эффективности оценок наименьших квадратов нам понадобятся некоторые алгебраические результаты.
Лемма 10.2.2. Если Z = WQ и матрица Q не вырождена, то эф фективность оценок наименьших квадратов коэффициентов регрес сии по г совпадает с эффективностью оценок наименьших квадратов коэффициентов регрессии'по W.
Д оказательство. Эффективность |
оценок |
наименьших |
квадратов |
|
коэффициентов регрессии по Z равна (37). Подстановка |
Z = WQ |
|||
приводит к соотношению |
|
|
|
|
/40) |
IQ'W'WQi* |
= |
|W'W|* |
|
' ’ |
| Q'W'SWQ | • | Q'W 'S-‘WQ | |
|W '2W | . |W 'S_1W( ’ |
|
которое и является эффективностью оценок наименьших квадратов коэффициентов регрессии по W.B
Лемма 10.2.3. Если Z = KW и К'2К = 47, где К — ортогональ ная матрица, то эффективность оценок наименьших квадратов коэффициентов регрессии по Z, имеющей ковариационную матри цу 2, совпадает с эффективностью оценок наименьших квадра тов коэффициентов регрессии по W, имеющей ковариационную мат рицу 47.
Д оказательство. Эффективность оценок наименьших квадратов коэффициентов регрессии по Z, имеющей ковариационную матри цу 2, равна (37). Подставляя в (37) Z = KW и К'2К = Y (т. е. 2 =
618 ЛИНЕЙНЫЕ ТРЕНДЫ И СЛУЧАЙНЫЕ СОСТАВЛЯЮЩИЕ Гл. 10*
=* КЧГК')> получаем
/41) |
[W'K'KWl |
I W'W I2 |
____ ____________________________________________ |
||
* |
| W'K'KVK'KW I • I W'K'KY-’K'KW I |
I W'YW | • I W 'Y -'W I ’ |
а это и есть эффективность оценок наименьших квадратов коэффи циентов регрессии по W, имеющей ковариационную матрицу ? в
Предположим, что существует рх (0 < р2 < р) линейно незави симых линейных комбинаций столбцов матрицы Z, являющихся характеристическими векторами матрицы 2, и пусть эти линейные
комбинации заданы в виде ZGX= \*у Здесь pt является максималь ным числом таких линейно независимых комбинаций. Пусть мат рица G2 размера р X (р — рх) выбрана так, что ZG2 ортогональна ZGi. При этом справедливы соотношения (31) и (32). Положим (ZG1ZG2) = ZG = W = (WjWa). Тогда эффективность оценки наи меньших квадратов равна
WjWj о 2
(42) |
|
о |
W2W2 |
|
|
WjSW |
0 |
WjS-’Wx 0 |
|||
|
|||||
|
о |
w'sw2 |
0 |
WjS-'W,, |
|
|
|
iwfoxi* |
|w^w2 р |
| WjSWx I • I Wjs-'W! I ■I w'sw21 • I W'S-«W21
|W2W2 |»
|w;sw2| • |W'S->W2r
ввиду того, что Wx = Vi, где V* состоит из характеристических век
торов 2 [т. е. Wi 2W X = ЛТ, Wi 2 - 1 W 2 = (Ai)~*]. Иными сло вами, эффективность оценки наименьших квадратов оказывается равной эффективности оценки наименьших квадратов коэффициен тов регрессии по части матрицы Z, ортогональной той части Z, коэффициенты которой удается эффективно оценить. Геометриче ская интерпретация этого факта состоит в том, что имеется такая Рх-мерная гиперплоскость, проходящая через р, которая имеет одно и то же пересечение с эллипсоидом (38) и с эллипсоидом (39). Отно шение объемов зависит при этом от длин главных осей, ортого нальных к указанному рх-мерному подпространству.
Л емма |
10.2.4. Эффективность оценок наименьших квадратов |
коэффициентов регрессии по Z равна |
|
V ' |
|W'AW| • |W'A_ IW| ’ |
где W = V'ZP, a P — невырожденная матрица, такая, что |
|
(44) |
W'W в P'Z'ZP = I. |
10 .2 |
ЭФФЕКТИВНОЕ ОЦЕНИВАНИЕ ФУНКЦИЙ ТРЕНДА |
619 |
Доказательство, Утверждение леммы вытекает из результатов лемм 10.2.2 и 10.2.3.в
Если имеется некоторая информация о Z или о 25, то могут представлять интерес нижние границы эффективности оценок наименьших квадратов при этих условиях. Пусть, например, мат рица 25 известна, но этот факт не используется при оценивании. Насколько при этом могут оказаться неэффективными оценки наи меньших квадратов? Эта задача сводится к отысканию минимума (43) по всем матрицам W размера Т X р, таким, что W'W = I. [Минимизацию (43) можно выполнять на компактном множестве матриц W, так что минимум существует и достигается.]
Если р = 1, то (43) принимает вид
(45) |
|
Eff (b*) = |
_____ 1_____ |
|
|
|
|||
|
|
|
|
w'Aw • w'A- ’w |
|
|
|
||
|
|
_ |
1_______ |
_______1_______ |
|
|
|||
|
|
2 я*»? 2 |
wt |
2 |
v/p/ • 2 |
p//v / |
|
|
|
|
|
1 |
/-=1 |
|
/=1 |
/»! |
|
|
|
где |
различные значения |
чисел К, |
обозначены vx > v3 > |
...> |
v«, |
||||
а Р/ |
= 2 w2t, причем суммирование производится по тем значениям |
||||||||
t, для которых \ |
= V/. Знаменатель (45) имеет вид %Х • |
8Х ~\ |
где |
||||||
X — случайная |
величина с |
распределением |
Pr (X = |
V/} = |
Р/, |
||||
/ = |
1, ..., Н. Поэтому к (45) можно применить следующее неравен |
||||||||
ство |
Канторовича (1948). |
|
|
|
|
|
|
|
Л емма 10.2.5. (Неравенство Канторовича.) Если случайная ев' личина X такова, что 0 < т < X < ,М, то
(46) 8Х • %Х~1< (т+ М)3
4тМ
Доказательство. Если 0 < m < х < Л1, то
(47)0 < ( М — х)(х — т) — (М + т — х )х — Мт,
откуда
(48) |
1 |
- |
М + т — х |
|
х |
^ |
Мт |
||
|
Поэтому умноженное на %Х математическое ожидание случайной величины УХ удовлетворяет неравенству
(49) |
8Х •%Х-х< -±r- (М + т - 8Х ) ЪХ. |
620 |
ЛИНЕЙНЫЕ ТРЕНДЫ И СЛУЧАЙНЫЕ СОСТАВЛЯЮЩИЕ |
Гл. 10. |
|
Отсюда и из соотношения |
|
|
|
(50) |
0 «С[SAT — (Af + m)/2]2 = |
(SX)2 — (M + m)&X+ -(M+ т? |
|
вытекает искомое неравенство (46).в |
|
||
Т ео рем а 10.2.4. Если р = |
1, « 1 , и ^ — соответственно наи |
больший и наименьший характеристические корни матрицы 2, то
(51) |
E l K b - O - j j - ^ - . |
|
Верхняя граница в лемме 10.2.5 достигается для такой случай |
ной величины, у которой Pr {X — т) = Pr (X — М\ = 1/2. Соот |
ветственно, нижняя граница в (51) достигается для Рг= Рн и Р/ =
= |
0, / = 2 .......Н — 1, т. е. в том случае, когда г является средним: |
|||||||||||
двух характеристических |
векторов, соответствующих |
наибольше |
||||||||||
му и наименьшему характеристическим корням. |
|
записана |
в виде |
|||||||||
|
Нижняя |
граница для |
Eff (b*) |
может |
быть |
|
||||||
4 (Xy/Xj)/! 1 + |
(Xr/Xi)]2. |
Иными словами, |
она |
является функцией |
||||||||
отношения |
наименьшего |
характеристического |
корня |
матрицы 2. |
||||||||
к |
наибольшему |
характеристическому |
корню |
этой |
матрицы. |
|||||||
В табл. 10.1 приведены значения минимума Eff (b*) для |
различных |
|||||||||||
значений отношения A,rAx. Следует отметить, что для Хг/Хх > |
1/2 по |
|||||||||||
теря эффективности не очень велика. |
|
|
|
|
|
|
||||||
|
|
|
|
|
Таблица 10.1 |
|
|
|
|
|
||
|
НИЖНЯЯ ГРАНИЦА ЭФФЕКТИВНОСТИ СКАЛЯРНОЙ ОЦЕНКИ НАИМЕНЬШИХ |
|||||||||||
|
|
|
|
|
КВАДРАТОВ |
|
|
|
|
|
|
|
|
Яг/^ |
0.1 |
0.2 |
0.3 |
0.4 |
0.5 |
0.6 |
0.7 |
|
0.8 |
0.9 |
1.0 |
|
min Eff (Ь») |
0.331 |
0.556 |
0.710 0.816 |
0.889 |
0.938 0.969 |
0.988 |
0.997 |
1.000 |
Если р >- 2, то здесь уже не удается найти такой удовлетвори тельной нижней границы, которая была бы достижимой. Например, имеет место оценка
(52) |
Е И ( Н > [ 1^ г ] ' . |
однако она не достижима. Ватсон (1967) получил другую оценку снизу:
(53) |
4^^ |
К^Т—р.fl |
|
Eff (b*) |
К + *т-р-н |
Х,у)а |
|
|
|
При этом он привел два примера, в одном из которых лучшей ока зывается оценка (52), а в другом — оценка (53). [См. Ватсон (1955).!
10.2 |
ЭФФЕКТИВНОЕ ОЦЕНИВАНИЕ ФУНКЦИЙ ТРЕНДА |
62fc |
Т еорема 10.2.5. Оценки наименьших квадратов являются эффек тивными для всех Z тогда и только тогда, когда матрица 2 отли чается от единичной матрицы I лишь скалярным множителем.
Д оказательство. Единственными матрицами, для которых все; векторы характеристические, являются матрицы, указанные в фор мулировке теоремы.н
Пусть в качестве примера А0 = 1, Ау = (В/ + В О, где
~ 0 |
1 |
0 .... |
0 |
0 “ |
0 |
0 |
1 .. |
0 |
0 |
0 |
0 |
0 .. . |
0 |
0 |
6 |
6 |
6 .. . |
0 |
i |
1 |
0 |
0 .. |
0 |
0 |
для / = 1, .... |
[772]. Если Т = 2К, то |
|
|
(55) |
В* = В'* = (° Q) , |
|
|
где каждая из |
подматриц имеет |
порядок К. Пусть, подобно тому |
|
как это было в гл. 6, |
|
|
|
(56) |
17/2] |
|
|
2 = |
2 т ,А ,. |
|
|
|
/=о |
|
|
Характеристическими корнями будут здесь, |
во-первых 2 т /. соот |
||
ветствующий |
характеристическому вектору |
V И Т е = У ИТ (1,... |
..., 1)', затем, если Т четное, 2 (—1)'у/, соответствующий характери
стическому вектору V^l/T(—1, 1, |
.... |
Г), а также 2 ? / cos 2njk/Tt. |
||
соответствующие |
2/Т (cos 2nk/T, |
cos 4яkIT, |
..., 1)'и V~2/T X |
|
X (sin 2nk/T, sin |
ink/T, ..., 0)', |
k |
= 1 , 2 , ..., |
l(T — 1)/2]. Приг |
этом, для каждого k — 1, 2, ..., [(7’ — 1)/2] корни имеют кратность, два. Соответствующая каждому двойному корню пара характери стических векторов, указанных выше, может быть заменена любой' парой линейных комбинаций этих векторов, образующей ортого нальное преобразование размерности два. Оценка наименьших квадратов будет здесь эффективной тогда и только тогда, когда р столбцов матрицы Z являются независимыми линейными комбина циями р из этих характеристических векторов.
622 |
ЛИНЕЙНЫЕ ТРЕНДЫ И СЛУЧАЙНЫЕ СОСТАВЛЯЮЩИЕ |
Гл. 10. |
10.2.3.Асимптотическая эффективность оценок наименьших квадратов
Пусть {щ} — случайный процесс с &ut = 0 и %utus — о (t — s). Положим
(57) |
yt = 2 РjZjt + ut, |
/ = 1, 2, . . . . |
|
/=i |
|
Если последовательные значения уи ..., ут для любого Т образуют вектор у, удовлетворяющий соотношениям (1) и (2) с р = (ръ РР)', Z = (га)' и 2 = [a (t — s)1, то марковская оценка и оценка наименьших квадратов вектора Р, а также ковариационные матрицы этих оценок выражаются соотношениями (3), (4), (5) и (6) соответст венно. Нас интересует сейчас вопрос о том, при каких условиях обе ковариационные матрицы (5) и (6) будут асимптотически экви валентны, в том смысле что
(58) |
lim нормированной {S(b* — Р) (Ь* — Р)'} = |
|
Г -У С С |
= |
Нш нормированной {8(Ь — Р)(Ь — Р)'}. |
|
Г-»-оо |
Нормировка предполагается здесь одинаковой для обеих матриц и такой, что пределы в (58) нетривиальны. Мы ставим этот вопрос и для одной заданной ковариационной последовательности {а (Л)}, и для класса всех ковариационных функций с непрерывными поло жительными спектральными плотностями. Такие задачи впервые были рассмотрены Гренандером (1954), Розенблаттом (1956), Гренандером и Розенблаттом (1957).
Для того чтобы получить ответ на подобные вопросы, необхо димо сделать определенные предположения о последовательности
независимых |
переменных. |
|
|
|
||
Пусть |
|
|
|
|
|
|
|
|
T -h |
|
A = 0, |
1, . . . . |
|
|
|
|
|
|
||
(59) |
aj,(h) = |
T |
|
A = 0, |
— 1, |
|
|
|
|
|
|
||
Тогда |
aJj (A) = afi (—А). |
Необходимые предположения таковы. |
||||
Условие 10.2.1. aJi |
(0) |
оо при Т-*~ оо, i = 1 , ..., р |
||||
Условие |
10.2.2. |
|
|
|
|
|
(60) |
|
lim •Zi,T+ 1 |
_ _ 0, |
i = 1, |
|
|
|
|
Т-ю о |
««<о) |
~ |
|
|