3 . Э р го д и ч еск а я т е о р и я д л я процессов, с т а ц и о н а р н ы х в ш и р о к о м см ы сле 241
кость
(/-мерных
векторов
ijW (и),
такую,
что
N
q\
(а)
lim d] (N ) = lim 2 {у\Ю (n)}z=
>,
/ =
1.
N
N 1
(b)
lim
max
<г/(У,(Л0}2
:0, / = 1,
. .
g;
N 1 s i n ^ N
aj V ' l
N
(и\Ю(т)инт1 ('*+ «))
(c)
lim
S
II! =
I
dj (N) dh(TV)
■Pjk (n).
N
Здесь dj (N) — положительный квадратный корень из dj (N). Тогда, точно так же, как в § 6 гл. II (см. теорему И), получаем
Я
Рул(п) = j ein%M (dX).
—Я
Обозначим через R (п) матрицу с элементами рjh (п) и предположим, что R (0) невырождеина.
Введем матрицу Y д- с элементом yf^ (п) на пересечении п-кстро
ки и /-го столбца и матрицу X N, определенную
аналогично через
xj (п). Положим
è = (Y'JfY N)-1Y itXx.
(3.10)
Такое определение мотивируется теорией регрессии, так как /-й
столбец В является вектором регрессии Xj («) на
(п),
k = 1 ,..., q.
В частности, если q = l и y{N) (п) = 1, то È равно xN.
Введем диа
гональную матрицу DN с диагональными элементами dj(N). Что бы правильно сформулировать и доказать нашу теорему, необходи
мо ввести тензорные обозначения. Возьмем столбцы матрицы В и поместим их последовательно один под другим, так что полу
чится
столбец ß, в котором ß;-, j
находится в
строке (/ — l) g - f i,
і =
1,
... ,
q; 7 =
1, ... , р.
(Всего
имеется
р
переменных
Xj(n),
7 =
1,
и д
переменных yh (п), к = 1,
...,д .)
Напомним, что
тензорное
(кронекеровское)
произведение г)
А ® В
р х р-матрицы А
и g X g-матрицы В есть матрица размера pq X pq,
у которой на пере
сечении (д (г — 1) -г к)-й строки и (д (/ — 1) +
Z)-ro столбца, i, j =
1, ...
. ... р; к,
1 = 1,
..., д, находится
а-цЬкі. Теперь
мы можем ввести
матрицу
Я
{ІР ® R (О)}-1 J
2я/ (Х)®7¥' (dl) {IP®R (О)}'1,
(3.11)
х)
См.
математическое приложение,
§ 5.
16 Э. Хеннап
242 Гл. IV . Законы больших чисел. Центральная предельная теорема
где средняя матрица получается поэлементным интегрированием матрицы / (X) <8> М ' (dl). Имеет место следующая теорема, которая не только устанавливает среднеквадратичную сходимость к нулю
элементов В, но и указывает предельную формулу для матрицы ковариаций. В следующем параграфе мы обсудим эти результаты применительно к w (соД.
Т е о р е м а 8. Если х(п) — стационарный процесс с абсолютно непрерывным спектром и кусочно-непрерывной спектральной плот ностью. не имеющей разрывов в точках скачков М (X), то
(Iр ® ДУ)Е (ß ß') (Ip® Dy) сходится к (3.11) при N -*~ оо.
Д о к а з а т е л ь с т в о . Имеем
E(ß) = 0, так как ß линейно зави
сит от Xj(n). Заметим, что если
превратить матрицу Y'nX
в стол
бец и 1) по такому нее правилу,
как В превращается
в ß,
то этот
столбец будет иметь вид
N
11= y,x(n)<S>ylN) (ч).
1
Тогда
( I р ® D х ) ß = { ( I р ® D x ) ( / р ® 1
n Y .у ) 1 ( ^ р ® D y ) } ( / Р ®
а д
Первый множитель (в фигурных скобках), равный
{Ip®D7y'Y'NY x D l'}-\
в силу условия (с) (Д Л Я п —0) При IV —V ОО СХОДИТСЯ к [Ip®R (О)Г1. Итак, нам достаточно доказать теорему для [(/р®Ду) и] с предель ной матрицей ковариаций
J 2nf(l)® M ' (dl).
Рассмотрим сначала случай, когда / (X) непрерывна и / (X) > 0
винтервале [—я, л]. (Здесь и дальше такое неравенство понимается
всмысле обычного отношения порядка для матриц 2).) Если/'1’ (X) ^
(Х)<./(2) (X) и Цц и, и2 построены по процессам xs (п), х(п),
х2 (п)
с такими спектральными
плотностями, то
E(UiU()< Е (u u ')< E (и2и2).
х) Ради простоты обозначении мы опускаем индекс величины и, указываю
щий на
ее зависимость от N.
что / (X) положительно определена, а но
2)
В частности, / (X) > 0 озпачает,
просто
неотрицательна.
3.Эргодическая теория Оля процессов, стационарных в широком смысле 243
244 Гл. IV . Законы больших чисел. Центральная предельная теорема
удовлетворяющие первым двум условиям (чтобы это доказать, можно выбрать V) > 0 так, чтобы матрицы / (X) ± т)/л были положительно определены, и использовать тот факт, что чезаровские средине рядов Фурье этих матриц положительно определены и равномерно сходят ся) Третье условие также выполняется, поскольку
(Ір 0 Dxl) Е (uiu'i) (Ip 0 DJ?) =
Л
= 2
(и) 0 J e~inXD~xJ (X) J (X)*Dxl dl,
n—л
апоследнее стремится к
2л 2 4І(г) (п) ® Я ( — ») =
П
Л
Л
=
j 2я 2
Л(і) (п) е~™ 0
М ' (dX) =
j
2я/<;>0 М ' (dX).
- Л
- Л
Итак,
формула
для матрицы ковариаций установлена в случае
/ (X) > О, X £ [—я,
я]. Если / (X) непрерывна,
по последнее условие
не выполнено, то
рассмотрим /(Х) + е/р,
е > 0
и введем соответ
ствующий
вектор
иЕ. Тогда из
сказанного
выше
следует, что
я
lim (/р 0 0 ^ )Е ( п н ')(/р 0 Діѵ)<
1 2я/(Х)®М'(йХ) + 2яе(/р0Я(О)),
N-*-oo
J
- Л
Л
lim (/р ® Z?iv) Е (гш') (IP®D^) >
f 2я/(Х)®7І/' (dX) — 2яе (/р 0/? (0)),
JV-wx,
откуда в силу произвольности е вытекает доказываемое утверждение. Если / (X) лишь кусочно-непрерывна, то можно найти две непре рывные спектральные плотности g(1>(X) •< /(X) ■< g(2>(X), такие, что
Л
j
{g<2>(X)-g<1>(X)}®M'(dX)<eIp(/;
(3.13)
- Л
например, если
Х0
— точка
разрыва1)
/(X) и
/ (Х0+ ) > /(Х 0 —), то
можно положить
ga> ß ) =
/
(0Х- ) +
i ßr i_ я 0)
{ / (Xo
-i- Ti) -
/ (Xo - ) } ,
g,ö (X)=/(X),
Xefx0, Xo-мн.
Если 1] достаточно мало, то g(1) (X) ^ / (X)<!g(2) (X) на указанном интервале, и вклад в (3.13), соответствующий этому интервалу,
*) Очевидно, имеются в виду разрывы первого рода.— Прим, перев.
3. Эргодическая теория для процессов, стационарных в широком смысле 245
можно сделать сколь угодно малым, ибо приращение М' (X) на интервале [Я0, Ло + ЛІ мало при малых г). Так как для g(1) и g<2\ как было выше доказано, теорема верна, а е в формуле (3.13) сколь угодно мало, то эта формула справедлива и для / (X). Теорема 8 доказана.
В связи с доказательством одной из разновидностей центральной предельной теоремы нам необходимо будет усилить условие (Ь)
следующим
образом:
(Ь)' Пусть
S N — подмножество индексов j N, 1 < / ,ѵ <. N,
состоящее
из
М N элементов. Если
Um -ä£. = 0,
то
lim s
ІѴ-*0ОnesN
N - оо JV
= 0,
1 = 1, • • •, q,
d'j (N)
равномерно относительно S N. (Таким образом, левая часть может быть сделана меньше любого е > 0 для всех S N и }, если только M n!N достаточно мало.)
Это условие, по-видимому, выполняется во всех практически важных случаях х). Оно, однако, исключает некоторые случаи, когда d] (N) возрастает очень медленно, например у (п) =
Во всяком случае, оно выполняется во всех конкретных примерах,
рассмотренных
в § 6 гл.
II.
c{Naj
df (N) ^ czNaj для
Будем писать dj (N) X
Naj, если
некоторых
0 <C Cj ^
c2 <
оо. Имеет
место
Т е о р е м а
9.
Пустъ х {п) — стационарный процесс с абсолют
но непрерывным спектром, Тг{ f(X)} sC K i <
оо,
X £ [—я, я], и пустъ
y'N) (п)
удовлетворяет условиям Гренандера с d) (N)
X N aj , аj >* V2,
7 = 1,
. •
q.
Тогда В
сходится к
нулю
почти
наверное.
Д о к а з а т е л ь с т в о .
Достаточно доказать,
что
N
У, Уіі (») Х1(п)
C ( N ) = n d j ( X ) d h (N)
сходится к нулю почти наверное для всех ;, 1с, I, ибо типичный эле
мент матрицы В может быть записан в виде линейной комбинации таких величин с коэффициентами, сходящимися к конечным постоян ным. Дисперсия с (N ) равна
di {N)~2dh (N)~2 j \ % y k (n)e™ 2 fi (X) dX^CKdj {N)~2.
- Л
x) Подробности см. в упражнениях к этой главе.
246 Гл. IV. Законы больших чисел. Центральная предельная теорема
Положим
N (М) = il'/ß, ßaj > 1.
Тогда, в силу леммы Бореля —
Кантелли,
с (N (М)) сходится
к нулю почти наверное, так как ее
дисперсия не превосходит К N ~ a j$ .
(Мы обозначаем через К конечные
постоянные, пе обязательно
одни
и
те же.) Далее,
Е [ sup
I (c(N)-c (iV (М))) dj (N (M))) dk (N (M))/{ds (N) dh (N)} |*] <
мР<іѴй.(M+l)ß
<.{dHN(M))dl{N(M))}-'E{{
(M+l)ß
2 Ы и ) Ы * ) |Г і <
juP-fi
( M + I ) ß
<
A- {(M + l)ß - M e)
S
yh
(Mp) dl (Mß)}.
Afß+i
Для краткости обозначим последнее выражение через а (М). Имеем
(Д/Ң- 1)р— Afß = 0(іИ Р(1-аА “л)- 1)
и, поскольку o'; > 1 /2 , мы
можем выбрать ß
так, чтобы
1—аj —
— ß_1< 0 . Тогда последнее
выражение есть О (Л/_(3
б>-0.
Следовательно,
оо
оо
( М + І ) Р
оо
2 а(Л/)<А
2 А Г р(а*+б) 2 г/„(Д)2< А
2 iJk(n)2n - ak-*.
М=1
М=1
мР+1
п=1
Таким образом, нужный результат будет следовать из леммы Боре ля — Кантелли (как в теореме 5), если последний ряд сходится.
Однако это легко следует из того, что последовательность N~'аь d‘l(N) ограничена.
4. ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА
Существует довольно обширная литература по центральной пре дельной теореме для стационарных процессов; отметим, в частности, работы Морана [1947], Диананды [1954], Гренандера и Розенблатта [1957], Хеннаиа [1961а]. Рассматривались два рода ситуаций. В первой
ОО оо
я(«) = 2 А(])е(п — /),
2 \\А (І) II2 < °°,
(4.1)
— ОО
— -оо
где е (?г) независимы и имеют одинаковое распределение с матрицей ковариаций G. Тогда х (п) — обобщенный линейный процесс. Весьма общее рассмотрение этого случая, включающее частично также слу чай неравнораспределениых е (п), имеется в работе Эйкера [1967]. Его идеи будут использованы в нашем изложении, насколько это касается (4.1), для модификации результатов Хеннаиа [1961а].
4. Центральная предельная теорема
247
Предположения, сделанные относительно (4.1), ни в коей мере не являются удовлетворительными, ибо трудно найти достаточно есте ственные оправдания для предположения о независимости е (?г). (Конечно, если х (п) гауссов с абсолютно непрерывным спектром, то (4.1) с необходимостью выполняется.) Однако введение независи мости в той или иной форме представляется существенным для анали за. Другое условие было предложено в работах Розенблатта [1956а], [1961], где предполагалось, что х (и) удовлетворяет условию сильного перемешивания из § 2. В некоторых отношениях условие такого типа представляется предпочтительным, так как мы можем обосновать его в духе § 2. В настоящем параграфе мы также обсудим некоторую форму центральной предельной теоремы такого типа.
Вместо того чтобы заниматься собственно центральной предель ной теоремой для среднего, мы сразу рассмотрим более общий случай
матрицы È (определенной соотношением (3.10)), где j/W (п) удовле творяет условиям (а), (Ь), (с) из предыдущего параграфа. Имеет место
Т е о р е м а 10. Пустъ y{N) (п) удовлетворяет условиям, (а), (Ь),
(с) § 3, а матрица В определена формулой (3.10), где х (?г) — обоб щенный линейный процесс с кусочно-непрерывной спектральной плот
ностью, непрерывной в точках скачков М (1). Пустъ ß определяется
через В,
как указано после
(3.10).
Тогда,
если
(3.11) — ненулевая
матрица,
то
распределение
(Ip ® D N) р
сходится при N — оо
к нормальному
с нулевым средним
и матрицей
ковариаций (3.11).
Мы поместили доказательство теоремы 10 в приложение к этой главе, потому что оно не столь сложно, сколь утомительпо. Еслп р(Л> (п) более специального вида, то можно ожидать более сильный результат и, в частности, для средних значений имеет место следую щая теорема:
Т е о р е м а 11. Если х (п) — обобщенный линейный процесс со спектральной плотностью / (А,), непрерывной в нуле, причем Тг/(А)
равномерно ограничен и } (0) не есть нуль, то вектор lSP-^xN асимпто тически нормален с нулевым средним и матрицей ковариаций 2я/ (0).
Доказательство этой теоремы также дано в приложении к этой главе.
Теперь мы рассмотрим весьма важный для дальнейшего случай, который тесно связан с первым примером нз § 6 гл. II. Фиксируем частоту А, 0<lAs~ л, и определим у ( п ) формулой
А Ф 0, я,
P (2 u - i
{ п) =
COS n k u .
уТи (n) = sin nkv
A„ =
2я/ц
и =
1,
(4.2)
m.
N
где Іи — последовательные целые числа, выбранные так, чтобы Ац были как можно ближе к А. Таким образом, q — 2т. Если А = 0,
248 Гл. IV . Законы больших чисел. Центральная предельная теорема
то из (4.2) следует исключить синусоидальную компоненту, отве
чающую ]и =
0;
то же самое следует сделать, если к = л, N четно
и ]и = V2-N.
Число индексов к по-прежнему обозначается через г/.
При к Ф 0,
л
матрица R (п) имеет вид
COS Ilk
sin пк
— sin пХ
cos пХ
cos/гА.
sinnA
Д(/г) =
— sin пк
cos nX
где указаны только ненулевые элементы. Чтобы в этом убедиться, заметим сначала, что d'j (N) = Ѵ2іѴ, ц рассмотрим, например, соот ношение
Л'
lim
V. cos тки sin
(m+ n) ka= lim sin nku = sin nk.
IV-co
іУ m=l,
IV-oo
Конечно, мы могли бы с самого начала взять cos пки без соответ ствующего синусоидального члена (пли наоборот); тогда на диа гонали R (п) появились бы одномерные блоки (вида cos пк). Мы, однако, не будем специально останавливаться на этом случае. При
к = 0, я матрица
R (п) превращается в
единичную
матрицу I q
порядка q (при к =
0) плп в cos п л іq (при к = я). Соответствеиио
М (к) при к Ф 0, я имеет две точки роста,
а именно ±А,
со скачком
1
1
2
2
і1
~2
~2
1
і
(4.3)
Т
т
і
1
Т
в точке к и Vq в точке —к.При к = 0, я имеется единственный скачок
в точке к, равный
I q.
элементы R имеют вид
В рассмотренном
случае
N
-ж 2
пХ
і
где обозначения указывают на то, что могут встретиться оба типа сумм как вместе, так и порознь.
4. Центральная предельная теорема
2 4 9
Легко проверить, что функции cos пХи, sin пХи, где Хи описаны выше, удовлетворяют условиям (а), (Ь)', (с) § 3, и поэтому элементы
матрицы В сходятся к нулю почти наверное. Нас, конечно, интере сует предельное распределение матрицы В (после нормировки
посредством
множителя
D у ).
В нашем
случае R (0)
= I q (и при X Ф 0, я можно взять D N —
— 1/zN I q). Согласно теореме 10, (I v ® D N) ß имеет предельное нор мальное распределение с матрицей ковариаций
2л/(Я) ® Vq + 2я/( — X) ® Vq,
Я # 0 , л,
2л/ (X) ® I q ,
X —0, л.
Заметим в связи с этой формулой, что если мы изменим порядок
элементов в матрице ß, помещая |5гу в строку (/ — 1) p-j-t (т. е. рас полагая их по порядку, учитывая сначала номер столбца, а потом — номер строки), то в формуле (4.4) изменится лишь порядок тензор ных сомножителей.
Т е о р е м а 12. Если х (п) — обобщенный линейный процесс со спектральной плотностью, непрерывной и не равной нулю в точке X,
Тг (/ (Я)) равномерно ограничен и q последовательностей і/н'>(п)
определяются формулами (4.2), то распределение (І р ® D ѵ) ß схо дится к многомерному нормальному с нулевым средним и матрицей ковариаций (4.4).
Доказательство этой теоремы также вынесено в приложение. Эта теорема дает возможность рассмотреть распределенпе вели чин w (Хи), определенных формулами (3.7). Для упрощения обозна
чений положим
N
V (и) = W(Я„) =
,7-0- 2
27 (11) e%nku= а (и) + ІЪМ ,
(2шѴ) 1
.
(4.5)
л
2яіи
m,
Xu=—fi— , u =
1, . . .,
где а (и) и b (и) равны соответственно соседним строкам матрицы В , умноженным на ]/іѴ/8л, при Хи^ 0, л, и строке матрицы В, умно
женной на "j/iV/2л, при Яц = 0, л. Чтобы описать предельное рас пределение велпчнны ѵ(и), введем комплексное многомерное нор мальное распределение с плотностью
(4-6)
где S — эрмитова
неотрицательная р X р-матрица, а z — столбец
с координатами zj,
/ = 1, . . ., р. Эта плотность отвечает элементу
объема, который равен произведению дифференциалов вещественных и мнимых частей всех Zj.
250Гл. IV . Законы больших чисел. Центральная предельная теорема
Те о р е м а 13. Если х (п) — обобщенный линейный процесс со спектральной плотностью, непрерывной и отличной от нуля в точ ке Я, величины V (и) определены соотношением (4.5), где Я„ такие же, как в (4.2), то при Я 0. л совместное распределение величин vj (и) сходится к распределению т независимых случайных векторов, каждый
из которых имеет плотность распределения (4.6) с 2 = / (Я). При Я = 0 и, если X четно, при Я л один из векторов ѵ (и) имеет в пределе обычное многомерное нормальное распределение с матрицей ковариаций / (Я).
Д о к а з а т е л ь с т в о . Мы
начнем с
некоторых
алгебраиче
ских соображений, относящихся
к случаю
Я Ф 0, л,
которые мы
попользуем п впоследствии.
Пусть 2 — произвольная квадратная матрица с комплексными
элементами, имеющая р столбцов
п р строк. Положим 2 -= С-'Г iQ
п установим соответствие
Это соответствие является изоморфизмом алгебры всех комплекс ных матриц 2 (рассматриваемой как алгебра над полем вещественных чисел Д) п алгеброй вещественных матриц вида (*). (Сохранение алгебраических операции проверяется непосредственно, и наше соответствие, очевидно, взаимно однозначно.) Если 2 невырожден наго невырожденна п правая матрица в соотношении (+), и обратно, так как из 2s = 0, где z = х — іу, вытекает CxJr Qy= Qx — Су — = 0, п обратно. Если 2 эрмитова, то С симметрична, а Q — кососимметрична, так что образ 2 является симметричной матрицей, и обратно. (Если 2 унитарна, то ее образ является ортогональной матрицей, и обратно.) Если 2 эрмитова и неотрицательна, то ее образ является симметричной неотрицательной матрицей, и обратно, ибо
Далее, если 2 эрмитова и z — ее собственный вектор, отвечающий собственному значению ц, то
являются собственными векторами ее образа с тем же собственным значением, и обратно. Отсюда, в частности, следует, что определитель образа 2 равен (det 2)2.
О Когда мы говорим, что она рассматривается как алгебра над веществен ным полем, мы имеем в виду, что она замкнута относительно алгебраических операций умножения и образования линейных комбинации с вещественными коэффициентами.
