дов

ZZ

(не только A 2 An 1, но и f ng 2 An 1 (кстати, почему?), поэтому во втором интеграле мы можем заменить подинтегральную случайную величину на ее условное математическое ожидание относительно An 1)

ZZ

(а теперь мы используем предположение индукции для n = n и для = 0 2 Tn)

ZZ

(далее мы применяем то, что n 1 мажорирует как n 1, так и E ( njAn 1), к обоим интегралам)

Z

n 1dP:

A

Теперь, используя индуктивное предположение n = n, а также совпадение по построениюn 1 и n на событии f n 1 ng нужно проверить, что для = n 1 наши неравенства является равенствами. Итак, согласно предположению индукции

Z

=E ( njAn 1) dP:

A\f ng

По построению

4. Решение задачи о разборчивой невесте

Теперь перейдем к конкретной задаче. Итак, состоит из всех наборов (!1; :::; !N ) различных перестановок чисел между 1 и N. !i = 1 означает, что i-й жених является лучшим. Нам надо выбрать такой момент остановки , что вероятность V = Pf! = 1g является максимальной. К сожалению, случайные величины !i не являются адаптированными, чтобы знать их значения, мы должны знать всю перестановку женихов. Но ситуацию спасает другое представление V :

V = E( );

где n = Pf!n = 1jAng. Заметим, что f = ng 2 An. Поэтому мы можем использовать для доказательства следующую цепочку равенств:

211

Для анализа величин n нам будет удобно определить -алгебры An как наименьшие -алгебры, относительно которых измеримы для всех m n случайные величины 'm, равные для данного ! = (!1; :::; !m) числу всех !i, i m, не худших !m. Действительно, легко видеть, что задание значений всех 'm, m n, однозначно определяет элементарный исход (!1; :::; !n) дляалгебры An.

Любопытно, что случайные величины 'n независимы между собой. Действительно, 1 'n n, Pf'n = ig = 1=n для всех i n,

Pf'1 = i1; '2 = i2; :::; 'N = iN g = 1=N!:

Заметим, что случайная величина n является функцией 'n. Действительно,

Все же объясним это равенство. Если 'n > 1, то среди первых n 1 чисел !i найдется по крайней мере одно меньше !n. Это верно для всех ! из одного и того же минимального элемента An. Но тогда If!n=1g равен 0 на этом элементе. Тем более равно 0 условное среднее усреднение If!n=1g по этому элементу. Теперь рассмотрим ситуацию 'n = 1. В этом случае !n является лучшим среди первых n элементов набора !. Но вероятность того, что лучший элемент набора ! находится среди первых n элементов ! равна n=N. Из нашей формулы следует, что величины n также независимы. Это облегчает процесс построения случайных величин n из предыдущего пункта. Мы имеем,

веден выбор по сформулированному выше алгоритму.

§37. Стационарные случайные процессы. Прогноз

1. Определение стационарного случайного процесса.

Определение. Случайный процесс t называется стационарным (в узком смысле), если его совместные распределения не меняются со временем, то есть

Pt1;:::tn = Pt1+h;:::tn+h

для любых h, t1,...,tn. Заметим, что такой процесс должен быть задан не на [0; 1), а на

(1; 1).

212

Определение. Случайный процесс t называется стационарным в широком смысле, если его среднее и центральные смешанные моменты (ковариация) не меняются со временем, то есть

E t = E 0 для любого t;

В мировой литературе нормальное распределение часто называется гауссовским, а случайный процесс с совместными гауссовскими распределениями гауссовским случайным процессом. Винеровский процесс является гауссовским. Мы знаем, что если все совместные распределения процесса нормальны (то есть гауссовские), то, для их описания достаточно знать векторы средних и матрицы вторых моментов. Поэтому стационарный в широком смысле гауссовский процесс является стационарным и в узком смысле.

Из стандартного винеровского процесса w(t) легко получить стационарный процесс, который носит имя процесса Орнстейна – Уленбека:

t := etw e 2t :

Очевидно, что средние процесса Орнстейна – Уленбека равным средим винеровского процесса, а следовательно, равны нулю. Проверим инвариантность ковариации процесса при сдвиге времени:

E( t t+h) = etet+hw e 2t w e 2t 2h = etet+h minfe 2t; e 2t 2hg = e h; если h > 0:

Прежде чем перейти к другим примерам гауссовских стационарных процессов, рассмотрим случайное колебание

t = Z cos t; где Z центрированная гауссовская случайная величина; 2 R:

Очевидно, что такой процесс не удовлетворяет условию (1), более того:

E[( t E t)( t E t)] = cos2( t)EZ2( зависит от t):

Но если перенести определение стационарности на комплексные случайные процессы, то процесс t можно представить как вещественную часть стационарного процесса t:

t = Zei t:

При этом соотношение (1) мы представляем как частный случай соотношения

Действительно,

K (h) = E t t+h = ei te i (t+h)EZ2 = e i hEZ2:

Эту конструкцию можно обобщить, рассмотрев сумму случайных колебаний с разными частотами i:

X

t = Zkei kt; k

где Zk центрированные независимые гауссовские случайные величины. (Независимость для стационарности не нужна, но оказывается, что подобное представление имеет место для любого стационарного гауссовского процесса t:

Z

t = ei tdZ( ); ( )

R

213

где Z случайная мера на борелевской -алгебре R, значения которой центрированные гауссовские случайные величины, причем для непересекающихся множеств A и B случайные величины Z(A) и Z(B) независимы и (это мера) Z(A + B) = Z(A) + Z(B). Доказательство представления (*) трудоемко и опирается на классическую теорему Бохнера.

2. Теорема Бохнера.

Прежде чем формулировать эту теорему, мы введем важнейшее свойство неотрицательной определенности функции и установим справедливость этого свойства для ковариации K .

Определение. Комлексная функция K на R называется неотрицательно определенной, если

X

K(tj tk) j k 0

j;k

для любых конечных наборов одинаковой мощности ftjg R и f jg C. Аналогично определяется понятие неотрицательной определенности функции на множестве целых чисел Z, но в этом случае ftjg Z.

Теорема A. i) Пусть K : R ! C комплекснозначная непрерывная функция, имеющая свойство неотрицательной определенности. Тогда K представима в виде

Z

K(t) = ei td ( );

R

где конечная мера на борелевской -алгебре R, причем (R) = K(0).

ii) Пусть K : Z ! C неотрицательно определенная функция. Тогда K представима в виде

Z

K(n) = ei nd ( );

[ ; )

где конечная мера на борелевской -алгебре [ ; ), причем ([ ; )) = K(0).

Частным случаем этой теоремы является теорема Бохнера для характеристических функций. Впрочем, теорема A сводится к теореме B делением на K(0). Нам будет удобнее доказать теорему B, так как при ее доказательстве мы сможем использовать известные нам факты о слабой сходимости распределений.

Теорема B. Функция ' : R ! C является характеристической функцией распределения

R

тогда и только тогда, когда

i)'(0) = 1,

ii)' неотрицательно определена,

iii)' непрерывна в точке 0.

Прежде чем доказывать теорему B, проверим свойство неотрицательной определенности для описываемых в этих теоремах объектов.

Предложение A. Ковариация K стационарного случайного процесса t неотрицательно определена.

Доказательство. Для упрощения записи будем считать, что среднее процесса равно нулю (его вычли). Положим в (10) t = tk, t + h = tj. Имеем:

214

Предложение B. Характеристическая функция ' случайной величины неотрицательно определена.

Доказательство.

Доказательство теоремы B. ’Только тогда’. Свойства i) и iii) характеристической функции см. в курсе теории вероятностей. Свойство ii) доказано в предложении B.

Доказательство ’тогда’ значительно сложнее и использует слабую компактность пространства всех вероятностных мер на компакте K, которая следует из теоремы Рисса для пространства C(K) пространство вероятностных мер замкнуто в слабой топологии и находится внутри единичного шара сопряженного к C(K) пространства зарядов, который по теореме Алаоглу слабо компактен. Для случая, когда K отрезок вещественной прямой, теорема Алаоглу не нужна, слабую компактность пространства вероятностных мер мы доказали.

Лемма 1. Для всех t и s из R

a)'( t) = '(t),

b)j'(t)j '(0) = 1,

c)j'(t) '(s)j2 1 j'(t s)j2 2<['(t)'(s)(1 '(t s))].

Из неравенства с) и свойства iii) следует равномерная непрерывность характеристической функции (проверить!).

Доказательство сводится к подбору соответствующих вариантов наборов в (2).

Для доказательства a) надо взять ft1; t2g = f0; tg, а для f 1; 2g использовать два варианта: f1; 1g и f1; ig. Первый вариант позволяет получить a) для мнимых частей '(t) и '( t), а второй вариант для вещественных частей этих чисел. (Проверить!)

Для доказательства b) надо взять также ft1; t2g = f0; tg, но далее рассматривать (2) как квадратичную форму для переменных f 1; 2g и использовать неотрицательность определителя этой формы. (Проверить!)

Для доказательства с) мы берем наборы ft1; t2; t3g = f0; t; sg и опять используем свойство квадратичной формы (2) от переменных f 1; 2; 3g неотрицательность определителя третьего порядка ((проверить!)

D = f: : : 3c; 2c; c; 0; c; 2c; 3c : : :g; c > 0;

тогда и только тогда, когда она совпадает на G с характеристической функцией вероятностной меры на множестве [ =c; + =c):

Z

(mc) = eimcxdF (x): (3)

[ =c;+ =c)

215

Умножая это равенство на eimx при фиксированном m и интегрируя по [ ; + ), мы полу-

где Fn функция распределения, причем Fn( =c) = 0, Fn( =c) = 1.(Проверить!)

Далее мы используем слабую компактность последовательности мер dFn и извлекаем из

сл

нее сходящуюся подпоследовательность dFnk ! dF . Переходя к пределу по k в (4), получаем

(1). (Проверить!)

Теперь перейдем к доказательству теоремы Бохнера. Мы будем доказывать, что ' совпадает с характеристической функцией некоторого распределения на всюду плотном множестве

что из неотрицательной определенности ' на группе по сложению R следует неотрицательная определенность сужения ' на каждую подгруппу Qn. К каждому такому сужению применима лемма 2 и по ней для каждого n на множестве [ 2n ; 2n ) существует такая вероятностная мера dFn, что

~

чечно на множестве Q. Далее нашей целью будет доказательство равностепенной непрерывности последовательности характеристических функций ( n) в точке 0. Из нее (точно так же, как это делалось в доказательстве теоремы непрерывности (посмотреть!)), будет следовать слабая компактность последовательности мер (dFn).

Для характеристических функций вероятностных распределений на R справедливо тривиально доказываемое с помощью неравенства Шварца

Неравенство для приращений.

j (t) (t + h)j2 2j1 < (h)j:

Вернемся к доказательству теоремы Бохнера. Возьмем 2 [0; 1=2n]. Следующее неравенство основано на монотонности функции cos на [0; ] и является решающим:

Z

1 < n( =2n) = (1 cos( x)dFn(2nx)

[ ; )

216

Z

(1 cos xdFn(2nx) = 1 <'(1=2n):

[ ; )

Далее каждое h в окрестности нуля для каждого n мы представляем в виде h = (kn + n)=2n (0 n < 1, kn целое) и оцениваем расстояние j1 n(h)j2 с помощью неравенства треуголь-

ника:

j1 n(h)j2 2j1 n(kn=2n)j2 + 2j n(kn=2n) n(h)j2

2j1 n(kn=2n)j2 + 4(1 < n( n=2n)2 2j1 n(kn=2n)j2 + 4(1 < n(1=2n)j2 = = 2j1 '(kn=2n)j2 + 4(1 <'(1=2n)j2:

Используя непрерывность ', правую часть можно сделать сколь угодно малой за счет выбора окрестности для h. Итак, из непрерывности ' в нуле следует равностепенная непрерывность последовательности ( n) в нуле. Далее мы выбираем слабо сходящуюся подпоследовательность функций распределения Fnk , предел которой F пока не обязан быть функцией распределения. Доказательство того, что это функция распределения, проводится так же, как и в доказательстве теоремы непрерывности. Небольшое отличие состоит в том, что неравенство для усечений используется здесь для каждой характеристической функции n, при этом нужная оценка получается ввиду равностепенной непрерывности.

Замечание к теореме непрерывности. Легко проверяется, что в формулировке теоремы непрерывности условие того, что предельная функция ' является характеристической функцией, излишне. Достаточно потребовать непрерывность функции ' в точке 0. А именно, сначала доказывается слабая компактность семества функций распределений Fn, в качестве F берется предел некоторой сходящейся подпоследовательности Fnk , после чего доказывается,

w

что ' = 'F , Fn ! F .

Завершим это доказательства формулировкой теоремы, к которой мы стремились:

Теорема A. i) Пусть t стационарный непрерывный гауссовский процесс на R (или Z), K : R ! C (или K : R ! C) ковариация процесса . Тогда имеет место представление

Z

K(t) = ei td ( );

R

где конечная мера на борелевской -алгебре R, причем (R) = K(0) (или

Z

K(n) = ei nd ( );

[ ; )

где конечная мера на борелевской -алгебре [ ; ), причем ([ ; )) = K(0). Мы будем называть спектральной мерой процесса , а если

d ( ) = f ( )d ;

то функцию f будем называть спектральной плотностью процесса.

4. Спектральное разложение для стационарных случайных процессов.

Мы будем в дальнейшем рассматривать лишь гауссовские стационарные процессы, причем непрерывные в среднем квадратическом.

Теорема. Произвольный гауссовский стационарный случайный процесс t (t 2 R) можно

R

где Z случайная мера на борелевской -алгебре R, значения которой центрированные гауссовские случайные величины, причем для непересекающихся множеств A и B случайные величины Z(A) и Z(B) независимы и (это мера) Z(A + B) = Z(A) + Z(B).

217

Доказательство представления (*) опирается на теорему Бохнера. Здесь мы объясним, как строится случайная мера Z. Отображение , переводящее случайные величины t в функции! ei t 2 L2(R; B(R); ), является изометрическим и продолжается до изометрического отображения на замыкание Linf t :2 Rg в пространстве L2(( ; A; P). Изометричность следует

из определения спектральной меры . Легко показывается, что Linf ! ei t : t 2 Rg всюду плотно в L2(R; B(R); ). Мы берем Z(B) := 1(IB).

Для обоснования этой конструкции нужно проверить, что функции ! ei t порождают L2(R; B(R); ). Для этого достаточго проверить, что линейные комбинации функций ei t в метрике L2(R; B(R); ) индикаторы всех борелевских множеств. Более того, в силу счетной аддитивности и ограниченности нам достаточно показать возможность приближения индикаторов I(1;a] на любом отрезке [b; c]. Из теории рядов Фурье или теоремы Стоуна Вейерштрасса следует возможность равномерного приближения любой непрерывной функции. В свою очередь, как мы это уже делали (где ?) ограниченная последовательность непрерывных функций поточечно сходится к I(1;a].

5. Прогноз для процессов с дискретным временем

Для упрощения ситуации мы будем рассматривать далее стационарные процессы с дискретным временем fn 2 bfNg. В этом случае спектральная мера процесса сосредоточена на окружности 2 [ ; ) и имеется по крайней мере один стационарный процесс, для которого спектральная мера вычисляется. Этот процесс n мы будем называть процессом белого шума, его ковариация K(n) равна If0g(n). Таким образом случайные величины n независимы, имеют среднее 0 и дисперсию 1. Очевидно, что

K(n) = 1 Z 1 e n d ;

2

таким образом спектральная мера имеет плотность 21 . Далее предлагается использовать модели, использующие стационарные процессы, получающиеся из белого шума некоторыми линейными преобразованиями и для них строить теорию оптимального прогноза (подробное изложение см. в [4]).

Давайте рассмотрим два стационарных процесса, n и n, связанные линейными соотношением:

n = a0 n + a1 n 1 + ::: + am n m;

оказывается, что по спектральной плотности одного из этих процессов можно восстановить спектральную плотность другого процесса. Дело в том, что если случайные величины n мы отождествляем с функциями ein , то тогда случайные величины n следует отождествлять с функциями a0ein + a1ei(n 1) + ::: + amei(n m) . Теперь подсчитаем K :

K (n) = E[ 0 n] =

=(a0ei0 + a1e i + ::: + ame im )(a0ein + a1ei(n 1) + ::: + amei(n m) )f ( )d =

=ei0 ein (a0ei0 + a1e i + ::: + ame im )(a0ei0 + a1e i + ::: + ame im )f ( )d =

=ei0 ein f ( )d :

Но тогда мы можем положить

f ( ) = f ( ) a0(ei0 + a1ei + ::: + ameim 2 :

Теперь мы можем выписать спектральную плотность для двух видов процессов, которые определяются с помощью процесса белого шума: процесс скользящего среднего n определяется соотношением

n = a0 n + a1 n 1 + ::: + am n m;

218

Отметим, что из тех же соображений мы можем выписать спектральную плотность процесса, которая получается из процесса белого шума в два этапа, сначала по процессу n определяется процесс n, потом по нему строится соотношением (*) процесс n, но в (*) роль играет процесс. В этой конструкции спектральная плотность является дробью

Теперь, наконец, перейдем к задаче прогноза.

Решением задачи прогноза для стационарного процесса n на один шаг является случайная величина ^1 2 Linf 0; 1; :::g (замыкание в норме L2), которая минимизирует E( 1 ^1)2. Хорошо известно хотя бы из трехмерного опыта, что такой минимум достигается при ортогональном проектировании 1 на Linf 0; 1; :::g, а это в свою очередь эквивалентно ортогональности 1 ^1 пространству Linf 0; 1; :::g, а для этого достаточно 1 ^1 ? n для любого n 2 f0; 1; 2; :::g.

Теперь перенесем эту ситуацию в пространство H = L2([ ; ); f ( )d ), где f спектральная плотность процесса . При таком переходе случайные величины n, где n 2 Z, Z

множество всех целых чисел, переходят в функции ! ein , пространство Linf 0; 1; :::g переходит в подпространство H = L2([ ; ); f ( )d ), образ случайной величины ^1 мы обозначим

Далее мы покажем, как решается задача прогноза лишь для конкретного примера f ( ) = (2 + e i )(2 + ei ). Заметим, что имеет место такая факторизация f = f1f2 (где f1 = 2 + e i , f2 = 2 + ei ), что функции f1 и f1 1 являются суммами равномерно сходящегося ряда по функциям ein ; n = 0; 1; 2; ::: (причем для f1 это просто сумма), аналогично функции f2 и f2 1 являются суммами равномерно сходящегося ряда по функциям ein ; n = 0; 1; 2; :::. Следующую лемму мы предлагаем доказать самостоятельно:

Лемма. Пусть функция u принадлежит Linfe i ; e i2 ; :::g, то есть

функция v разлагается в равномерно сходящийся ряд

X

v( ) = bnein ; сходимость в пространстве C([ ; ));

n 0

тогда uv разлагается в ряд

X

u( )v( ) = cnein ; сходимость в пространстве L2([ ; ); d ):

n>0

219

Здесь d обычная мера Лебега без умножения на спектральный множитель.

Замечание. Условие равномерной сходимости v по-видимому существенно. В противном случае просто может не получиться принадлежности L2([ ; ); d ). К сожалению, не могу предложить контрпример.

Итак, как использовать определенное выше разложение. Для наглядности введем четыре замкнутых линейных подпространства пространства L2([ ; ); d ):

XX

H+ ? H H ? H+; L ([ ; ); d ) = H+ H = H H+;

здесь означает ортогональную прямую сумму. Соотношение (*) мы можем представить как

Обратно, из этого соотношения следует (***). Дальнейшее просто: мы берем ряд ei f1( ) и берем из него ту часть ряда, которая относится к H , она равна g( ))f1( ), для вычисления g нужно умножить g( ))f1( ) на f1 1( ).

Итак,

То, что в правой части (****) мы получили 1, объясняется простотой процесса. Впрочем, если бы мы прогнозировали на два шага, мы просто получили бы 0, то есть прогноз на два шага ничего не дает кроме среднего процесса.

Наконец, что делать для более сложных процессов, как получить факторизацию f = f1f2 даже для процесса со спектральной плотностью (1 + 2e i )(1 + 2ei ). В этом случае деление 1 на каждый из сомножителей не приводит к равномерно сходящемуся ряду по степеням ein . Оказывается, все просто, умножив 1 + 2e i на ei , а 1 + 2ei на e i , мы приходим к старой ситуации. Аналогично действуя и используя основную теорему алгебры, мы можем доказать существование факторизации для любой функции вида (1).

220