дов

d(p0; p00) = kP (p0 p00)k kP kd(p0; p00) (1 )d(p0; p00):

Это доказывает теорему.

Замечание. В примере с 32 картами условия доказанной теоремы не выполняются. Действительно, при регулярном мешании карт из последовательности fa; b; cg, где каждая из букв некоторый набор карт в опрпделенном порядке, мы получаем последовательность fc; b; ag. Число вариантов, которые можно получить за одно перемешивание, можно грубо оценить сверхуоно не превосходит 322. Вероятности перехода в другие состояния равны 0. А общее число состояний равно 32!. Однако некоторая большая итерация преобразования P удовлетворяет условиям теоремы, а следовательно, является оператором сжатия. Итак, существует единственное стационарное распределение. (Нетрудно проверить, что за 32 стандартные операции мешания мы можем получить любой порядок карт. Таким образом, из начального состояния в любое другое мы переходим с вероятностью, большей чем = 32322 .) Заметим, что из теоремы Брауэра единственность не следует.

§30. Два замечательных процесса с непрерывным временем

После процесса случайного блуждания мы рассмотрим и найдем распределения двух важнейших процессов с непрерывным временем.

Эти процессы, пока мы их обозначаем t (случайная величина значение процесса в момент времени t) очень сильно отличаются друг от друга, тем не менее, два первых условия на оба процесса совпадают:

1) независимость приращений: для любых моментов времени t1 < t01 t2 < t02 ::: случайные величины

t01 t1 ; t02 t2 ; :::

независимы. В частности, среднее произведения указанных случайных величин равно произведению средних, совместная плотность этих величин равна произведению плотностей, дисперсия суммы этих величин равна сумме дисперсий, характеристическая функция суммы этих величин равна произведению характеристических функций.

2) стационарность распределений приращений (они не зависят от времени): распределения случайных величин t+h t не зависят от t. В частности,

P t+h t = P h

для любых неотрицательных t и h. Так как среднее и дисперсия определяются только распределениями,

E ( t+h t) = E h; D ( t+h t) = D h

для любых t и h.

Другие свойства двух процессов различаются, чтобы их сформулировать, мы должны рассказать о явлениях, которые эти процессы описывают.

171

1. Стандартный пуассоновский процесс можно представить как число t поломок станка за время (0; t]. Но у этого станка имеются свойства 1) и 2), которые выполняются, если станок является ткацким.

1)Приращения t0 t число поломок станка за время (t; t0] независимы. У реальных приборов это не так, если прибор с браком или почти с браком (разрешенные допуски были почти достигнуты), то прибор будет ломаться чаще, большое число поломок в начале работы будет означать, что и дальше он должен ломаться чаще. Для ткацкого станка это не так, поломки (обрывы нити) связаны со свойствами нити, а не станка.

2)означает, что станок не стареет, это условие будет разумно, если мы наблюдаем станок не слишком продолжительное время.

Замечание. Мы можем использовать эту модель для других задач, например, числа покупок, телефонных звонков и т. д., но в зависимости от времени дня или дня недели нужно менять масштаб времени, где-то оно должно течь медленно, а где-то – быстро.

3) аксиома процесса t также связана с интерпретацией процесса. Значения t являются целыми неотрицательными числами, поэтому имеют смысл вероятности Pf t = kg. Мы предполагаем, что за малое время t:

Pf t = 1g = t + o(t);

в то же время

Pf t > 1g = o(t):

Теперь мы составим бесконечную систему дифференциальных уравнений для всех функций

pk(t) = Pf t = kg:

Рассмотрим

pk(t + t) = Pf t+ t = kg = Pf t = k; t+ t t = 0g+ +Pf t = k 1; t+ t t = 1g + Pf t = k 2; t+ t t = 2g + :::

Далее мы используем аксиомы 1) и 2) для представления

Pf t = k i; t+ t t = ig = Pf t = k igPf t = ig

и 3) для представления Pf t = 0g, Pf t = 1g, Pf t > 1g. Получаем:

pk(t + t) = pk(t)(1 t + o( t)) + pk 1(t)( t + o( t)) + o( t):

Составляем дифференциальное уравнение:

dpk(t) = pk(t) + pk 1(t): dt

При k = 0 уравнение решается разделением переменных,

p0(t) = Ce t;

подстановка t = 0 дает C = 1. Для других k уравнения решаются методом вариации постоянной, при этом используется индуктивный процесс. Опирясь на знание pk( ), мы находим

( )

pk(t) = ( t)ke t + C1;

подстановка t = 0 дает C1 = 0.

Итак, t имеет распределение Пуассона с параметром = t.

2. Процесс Винера является частным случаем (при некоторых значениях параметров) процесса одномерного броуновского движения. Норберт Винер внес большой вклад в математическую теорию броуновского движения, в частности, доказал непрерывность траекторий

172

процесса броуновского движения. Итак, значением процесса (мы будем его обозначать t) является значение координаты x броуновской частицы в момент времени t, причем значение координаты в момент времени 0 мы будем считать 0. Броуновские частицы двигаются в однородной жидкости, свойства которой не зависят от времени и от координаты (однородность). Кроме того, мы считаем, что число частиц бесконечно, и поэтому в любой, даже самый маленький, промежуток времени о частицу ударяется бесконечное число частиц жидкости.

Все это лишь наводящие соображения, которые мы должны превратить в аксиомы процесса t на языке теории вероятностей. Итак, что означает независимость свойств жидкости от времени. Разумеется, это не означает равенства t = s8t; s даже с вероятностью 1 (тогда броуновская частица должна оставаться на месте). Передвижение частицы за промежуток времени [t; t+h] равно t+h t, но независимость от времени не должна означать также равенства t+h t = s+h s8t; s; h (это означало бы движение броуновской частицы с постоянной скоростью). Независимость свойств жидкости от времени дает нам аксиому 2) (см. п. 1): при данном h 0 распределение приращения P t+h t одно и то же для всех t 0.

Мы будем предполагать, что случайные величины t также удовлетворяют аксиоме 1), (незавимость приращений процесса в непересекающиеся промежутки времени [t1; t01] и [t2; t02]), которая означает отсутствие у броуновских частиц какой-либо инерционности, то есть скорости. Согласно этой аксиоме путь, пройденный частицей за промежуток времени [t1; t01] никак не влияет на путь за промежуток [t2; t02] (например, средняя скорость частицы может оказаться большой в одном промежутке и маленькой в другом), Это возможно лишь при наличии бесконечного числа соударений броуновской частицы с другими частицами за конечное время, которые и определяют траекторию частицы. На деле, молекул в воде конечное число, но чрезвычайно большое. Таким образом, аксиома 1) вполне разумна. Аксиома 2) отнюдь не означает, что само приращение процесса не зависит от времени (мы ни в коем случае не утверждаем, что для любых t, s, h справедливо t+h t = s+h s!!), такое равенство означало бы движение частицы с постоянной скоростью. Как мы видели раньше, это не соответствует броуновскому движению. Аксиома 3) для броуновского движения, разумеется, отличается от соответствующей аксиомы для пуассоновского процесса. В данном случае движение частицы должно носить непрерывный характер, и приращение процесса за малое время должно быть малым. Тем более, это должно быть верно для третьей степени приращения. Поэтому будет использоваться следующая аксиома:

3) Ej tj3 = o(t), в частности, Ej tj3 существует.

Отсюда следует существование и непрерывность среднего винеровского процесса t (по неравенству Гельдера

Ej t+h tj = Ej hj Ej hj3 1=3 = o(h1=3));

точно так же существование и непрерывность второго момента, а следовательно, и дисперсии.

3. Среднее значение t.

По аксиоме 2) и свойству среднего

E t+s = E t + E s;

то есть среднее – функция времени, удовлетворяющая условию аддитивности. Кроме того, эта функция непрерывна. Отсюда методами элементарного математического анализа выводится представление

E t = mt;

где m некоторая константа. (Опишем для полноты доказательство. Надо доказать, что для любого a

Используя 2), представления

t = t=n + ( 2t=n t=n) + ::: + ( t (n 1)t=n);

173

kt=n = t=n + ( 2t=n t=n) + ::: + ( kt=n (k 1)t=n)

и аддитивность среднего, доказывается равенство (1) для a = k=n. Переходом к пределу мы получаем (1) в произвольном случае).

4. Дисперсия t

Точно так же, но с использованием аддитивности дисперсии для независимых приращений процесса (свойство 1)), доказывается

Поэтому

D t = 2t:

Итак, мы ввели два параметра винеровского процесса – коэффициент сноса m и коэффициент диффузии 2.

5. Распределение случайной величины t. Мы найдем характеристическую функцию

't(u) = Eeiu t ;

отождествим ее с известной нам характеристической функцией нормального распределения и таким образом докажем, что t имеет нормальное распределение.

Из свойств характеристической функции и аксиом 1), 2) следует:

't+ t(u) = Eeiu t+ t = Eeiu( t+ t t)eiu t = Eeiu tEeiu t =

= ' t(u)'t(u):

Далее мы используем разложение характеристической функции в ряд Тейлора в окрестности нуля с представлением остаточного члена в форме Лагранжа:

Подставив значения для среднего и дисперсии, и учтя условие 3), оценку

и формулу E 2 = D + (E )2, имеем:

' t(u) = 1 + im tu 12 2 t + m2( t)2 u2 + o( t):

В итоге

Мы пришли к уравнению в частных производных

174

Решение этого уравнения (константа определяется при t = 0) имеет вид

't(u) = eimut 12 2u2t:

p

Это характеристическая функция нормального распределения N(mt; t).

6. Ковариация процессов Пуассона и Винера.

Важнейшими характеристиками любого случайного процесса, t, являются среднее процесса E t и ковариация процесса

K(t; s) = E( t E t)( s E s):

Давайте подсчитаем эти характеристики для процессов Пуассона и Винера.

Процесс Пуассона.

Среднее распределение Пуассона совпадает с его параметром и с его дисперсией. Напомним эти выкладки:

D = E 2 (E )2 = :

Отсюда следует, что E t = t, D t = t.

Пусть s < t. Имеем (мы используем независимость приращений процесса):

K(t; s) = E( t E t)( s E s) = E[( t E t) ( s E s)]( s E s)+

E( s E s)( s E s) =

= E[( t E t) ( s E s)]E( s E s) + D( s) = D( s):

Итак, в случае процесса Пуассона K(t; s) = min(t; s).

В случае процесса Винера точно так же K(t; s) = 2 min(t; s).

7. Оценка параметров процесса Винера

Оценка параметра m

t=t ! m в среднем квадратическом, т. е. Ej t=t mj2 ! 0:

Для проверки сходимости в среднем квадратичном t к константе a достаточно:

i)равенство или даже сходимость средних,

ii)сходимость дисперсий к нулю. Действительно,

Ej t aj2 = Ej( t E( t)) + (E( t) a)j2 2Ej t E( t)j2 + 2EjE( t) aj2 =

= 2D( t) + 2EjE( t) aj2 ! 0:

Теперь посмотрим наш случай: E( t=t) = m, D( t=t) = 2t=t2 ! 0.

Оценка параметра 2 винеровского процесса

Теорема. Допустим, что мы наблюдаем винеровский процесс до момента времени T . Рассмотрим последовательность разбиений интервала наблюдения на мелкие куски:

n o

(n) = 0 = t(1n) < t(2n) < ::: < t(mn()n) = T; diam( (n)) = max t(i+1n) t(in) ! 0:

175

С каждым таким разбиением связывается оценка

которая сходится по вероятности к параметру 2.

Доказательство. Напомним, что такие оценки мы называли состоятельными. Проверим, что

i) Сходимость среднего к оцениваемому параметру:

Здесь мы использовали очевидную оценку

ii) Для проверки сходимости дисперсий к нулю нам будет удобно ввести вместо процесса t центрированный процесс t = t mt. Нам нужно доказать, что

Мы воспользуемся следующим тривиальным неравенством D( + ) 2D + 2D следствием неравенства (x + y)2 2x2 + 2y2. Также мы используем формулы для второго и четвертого момента стандартной нормальной случайной величины : E 2 = 1, E 4 = 3, в результате D 2 = 3 1 = 2, тогда E t2 = t, E t4 = 3t2, в результате D( t2) = 2t2.

Имеем:

D ( t + mt)2 = D t2 + 2mt t :

Теперь мы можем все подсчитать:

176

Наше утверждение следует из (3).

Резюмируем. Для хорошей оценки параметра m процесса Винера надо наблюдать процесс как можно дольше. Для хорошей оценки параметра 2 достаточно наблюдать процесс конечное время, но измерять его как можно чаще и точнее.

Заметим, что из усиленного закона больших чисел следует сходимость почти наверноеnt=nt ! m, n ! 1. Позднее мы докажем чрезвычайно любопытным способом сходимостьt(!)=t ! m, где t ! 1, для почти всех элементарных исходов !. Впрочем, если быть точными, предварительно процес t нужно будет заменить на стохастически эквивалентный процесс. Ниже мы определим это понятие, без введения которого невозможно изучать свойства траекторий случайного процесса.

8. Совместные распределения процессов.

Считается, что мы знаем процесс t, если знаем все совместные распределения P t1 ; t2 ;:::; tn для всех наборов моментов времени ft1; t2; :::; tng. Эта задача легко решается для описанных выше процессов – пуассоновского и винеровского.

Рассмотрим пуассоновский процесс t и ft1; t2; :::; tng. Упорядочим эти моменты, без ограничения общности мы можем считать, что это уже сделано и t1 < t2 < ::: < tn. Так какt принимают целочисленные неотрицательные значения, знание совместного распределения означает знание всех вероятностей вида

Очевидно, что k1 k2::: kn. Перепишем событие в вероятности (*) в другом виде:

Pf t1 = k1; t2 = k2; :::; tn = kng =

= Pf t1 = k1; t2 t1 = k2 k1; :::; tn tn 1 = kn kn 1g:

Далее мы учтем стационарность распределений приращений процесса и независимость приращений. Имеем:

Аналогично получаются совместные распределения в случае, когда t винеровский процесс, но теперь нам надо получить совместную плотность

p t1 ; t2 ; :::; tn (x1; x2; :::; xn):

Для упрощения записей, мы упростим ситуацию и будем рассматривать лишь процессы с нулевым сносом (m = 0). Опять используя стационарность распределений приращений процесса и независимость приращений, имеем:

p t1 ; t2 t1 ; :::; tn tn 1 (x1; x2; :::; xn) =

177

Далее производим преобразование координат и находим совместную плотность

p t1 ; t2 ;:::; tn (x1; x2; :::; xn):

Чтобы все это проделать осмысленно, мы вспомним определение совместной плотности:

ZZ

Pf( t1 ; t2 ; :::; tn ) 2 Bg = ::: p t1 ; t2 ;:::; tn (x1; x2; :::; xn)dx1:::dxn:

B

Мы можем выразить событие f( t1 ; t2 ; :::; tn ) 2 Bg в терминах случайных величин t1 ; t2t1 ; :::; tn tn 1 , точнее,

2 ~

только тогда, когда (x1; x2; :::; xn) B. Теперь вспомним определение функции плотности:

ZZ

:::p t1 ; t2 ;:::; tn (x1; x2; :::; xn)dx1:::dxn =

B

(x1;x1+x2;:::;x1+ +xn)2B

Z

=p t1 ; t2 t1 ;:::; tn tn 1 (y1; y2 y1; :::; yn yn 1)dy1:::dyn:

(y1;y2;:::;yn)2B

Впредпоследнем интеграле мы заменили yk = x1 + x2 + + xk. Окончательно получаем

9. Согласованность совместных распределений.

Мы не заметили того, что отошли от первоначально предложенного определения случайного процесса. При определении как пуассоновского, так и винеровского процесса мы не использовали и не вводили никакого вероятностного пространства. Используя аксиомы, мы лишь вывели совместные распределения обоих процессов. Разумеется, если случайный процесс задавать на вероятностном пространстве, то для любого конечного набора моментов времени мы будем иметь совместное распределение соответствующих случайных величин t. Более того, эти распределения будут иметь свойство согласованности: вероятность P t1 ;:::; tn можно получить проектированием распределения P t1 ;:::; tn ; t , а именно:

P t1 ;:::; tn (B) = P t1 ;:::; tn ; t (B R):

178

Обратное нужно обосновывать. Но для этого сначала нужно проверить согласованность распределений, полученных нами выше. Мы ограничимся рассмотрением лишь стандартного винеровского процесса w(t) (см. ниже) и лишь случаем трех моментов времени. Мы покажем, как осуществляется проверка согласованности лишь для совместных распределений Pw(s);w(t);w(u) и Pw(s);w(u), где s < t < u. Как мы уже знаем, для этого достаточно проверить тождество

1

Z

pw(s);w(t);w(u)(x; y; z)dy = pw(s);w(u)(x; z):

1

Наша задача упрощается тем, что мы имеем дело с функциями плотности, поэтому достаточно проверить равенство лишь для двух функций переменных x и z без учета постоянных множителей. Итак, займемся квадратичной формой под знаком экспоненты:

После интегрирования по переменной y uu st x ut ss z под знаком экспоненты остается лишь квадратичная форма

что и требовалось. (Рекомендуется выкладки с интегралом провести самим.)

10. Теорема Колмогорова.

Теорема. Пусть дано множество T и для каждого конечного набора ft1; :::; tng T задано распределение вероятностей Pt1;:::;tn на борелевской -алгебре пространства Rn (которое правильнее обозначать Rft1;:::;tng), причем набор распределений согласован (в смысле предыдущего пункта). Тогда на пространстве RT задана -алгебра, а на ней такая вероятностная мера P, что совместное распределение случайных величин (xt) ! xti , i n, совпадает с Pt1;:::;tn для каждого набора ft1; :::; tng T .

Нам понадобится одно свойство (регулярность) любой вероятностной меры P на борелевской -алгебре пространства Rn. Вероятностная мера P называется регулярной, если для любого борелевского множества B и любого " > 0 существуют замкнутое, F , и открытое, G,

Для доказательства мы введем класс всех регулярных множеств B, которые удовлетворяют

(*) для всех " > 0 и докажем, что этот класс совпадает с -алгеброй борелевских множеств. Легко показывается, что каждое замкнутое множество F является регулярным.

Действительно (разберитесь !),

\

F = fx : d(x; F ) < 1=ng; Pfx : d(x; F ) < 1=ng & P(F )

n

179

и все множества fx : d(x; F ) < 1=ng открыты. Свойство регулярности сохраняется при переходе к дополнениям. Покажем, что это свойство сохраняется при переходе к счетному объединению:

как объединение замкнутых множеств не обязано быть замкнутым): сначала мы берем такое n, что

!

n

[[

P Bn n Bi < "=2;

ni=1

потом для каждого i n берем такое замкнутое Fi Bi, что

P(Bi n Fi) < "=2i+1:

n

S

Мы можем положить F = Fi.

i=1

Заметим, что теорема о регулярности верна для любого метрического пространств. Более того, множества F мы можем считать компактными, пересекая их, если нужно с шарами fx : kxk ng и используя то, что P(fx : kxk ng) % 1.

Теперь перейдем к доказательству самой теоремы Колмогорова. Введем в RT алгебру цилиндрических множеств, для этого будет удобно представление

RT = Rft1;:::;tng RT nft1;:::;tng:

Каждое цилиндрическое множество представляется в виде

C(t1; :::; tn; B) = B RT nft1;:::;tng;

где B борелевское множество в Rft1;:::;tng. Используя язык элементарной геометрии, мы будем называть B основанием цилиндра, а RT nft1;:::;tng образующими. Очевидно, что цилиндры образуют алгебру множеств, например, мы можем представить

C(t1; :::; tn; B1) [ C(s1; :::; sm; B2) = C(t1; :::; tn; s1; :::; sm; B3):

На этой алгебре функций множеств (пока это не вероятностная мера) P задается соотношением

P(C(t1; :::; tn; B)) := Pt1;:::;tn (B):

Аддитивность этой функции множеств следует из согласованности системы конечномерных мер, так как два цилиндра с разными образующими представляются как цилиндры с одним

образующим:

C(t1; :::; tn; B1) = C(t1; :::; tn; s1; :::; sm; B1 Rfs1;:::;smg);

C(s1; :::; sm; B2) = C(s1; :::; sm; t1; :::; tn; B2 Rft1;:::;tng);

после этого используется аддитивность Pt1;:::;tn;s1;:::;sm .

Итак, нам нужно доказать счетную аддитивность P, которая, как мы знаем, эквивалентна непрерывности. Рассмотрим последовательность цилиндров Cn & ;, которую нам будет удобно задать в виде Cn = C(t1; :::; tn; Bn). Предположим противное:

P(C(t1; :::; tn; Bn)) & " > 0:

Далее в силу регулярности выберем внутри каждого основания Bn компактное основание Kn

так, что

P[C(t1; :::; tn; Bn) n C(t1; :::; tn; Kn)] < "=2n+1:

180