Введение в случайные процессы

Теперь продолжим рассмотрение отдельных классов случайных процессов. Начнем с марковских процессов.

Существует много эквивалентных определений, формализующих наглядное представление о том, что у марковского процесса при фиксированном настоящем прошлое и будущее независимы.

Пусть {Xt, t T } случайный процесс, заданный на некотором вероятностном пространстве (Ω, F, P ). Обозначим

F≤t = σ(Xs, s ≤ t),

F≥t = σ(Xs, s ≥ t) è

F=t = σ(Xs, s = t).

Определение. Процесс X называется марковским, åñëè

P (AB|F=t) = P (A|F=t)P (B|F=t),

для любых A F≥t, B F≤t è t T .

Задача. Доказать, что каждое из следующих утверждений эквивалентно определению марковского процесса:

(1)

P (A|F≤t) = P (A|F=t), A F≥t, t T.

(2)

P (B|F≥t) = P (B|F=t), B F≤t, t T.

Лекция 5

Напомним определение условного математического ожидания и его основные свойства.

Пусть (Ω, F, P ) некоторое вероятностное пространство, A σ- алгебра (A F) è X случайная величина с E|X| < ∞.

Определение. Условное математическое ожидание E(X|A) является

A-измеримой функцией ω, задаваемой с точностью до эквивалентности следующим соотношением:

ZZ

E(X|A) dP = X dP, B A.

BB

(Существование у.м.о. вытекает из теоремы Радона-Никодима.)

32 Введение в случайные процессы

Определение. Сужение E(X|A) на класс индикаторов χA, A F, называется условной вероятностью события A при заданной σ- алгебре A и обозначается P (A|A). Очевидно, что P (A|A) ýòî A- измеримая функция, удовлетворяющая условию

Z

P (A|A) dP = P (AB), для любого B A.

B

Свойства условного математического ожидания.

(1)E(E(X|A)) = EX.

(2)Åñëè X является A-измеримой, то

E(X|A) = X ï.í.

(3)Åñëè X = C ï.í., òî E(X|A) = C ï.í.,

à åñëè X ≥ Y ï.í., òî E(X|A) ≥ E(Y |A) ï.í.

(4)Линейность у.м.о.:

E(c1X1 + c2X2|A) = c1E(X1|A) + c2E(X2|A) ï.í.

(5) Åñëè ñ.â. X измерима относительно A, òî

E(XY |A) = XE(Y |A) ï.í.

(6) Пусть σ-алгебры Ai F, i = 1, 2, è A1 A2, тогда

E(E(X|A2)|A1) = E(X|A1) = E(E(X|A1)|A2) ï.í.

Åñëè z : Ω → X некоторое отбражение из Ω â X, то по определению

E(X|z) = E(X|Fz),

ãäå Fz = {z−1(B), B Fz0 }, à Fz0 = {B X, z−1(B) F}.

(7) Åñëè ñ.â. X не зависит от σ-алгебры A, òî

E(X|A) = EX.

(8) Åñëè z случайная величина, то берется

Fz = {z−1(B), B B1} (B1 σ-алгебра),

ïðè ýòîì E(X|z) = g(z), ãäå g(·) борелевская функция.

(9)Справедливы также теоремы о монотонной сходимости и аналоги теорем о сходимости Фату-Лебега:

a)Åñëè 0 ≤ Xn ↑ X ï.í., òî 0 ≤ E(Xn|A) ↑ E(X|A) ï.í. Â

частности,

Elim Xn|A ≤ lim E(Xn|A) ï.í.

Âчастности, если Y ≤ Xn ↑ X ï.í. (èëè Y ≤ Xn ≤ Z ï.í

èXn → X ï.í.), òî

E(Xn|A) → E(X|A) ï.í. ïðè n → ∞.

(Далее п.н. будет часто опускаться).

Определение. Условная вероятность P (·|A) называется регулярной, если при каждом ω, за исключением множества меры 0, она является вероятностной мерой.

Таким образом, регулярная условная вероятность P A со значениями

P (A|A)(ω) это функция, определенная на FЧΩ, обладающая следующими свойствами:

1)P (A|A)(ω) есть A-измеримая по ω функция для каждого фиксированного A и представляет собой вероятность на F при каждом фиксированном

ω.

2)Для любых фиксированных A F è B A

Z

P (AB) = P (A|A) dP.

B

(9) Åñëè P A регулярная условная вероятность, то

Z

E(X|A) = X dP A ï.í. для любой с.в. X с E|X| < ∞.

Определение. Потоком называется неубывающее семейство σ-

алгебр {Ft, t ≥ 0}, ò.å. Ft1 Ft2 ïðè t1 < t2, Ft F для любого t.

Предположим, что Xt(ω) при любом t принимают значения в измеримом пространстве (X, B).

Определение. Случайный процесс X = {Xt, t ≥ 0} называется

согласованным с потоком σ-алгебр {Ft, t ≥ 0} (èëè адаптированным

к потоку), если с.в. Xt является Ft-измеримой при любом t ≥ 0.

Определение. Случайный процесс (Xt, Ft)t≥0 называется марковским относительно семейства σ-алгебр {Ft, t ≥ 0}, если процесс адаптирован к потоку, и для любого t σ-алгебры Ft è F≤t условно независимы при данной с.в. Xt, ò.å.

(1)Xt Ft-измерима при любом t ≥ 0.

(2)P (AB|Xt) = P (A|Xt)P (B|Xt) A F≥t, B Ft, t ≥ 0.

Задача. Проверить, что случайный процесс X марковский относительно семейства (Ft, t ≥ 0) является просто марковским (т.е. относительно семейства F≤t).

Лемма. Пусть процесс {Xt, t ≥ 0} адаптирован к потоку {Ft, t ≥ 0}. Тогда следующие условия эквивалентны:

(1)Случайный процесс {Xt, t ≥ 0} марковский относительно семейства σ-алгебр {Ft, t ≥ 0}.

(2)Для любого t ≥ 0 и произвольной F≥t-измеримой ограниченной случайной величины Y выполнено равенство

E(Y |Ft) = E(Y |Xt) (ï.í.).

(3)Для любой измеримой ограниченной функции f(x) (supx |f(x)| < ∞) и произвольных s ≥ t верно

E(f(Xs)|Ft) = E(f(Xs)|Xt) (ï.í.).

Доказательство. Установим 1 = 2. Так как любая ограниченная

F≥t-измеримая с.в. может быть представлена как предел простых функций, т.е. конечных линейных комбинаций индикаторов, то достаточно проверить требуемое свойство для Y = χA, ãäå A F≥t, а затем воспользоваться

свойствами у.м.о.

Итак, проверим, что

P (A|Ft) = P (A|Xt), A F≥t.

С одной стороны, в силу марковости (и свойств у.м.о.) имеем цепочку равенств

P (AB) = E(P (AB|Xt)) =

=E(P (A|Xt)P (B|Xt)) = E(P (A|Xt)E(χB|Xt)) =

=E(E(χBP (A|Xt)|Xt)) = E(χBP (A|Xt)).

Ñдругой стороны,

P (AB) = EχAχB = E(E(χAχB|Ft)) =

= E(χBE(χA|Ft)) = E(χBP (A|Ft)).

Таким образом, для любого B Ft

ZZ

P (A|Xt) dP = P (A|Ft) dP (= P (AB)),

BB

àпоскольку P (A|Xt) ýòî Ft-измеримая функция, получаем необходимое равенство

E(Y |Ft) = E(Y |Xt) äëÿ Y = inf, A F≥t.

A

Теперь покажем, что 2 = 1. Пусть A F≥t è B Ft, тогда

P (AB|Xt) = E(χAχB|Xt) = E(E(χAχB|Ft)|Xt) =

=E(χBE(χA|Ft)|Xt) = E(χBE(χA|Xt)|Xt) =

=E(χA|Xt)E(χB|Xt) = P (A|Xt)P (B|Xt).

Так как 3 это частный случай 2 (при Y = f(X1)), то надо доказать лишь, что 3 = 2.

Пусть сначала Y = f1(Xs1 . . . fn(Xsn ), ãäå t ≤ s1 < · · · < sn è

supx |fi(x)| < ∞, i = 1, n. Установим интересующий нас результат по индукции. При n = 1 утверждение справедливо, так как совпадает с

3. Предположим, что для n − 1 равенство установлено, ипроверим его для n. Имеем

Для любого марковского процесса справедлив следующий результат.

Лемма. Процесс {Xt, t ≥ 0} марковский тогда и только тогда, когда для любой измеримой ограниченной f(x) и произвольного набора t1 ≤ t2 ≤ · · · ≤ tn ≤ s с вероятностью 1

E(f(Xs)|Xt1 , . . . , Xtn ) = E(f(Xs)|Xtn ).

Доказательство. Если процесс марковский, то требуемое утверждение вытекает из предыдущей леммы. В самом деле

E(f(Xs)|Xt1 , . . . , Xtn ) = E(E(f(Xs)|F≤tn )|Xt1 , . . . , Xtn ) =

Обратно, пусть указанные у.м.о. совпадают, покажем, что тогда

E(f(Xs)|F≤t) = E(f(Xs)|Xt) ïðè s ≥ t.

Для этого достаточно проверить, что для любого B F≤t

ZZ

f(Xs) dP = E(f(Xs)|Xt) dP.

BB

Âсилу условий леммы эти интегралы совпадают для B σ(Xt1 , . . . , Xtn , Xt) ïðè t1 ≤ · · · ≤ tn ≤ t ≤ s. Правая и левая части равенства это

конечные меры (не обязательно вероятностные), совпадающие на цилиндрах, порождающих F≤t. В силу единственности продолжения меры равенство

все одноточечные множества измеримы, называемое фазовым. И пусть (Xt, Ft)t≥0 марковский процесс относительно потока {Ft, t ≥ 0} ñî

значениями в фазовом пространстве. Тогда с вероятностью 1 при t ≥ s для любого A B

P (Xt A|Fs) = P (Xt A|Xs).

В силу свойства 7 у.м.о. существует такая функция P (s, x, t, A), ÷òî

P (Xt A|Xs) = P (s, Xs, t, A).

Эта функция играет важную роль в теории марковских процессов. Но для плодотворной теории надо наложить дополнительные требования.

Они станут особенно понятными, если вспомнить следующую интерпретацию

P (s, x, t, A) = P (Xt A|Xs = x).

Определение. Функция P (s, x, t, A) называется марковской переходной

функцией íà (X, B), åñëè

1◦ для любых s, x, t (как функция A) P (s, x, t, ·) вероятностная

ìåðà íà B,

2◦ для любых s, x, A (как функция x) P (s, ·, t, A) измерима, 3◦

(

P (s, x, s, A) = δx(A), здесь δx(A) =

1, ïðè x A,

0, ïðè x / A,

4◦ выполнено уравнение Колмогорова-Чепмена, т.е. для любых

0 ≤ s ≤ u ≤ t

Z

P (s, x, t, A) = P (s, x, u, dy)P (u, y, t, A).

X

(Существует такой подход, при котором изучается это семейство функций, а точнее, порождаемое ими семейство линейных операторов. При этом не предполагается существование ни вероятностного пространства, ни марковского случайного процесса.)

Действительно, с измеримым пространством (X, B) связаны два

банаховых пространства.

B совокупность ограниченных B-измеримых функций x X, норма определена следующим образом:

kfk = sup |f(x)|.

x X

V совокупность обобщенных мер (или зарядов), т.е. числовая счетно-аддитивная функция множеств A B, норма ν это полная вариация на всем пространстве:

kνk = |ν|(X).

Оказывается, что между B è V существует определенная связь: V B è B V (где знак показывает, что речь идет о сопряженном

пространстве).

В самом деле, положим

Z

hν, fi = ν(dx)f(x),

X

где интеграл определяется следующим образом

Z Z Z

ν(dx)f(x) = ν+(dx)f(x) − ν−(dx)f(x),

X X X

à ν = ν+ − ν− это разложение Жордана.

Тогда каждому элементу ν V соответствует линейный функционал hν, ·i íà B, а каждому элементу f B соотвествует линейный функционал h·, fi íà V.

Задача. Доказать, что норма элемента и норма соответствующего линейного функционала совпадают:

Линейные операторы в пространстве B будем записывать слева от элемента f B, а в пространстве V справа.

Пусть P (s, x, t, A) марковская переходная функция, удовлетворяющая требованиям 1◦−4◦. Определим на пространстве B семейство операторов

P st (s ≤ t, s, t T ) с помощью соотношения

Z

P stf(x) = P (s, x, t, dy)f(y).

X

1) В силу их определения операторы линейны.

Остальные свойства операторов вытекают из свойств переходной функции.

2) Операторы P st сжимающие.

 ñàìî äåëå, òàê êàê P (s, x, t, ·) вероятностная мера (1◦), òî

Z

|P stf(x)| ≤ P (s, x, t, dy)kfk = kfk,

иначе говоря

kP stfk ≤ kfk, ò.å. kP stk ≤ 1.

3)Операторы сохраняют положительность , т.е. неотрицательные

функции переводят в неотрицательные. Действительно, опять-таки в силу 1◦, åñëè f(x) ≥ 0, òî P stf(x) ≥ 0.

4)P st1 ≡ 1, это также следствие 1◦.

5)P ss = E (тождественный оператор).

Это вытекает из 3◦, òàê êàê

Z

P ssf(x) = δx(dy)f(y) = f(x).

6) P st = P suP ut ïðè s ≤ u ≤ t. В самом деле, уравнение Колмогорова- Чепмена (4◦) äàåò

ZZZ

ZZ

=P (s, x, u, dz) P (u, z, t, dy)f(y) = P su(P utf)(x).

(В тех случаях, когда интегрирование ведется по всему пространству

(Существование интеграла обеспечивается свойством 2◦ измеримостью по x переходной функции, а счетная аддитивность νP st свойством 1◦, т.е. счетной аддитивностью P (s, x, t, ·)).

Свойства 10) 60) операторов P st в пространстве V аналогичны свойствам 1) 6).

10) Операторы P st линейны в силу определения.

20) Операторы сжимающие, поскольку в силу 1◦ получаем kνP stk ≤ kνk.

30) Меры переводятся в меры.

40) νP st(X) = ν(X).

(Эти два свойства справедливы также в силу 1◦). 50) P ss = E следует из 3◦.

60) P st = P skP ut äëÿ s ≤ u ≤ t.

В самом деле, уравнения Колмогорова-Чепмена превращается в

соотношение

νP st = (νP sk)P ut,

т.е. по форме 60) совпадает с 6). Однако порядок применения операторов здесь другой (сначала P su, а потом P ut).

Заметим далее, что операторы P st в пространствах B è V сопряжены друг другу, поскольку для f B, ν V

ν, P stf = νP st, f ,

так как правая и левая части равны

ZZ

ν(dx)P (s, x, t, dy)f(y).

(Более точно, оператор P st íà B это сужение оператора в V , сопряженного к оператору P st â V, и наоборот).

Задача. Получить свойства 10) 60) èç 1) 6).

Доказать, что kP stk = 1.

Как мы видели, семейства операторов P st связаны лишь с переходной

функцией.

Далее мы увидим, каков их вероятностный смысл.

Лекция 6

Пусть задано фазовое пространство (X, B), т.е. измеримое пространство,

в котором все одноточечные множества измеримы (точки фазового пространства называются состояниями. Далее, пусть P (s, x, t, A) марковская переходная функция, удовлетворяющая условиям 1◦ 4◦, à

(Xt, Ft)t T это марковский процесс относительно семейства σ-алгебр

(Ft).

Определение. Говорят, что (Xt, Ft)t T ýòî марковский процесс ñ переходной функцией P (s, x, t, A), åñëè

P (Xt A|Xs) = P (s, Xs, t, A) ï.í.

40 Введение в случайные процессы

для любых s ≤ t, s, t T , и любого A B.

(Очевидно, что в силу марковости процесса также P (Xt A|Fs) =

P (s, Xs, t, A) ï.í.)

Заметим, что для произвольного марковского процесса ниоткуда не следует существование переходной функции со свойствами 1◦ 4◦.

Просто мы хотим рассматривать лишь те процессы, для которых соответствующие условные вероятности регулярны.

Задача. Показать, что регулярная условная вероятность существует, если σ-алгебра, относительно которой она берется, порождена конечным

числом случайных величин.

Задача. Пусть Ω = [0, 1], A σ-алгебра борелевских подмножеств

è λ мера Лебега. Существует такое подмножество D, ÷òî λ(D) = 1,

λ(D) = 0, здесь λ внешняя, λ внутренняя мера. Построим новую σ-алгебру F, порожденную A è D следующим образом: она состоит из

множеств вида DA1 DA2, ãäå A1, A2 A. Меру определим с помощью

соотношения

1

P (DA1 DA2) = 2 [λ(A1) + λ(A2)],

тогда P (A) = λ(A) ïðè A A. Доказать, что не существует регулярной условной вероятности P (A|A), A F.

Из теоремы Колмогорова вытекает, что знание начального распределения в момент s, вероятностной меры νs(A), и переходной функции P (s, x, t, A)

позволяет построить марковский процесс. А именно, справедлив следующий результат (доказательство можно прочитать в книге А.Д.Вентцеля "Курс теории случайных процессов").

Теорема. Пусть X σ-компактное метрическое пространство

и B σ-алгебра его борелевских подмножеств. И пусть P (s, x, t, A)

удовлетворяет 1◦ 4◦, à νt(A), t T , A B, при фиксированном t вероятностная мера, причем νt = νsP st, ò.å.

Z

νt(A) = νs(dx)P (s, x, t, A).

Тогда существует марковский процесс, для которого P (s, x, t, A) переходная функция, а νt(A) одномерное распределение процесса в момент t, т.е.

νt(A) = P (Xt A).

С переходной функцией связано понятие марковского семейства , которое отражает возможность начать случайное движение в любой точке фазового пространства.