Введение в случайные процессы

Лекция 1

Третья часть вероятностного цикла случайные (иначе, вероятностные или стохастические) процессы.

Теория случайных процессов является одной из наиболее быстро развивающихся математических дисциплин, в значительной мере это определяется потребностями практики: физики, химии, биологии, медицины, инженерного дела, страхования, финансовой деятельности и др.

Возникновение понятия случайного процесса связано с именами Колмогорова, Хинчина, Слуцкого, Винера и многих других ученых.

Изучение хаотического движения частиц цветочной пыльцы в жидкости (броуновского движения), исходя из теоретико-вероятностных предпосылок, было проведено Эйнштейном и Смолуновским в 1905 г. и способствовало возникновению процесса, который часто называют также винеровским.

Тот же процесс был введен Ботелье в 1900 г. для описания цен. Появление пуассоновского процесса связано с работами Эрланге

по изучению загрузки телефонных сетей, а также с математическими моделями, введенными Лундбергом для описания деятельности страховых компаний.

(Более подробно об истории случайных процессов можно прочитать в дополнении к книге Б.В. Гнеденко "Курс теории вероятностей"изд. 6,1988, М: Наука).

Во всех дальнейших рассмотрениях бедем предволагать, что задано некоторое основное вероятностное пространство (Ω, F, P ).

Ω = {ω} пространство элементарных событий .

F σ-алгебра событий (или измеримых множеств), т.е. система подмножеств пространства Ω, замкнутая относительно операций дополнения

и счетного объединения.

Ïàðà (Ω, F) называется измеримым пространством . Если пространство Ω конечно или счетно (т.е. дискретно), F состоит из всех подмножеств

Ω.

P вероятность, т.е. неотрицательная счетно-аддитивная функция множеств (мера), заданная на F, и удовлетворяющая условию нормировки

P (Ω) = 1.

Мера называется полной, если любое подмножество множества нулевой меры измеримо (и следовательно, имеет меру 0).

Задача. Показать, что любая неполная мера P может быть пополнена.

Рассмотрим произвольное отображение X : Ω → X. С ним связаны две σ-алгебры:

FX0 = {B X: X−1(B) F} è FX = {X−1(B) : B FX0 } F,

(òî, ÷òî ýòî σ-алгебры, вытекает из сохранения теоретико-множествен-

ных операций при взятии прообраза).

Пусть задано некоторое измеримое пространство (X, B), т.е. выделена σ-алгебра B подмножеств X.

Определение. Отображение X : Ω → X называется случайным элементом со значениями в измеримом пространстве (X, B), åñëè B FX .

Иными словами, отображение X является F \ B-измеримым, т.е. для любого B B имеем X−1(B) F.

Замечание. Если некоторый класс множеств M порождает B, ò.å. B = σ{M}, то для того, чтобы установить, что X случайный

элемент со значениями в (X, B), достаточно проверить, что M FX0 (тогда и σ{M} FX0 ).

Любое отображение X : Ω → X позволяет задать вероятностную

ìåðó PX = P X−1 íà σ-алгебре FX0 (с помощью соотношения PX (B) = P (X−1(B)) äëÿ B FX0 ).

Åñëè X случайный элемент со значениями в (X, B), òî PX называется

распределением этого случайного элемента.

Заметим, что распределение с.э. это, вообще говоря, мера, заданная для более широкого класса множеств, чем B, причем этот класс зависит

от вида отображения X.

Частные случаи:

(1)Åñëè X = R1, B = B1 (борелевская σ-алгебра), то случайный элемент со значениями в (R1, B) это обычная случайная величина.

(2)Åñëè X = Rk, B = Bk, òî ðå÷ü èäåò î k-мерном случайном векторе.

Задача. Какое свойство пространства Rk позволяет утверждать,

что набор из k случайных величин (x1, . . . , xk) является F\Bk-измери- мым отображением Ω â Rk.

Далее мы увидим, что случайный процесс также является случайным элементом со значениями в специальным образом выбранном измеримом пространстве.

Определение. Однопараметрическое семейство случайных величин

X = {X(t), t T } называется случайной функцией.

Åñëè T Rk, случайная функция называется случайным полем. Åñëè T R1, òî X = {X(t), t T } ýòî случайный процесс.

В том случае, когда T R1 конечно или счетно, говорят о случайном процессе с дискретным временем (наиболее часто встречающиеся случаи

T= Z1 èëè Z1+) или случайной последовательности. Если T R1 несчетно, то речь идет о процессе с непрерывным временем (обычно,

T= R1 èëè R1+ èëè [a, b]).

Вместо X(t) часто пишут Xt, а желая подчеркнуть, что речь идет о случайных величинах, используют обозначения X(t, ω) èëè Xt(ω).

Таким образом, случайный процесс это отображение X : T × Ω → R1, или действительная функция двух переменных, при каждом фиксированном t измеримая по ω.

При фиксированном t получаем функцию ω (случайную величину), которая называется значением процесса в точке t (или его сечением).

Если же зафиксировать ω, то полученную функцию t называют

траекторией процесса (или реализацией) èëè выборочной функцией. Множество RT = {x(t), t T } параметра t T называется выборочным

пространством.

Следовательно, случайный процесс представляет собой отображение X : Ω → RT пространства Ω в выборочное пространство.

Для того, чтобы можно было говорить о случайном элементе, введем â RT σ-алгебру BT следующим образом.

Определим отображение Πt1,...,tk : RT → Rk соотношением Πt1,...,tk (x) =

(x(t1), . . . , x(tk)) äëÿ ti T , i = 1, k, k ≥ 1.

Назовем открытым (n-мерным) интервалом â RT множество всех конечных функций x(t), удовлетворяющих конечному числу неравенств

ai < x(ti) < bi, ãäå ai, bi конечные или бесконечные вещественные числа, ti T , i = 1, n, n ≥ 1.

Аналогичным îáðазом, множество

It1,...,tn {[ai, bi], i = 1, n} = {x(t) : ai ≤

x(ti) ≤ bi, i = 1, n} называется замкнутым

интервалом (здесь величины ai è bi конечны), при этом его можно

записать в виде Π−t11,...,tn (I ), ãäå I = [a1, b1] × · · · × [an, bn].

Просто интервал мы получаем, если возможны любые комбинации знаков < è ≤ (там, где стоит ≤, числа конечны). Открытый интервал

является топологической окрестностью для каждой из своих точек. В

6 Введение в случайные процессы

топологии, индуцированной такими окрестностями, последовательность точек xn èç RT сходится к x, åñëè xn(t) → x(t) для любого t T .

Конечные суммы непересекающихся интервалов образуют, как нетрудно проверить, алгебру A подмножеств RT .

... T

т.е. борелевские множества описывают поведение функций x(t) не более чем в счетном числе точек.

Задача. Является ли множество непрерывных функций борелевским?

Определение. Случайный процесс это случайный элемент со значениями в измеримом пространстве (RT , BT ).

Лемма. Два определения случайного процесса эквивалентны.

Доказательство. 1. Пусть X = {X(t), t T } случайный

процесс в смысле первого определения. Покажем, что тогда отображение X : Ω → RT будет F \ BT -измеримо, т.е. мы будем иметь случайный

элемент со значениями в (RT , BT ), или же случайный процесс в смысле

второго определения. Действительно, множество

X−1(It1,...,tn ) = {(X(t1), . . . , X(tn)) I },

ãäå I это основание интервала It1,...,tn (произвольного). Так как I Bn, à (x(t1), . . . , x(tn)) случайный вектор, то рассматриваемое

множество принадлежит σ-алгебре F. Далее, прообраз любых множеств из A, а значит, и из BT = α{A} также принадлежит F.

2. Пусть, наоборот, задан случайный элемент X со значениями в (RT , BT ). Положим X(t) = ΠtX, t T . Тогда

{ω : X(t) B} = {ω : X Π−t 1(B) F}

äëÿ B B1, òàê êàê Π−t 1(B) цилиндр (т.е. множество из BT ), è его прообраз при отображении X измерим. А, значит, {X(t), t T }

случайный процесс в смысле первого определения.

Итак, какое бы определение случайного процесñà мы ни используем,

(X(t1), . . . , X(tn)) при фиксированных ti T , i = 1, n, является случайным

вектором, а потому индуцирует меру Pt1,...,tn (èëè PX Π−t11,...,tn ) íà Bn. Эти меры носят название конечномерных распределений случайного

процесса.

Очевидно, что семейство конечномерных распределений {Pt1,...,tn , ti

T, i = 1, n, n ≥ 1} обладает свойствами симметрии è согласованности:

(1)Åñëè (i1, . . . , in) перестановка (1, 2, . . . , n), то для любых

Bi B1, i = 1, n

Pti1 ,...,tin (Bi1 × · · · × Bin ) = Pt1,...,tn (B1 × · · · × Bn).

(В самом деле, и правая, и левая части равенства это вероятность множества ∩ni=1{X(ti) Bi}, т.к. пересечение множеств не зависит от порядка, в котором эти множества пересекаются).

(2)

Pt1,...,tn,tn+1 (B1 × · · · × Bn × R1) = Pt1,...,tn (B1 × · · · × Bn).

(это равенство следует из того, что для любого A F верно

AΩ = A. Здесь A = {X(t1) B1, . . . , X(tn) Bn} è Ω =

{X(tn+1) R1}).

Условия симметрии и согласованности нетрудно переписать в терминах конечномерных функций распределения, взяв Bi = (−∞, xi].

Задача. Проверить, что условие симметрии и согласованности в терминах характеристических функций имеют вид:

1)ϕti1 ,...,tin (λi1 , . . . , λin ) = ϕt1,...,tn (λ1, . . . , λn).

2)ϕt1,...,tn,tn+1 (λ1, . . . , λn, 0) = ϕt1,...,tn (λ1, . . . , λn).

Лемма. Семейство конечномерных распределений случайного процесса X однозначно определяет меру любого борелевского множества B (т.е. B BT ) выборочного пространства RT .

Доказательство. Очевидно, что конечномерные распределения однозначно определяют меру любого интервала в RT . Используя конечную

аддитивность, можно определить меру любого множества A из алгебры

A. Полученная мера, естественно, совпадает с PX (A) (ãäå PX ýòî

распределение случайного элемента X : Ω → RT ), поскольку A FX0 . Следовательно, мера, построенная по конечномерным распределениям,

счетно-аддитивна на A. А тогда, по теореме Каратеодори, эту меру

На практике часто бывает известно только семейство конечномерных распределений. Возникает вопрос о существовании случайного процесса с данными распределениями. Ответ дает знаменитая теорема Колмогорова.

Теорема (Колмогорова). Для того, чтобы существовал случайный процесс с заданным семейством конечномерных распределений, необходимо

èдостаточно, чтобы это семейство удовлетворяло условиям симметрии

èсогласованности.

Доказательство. Неодходимость условий была проверена выше. Достаточность. Пусть T R1 и задано семейство

{Ft1,...,tn (x1, . . . , xn), ti T, i = 1, n, n ≥ 1}

конечномерных функций распределения, удовлетворяющих условиям:

(1) симметрии

Fti1 ,...,tin (xi1 , . . . , xin ) = Ft1,...,tn (x1, . . . , xn),

(2) согласованности

Ft1,...,tn,tn+1 (x1, . . . , xn, +∞) = Ft1,...,tn (x1, . . . , xn).

Прежде всего необходимо построить вероятностное пространство. Положим Ω = RT (пространство конечных вещественных функций

{x(t), t T }), а в качестве F возьмем BT .

В силу условий 1) и 2) мы можем однозначно определить меру любого интервала I = Π−t11,...,tn (I ). Так, например, если

I = (a1, b1] × · · · × (an, bn],

положим Π(I) = Pt1,...,tn (I ), ãäå

Далее, можно, используя конечную аддитивность, определить меру любого множества из A.

Для того, чтобы применить теорему Каратеодори, необходимо установить счетную аддитивность построенной меры Π íà A.

Предположим, это доказано, т.е. по конечномерным распределениям удалось однозначно задать меру Π любого множества из BT .

Иначе говоря, построено вероятностное пространство (RT , BT , Π), ò.å. ìåðà P = Π. Теперь положим X(t, ω) = X(t, x(·)) = x(t). Тождественное отображение X : RT → RT BT \ BT -измеримо, т.е. случайный процесс

(в смысле второго определения).

Очевидно, что построенный процесс имеет заданные конечномерные распределения.

Отметим, что траектории данного процесса совпадают с элементарными событиями ω = x(·).

Такой процесс называется непосредственно заданным . (Продолжение доказательства в лекции 2).

Лекция 2

Продолжим доказательство Теоремы Колмогорова.

Осталось проверить счетную аддитивность меры Π на алгебре A. Поскольку любое множество из A это конечная сумма непересекающихся интервалов и Π конечно-аддитивна, достаточно проверить, что

∞

X

Π(I) = Π(Ik), åñëè I = I1 + I2 + . . .

k=1

(т.е. интервал I = It1,...,tn0 есть объединение счетного числа непересекающихся интервалов Ik = It1,...,tnk , n0 ≤ n1 ≤ . . . , nk → ∞ ïðè k → ∞; Ij ∩ Il,

j 6= l).

Òàê êàê I I1 + · · · + Im, то в силу конечной аддитивности,

m

X

Π(I) ≥ Π(Ik),

k=1

для любого m ≥ 1.

Переходя в этом неравенстве к пределу при m → ∞, получим

∞

X

Π(I) ≥ Π(Ik).

k=1

Предположим, что

∞

X

Π(I) = Π(Ik) + α,

k=1

для некоторого α > 0, и придем к противоречию.

Положим A0 = I, Am = I \ (I1 + · · · + Im), m ≥ 1.

Очевидно, Am = πt−11,...,tm Am, ãäå Am конечная сумма nm-мерных интервалов (или параллелепипедов из Rnm ), являющихся основаниями

интервалов, составляющих Am.

Ïðè ýòîì A0 A1 . . . è Π(Am) ≥ α ïðè âñåõ m ≥ 0.

В силу свойств конечномерных функций распределения, в том

числе непрерывности сверху Ft1,...tnm в любой точке (x1, . . . , xnm ), äëÿ произвольного ε > 0 в каждом из составляющих Am параллелепипедов

10 Введение в случайные процессы

можно найти замкнутый ограниченный параллелепипед, такой, что

k=0

Отсюда Π(Cm) = Π(Am) − Π(Am \ Cm) ≥ α − ε > 0 (ïðè ε < α). При любом m множества Cm не пусты, следовательно, из каждого

Cm можно выбрать точку xm, т.е. функцию вида

при этом вектор (ym1, . . . , ymnm ) это точка одного из параллелепипедов, составляющих Cm (основание Cm).

Из построения Cm следует, что при фиксированном s последовательности {yms }m≥0 ограничены. С помощью диагональной процедуры можно найти такую последовательность m1 < m2 < . . . , ÷òî ymks → ys,

k → ∞, ïðè âñåõ s = 1, 2, . . . .

Поскольку C0 C1 . . . è âñå Cm замкнуты, то

(как точка RT ) принадлежит любому Cm, а, значит, и Am. À ýòî показывает, что x I, но x / Im, m ≥ 1, т.е. пришли к противоречию с равенством I = I1 + I2 + . . . .

Таким образом, счетная аддитивность Π на алгебре A доказана, чем и закончено доказательство теоремы Колмогорова.

Задача. Проверить, что аналог теоремы Колмогорова справедлив для случайных функций со значениями в польских пространствах.

Итак, семейство конечномерных распределений, удовлетворяющих условиям симметрии и согласованности, задает случайный процесс. И классификацию процессов можно проводить в соответствии со свойствами их конечномерных распределений.

Познакомимся с некоторыми классами случайных процессов.