Добавил:
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:

Основы теории случайных процессов

.pdf
Скачиваний:
59
Добавлен:
01.05.2014
Размер:
223.44 Кб
Скачать

Основы теории случайных процессов

1.1Основные определения

По мере нашего продвижения по курсу теории вероятностей перед нами возникают все более и более сложные случайные объекты. Сначала это случайные события, которые можно отождествить с их индикаторами, принимающими значения 0 и 1. Затем (действительнозначные) случайные величины, которые могут своими значениями охватывать всю действительную прямую. Следом появляются комплекснозначные случайные элементы, конечномерные случайные векторы. Наконец, при изу- чении основных конструкций математической статистики, мы доходим до рассмотрения случайных элементов, принимающих значения в бесконечномерном пространстве (выборки бесконечного объема, как случайные векторы). Естественно, что все эти объекты возникают в результате каких-то случайных экспериментов. Нетрудно представить себе такой эксперимент, результатом которого будет определенная кривая линия или собственно функция. Так мы можем получить случайный элемент, принимающий значения в некотором функциональном пространстве, или случайную функцию. В этом случае говорят о том, что перед нами слу- чайный процесс. Встречаются в литературе также названия вероятностный процесс, стохастический процесс, а иногда и просто процесс, если заранее ясно, о чем речь. Дадим теперь определение.

Пусть T - некоторое множество. A(T ) - пространство действительнозначных функций, определенных на T . Рассмотрим также вероятностное пространство < ; F; P >. Отображение : T ! A(T ) назовем слу- чайной функцией если 8t 2 T (t) = (t; ) - случайная величина. Точка

вместо второго аргумента означает здесь и далее, что мы рассматриваем(t) как функцию ! 2 в этом контексте. Если T R и параметр t

интерпретируется как время, то случайную функцию называют случайным процессом. Если T представляет собой класс целых чисел Z èëè

натуральных чисел N, то говорят о случайной последовательности. От-

метим, что последовательность случайных величин объект для нас относительно знакомый, поэтому мы будем часто привлекать его в качестве примера.

Если мы фиксируем ! 2 , то полученная неслучайная функция(!; ) называется реализацией случайного процесса. Наряду с этим термином употребляются также названия траектория, выборочная функция. Как обычно, случайный аргумент ! мы условимся опускать в фор-

1

мулах, когда это не может привести к недоразумениям. Функция

K(t; s) = cov( (t); (s)) = M (t) (s) M (t) M (s)

называется ковариационной функцией случайного процесса . Совместные распределения случайных величин (t1); ::: (tn) ïðè

некотором n и произвольном фиксированном наборе элементов t1; :::; tn множества t называют n-мерными распределениями случайного процесса. Если же имеются ввиду n-мерные распределения при произвольном (не конкретном) n, то условимся говорить о конечномерных распределе-

íèÿõ.

Если при каждом t 2 T выполнено

P( (t) = (t)) = 1;

то случайные процессы ; называют стохастически эквивалентными.

При этом, хотя все конечномерные распределения таких процессов совпадают, стохастически эквивалентные процессы могут иметь траектории, обладающие существенно различными свойствами. На это указывает следующий

Пример 1. Пусть T = [0; 1]; случайная величина, имеющая абсолютно непрерывное распределение, сосредоточенное на T . Положим

(t; !) 0,

 

1,

= t,

(t; !) = If =tg(!) =

0,

иначе.

Очевидно, что все реализации постоянны, а следовательно, непрерывны, в то время, как каждая траектория имеет (устранимый) разрыв. При этом

P( (t) 6= (t)) = P( = t) = 0;

что означает стохастическую эквивалентность рассматриваемых процессов.

1.2Важнейшие классы случайных процессов

Перечислим некоторые наиболее часто встречающиеся классы случайных процессов. Эти классы, вообще говоря, пересекаются.

2

1.2.1

Будем говорить, что ( ; !) - процесс с независимыми приращениями, если для произвольных t1; :::; tn 2 T , удовлетворяющих условию t1 t2

::: tn, случайные величины (tn) (tn 1); :::; (t3) (t2); (t2) (t1) независимы. Конечно, в этом определении n может быть произвольным натуральным числом, не меньшим, чем 3.

Например, если T = N; 1; 2;

::: ; n; ::: - последовательность неза-

висимых случайных величин, то случайный процесс

 

k

 

X

(t; k) =

n

 

n=1

процесс с независимыми приращениями (Почему?).

Наряду с процессами с независимыми приращениями рассматривают также процессы с некоррелированными приращениями , то есть такие,

что для произвольного n для любой последовательности t1 ::: tn выполнено

cov ( (tj+1) (tj); (tj) (tj 1)) = 0; j = 2; :::; n 1:

1.2.2

Случайный процесс называется стационарным, если для произвольного h 2 T его конечномерные распределения не меняются при сдвиге на h:

8n 8t1; ::: ; tn 8x1; ::: ; xn

P( (t1) < x1; :::; (tn) < xn) = P( (t1 + h) < x1; :::; (tn + h) < xn) :

Простым примером стационарного случайного процесса являются суммы одинаково распределенных, не обязательно независимых случайных величин. Рассмотрим более сложный

ПРИМЕР 2. Пусть A; ; ' - случайные величины, A; 0, à ' не зависит от A; и имеет равномерное на [0; 2 ] распределение. Положим

(t; !) = A cos( t + ') :

Докажем, что введенный случайный процесс стационарен.Для этого нужно доказать, что для произвольного борелевского n мерного множе-

ñòâà C и любых действительных h; t1; :::; tn имеет место

P ((A cos( (t1 + h) + '); :::; A cos( (tn + h) + ')) 2 C) =

3

= P ((A cos( t1 + '); :::; A cos( tn + ')) 2 C) :

Обозначим через B множество троек (x; y; z); x 0; y 0; z 2 [0; 2 ] таких, что

(x cos(yt1 + z)); :::; x cos(ytn + z)) 2 C :

Äëÿ u 2 R через < u > условимся обозначать u, приведенное к отрезку [0; 2 ], ò.å.

< u >= u k 2 ïðè k 2 u (k + 1) 2 :

Тогда доказываемое равенство может быть записано в виде

P((A; ; < ' + h >) 2 B) = P((A; ; ') 2 B) :

èëè

Z 1 Z 1

'fz : (x; y; < z + yh >) 2 Bgd A; (x; y) =

00

Z1 Z 1

='fz : (x; y; z) 2 Bgd A; (x; y) :

00

ãäå ' - распределение ', à A; - совместное распределение A и . Но последнее равенство очевидно, поскольку

8x; y 'fz : (x; y; < z + yh >) 2 Bg =

='fz : (x; y; z) 2 Bg:

âсилу инвариантности распределения случайной величины ' относительно сдвигов и приведений по модулю 2 .

Случайный процесс называется стационарным в широком смысле,

если существуют его первые и вторые моменты, причем они инвариантны относительно сдвигов, то есть при произвольном h 2 T

M (t + h) = M (t); K(t + h; s + h) = K(t; s) :

Легко видеть, что эти условия эквивалентны следующим:

M( (t)) = m; K(t; s) = K(t s):

Очевидно также, что любой стационарный процесс, обладающий конеч- ным вторым моментом, стационарен в широком смысле.

4

1.2.3

Случайный процесс называется гауссовским, если все его конечномерные распределения нормальны, т.е. для произвольного n и любого на-

áîðà t1; t2; :::; tn 2 T вектор ( (t1); :::; (tn)) имеет n-мерное нормальное

распределение. Многомерная центральная предельная теорема служит основанием того, что гауссовские случайные процессы являются предельными для сумм возрастающего числа независимых случайных процессов.

Например, пусть X = [X]n - выборка из непрерывного распределения. Эмпирическая функция распределения

Fn (x) =

1

n

 

 

I(1;xj)(x)

n

 

 

 

jX

 

 

 

=1

p

случайный процесс. Нетрудно проверить, что n(Fn (x) F (x)), ãäå F (x) - теоретическая функция распределения, при n ! 1 сходится к некото-

рому гауссовскому случайному процессу.

1.2.4

Рассмотрим некоторые обобщения. Однородное (или стационарное) векторное поле - это случайная функция, заданная на T = Rn такая, что

ее конечномерные распределения не изменяются при сдвиге на любой неслучайный вектор h 2 Rn. Однородное изотропное поле - это случай-

ная функция, являющаяся однородным векторным полем, конечномерные распределения которой не меняются также при вращениях вокруг произвольной точки. Аналогичным образом может быть определена изотропность (инвариантность) относительно любой группы преобразований Rn.

1.2.5

Определим класс марковских процессов как таких, для которых при фиксированном настоящем будущее не зависит от прошлого. Дадим бо-

лее строгое определение. Для этого условимся считать, что множество T линейно упорядочено и обозначим

F t = f (s); s 2 T; s tg; F t = f (s); s 2 T; s tg;

F=t = f (t)g :

5

Наглядный смысл этих - алгебр таков: наблюдая процесс (s) до момента t, мы получим информацию о наступлении любого из событий F t. Тем самым, эта - алгебра состоит из событий, относящихся к прошлому относительно момента t. В точности также F t олицетворяет собой будущее, а F=t - настоящее, т.е. те события, о наступлении которых мы можем судить, наблюдая процесс (t) только в момент времени t.

Случайный процесс назовем марковским, если

8t 2 T 8B 2 F t P(B=F t) = P(B=F=t) :

Любой процесс с независимыми приращениями является марковским (докажите!). Если T состоит только из целых чисел, то марковский про-

цесс называется цепью Маркова. Множество, в котором марковский процесс принимает свои значения, называется фазовым пространством . Точки фазового пространства называются состояниями и интерпретируются как состояния физической системы в некоторые моменты времени. Если мы имеем цепь Маркова с конечным или счетным множеством состояний, то будем говорить о дискретной цепи Маркова. Для них мож-

но дать определение марковского свойства, не вводя - алгебр F t, F t,

F=t:

Случайная последовательность t ; t 2 Z образует дискретную цепь Маркова с конечным или счетным множеством состояний X, если для произвольных s1 s2 ::: sm t t1 ::: tn и любых x1; :::; xm; x, y1; :::; yn 2 X таких, что P( t = x) 6= 0, выполнено

P( s1 = x1; :::; sm = xm; t1 = y1; :::; tn = yn = t = x) =

=P( s1 = x1; :::; sm = xm = t = x) P( t1 = y1; :::; tn = yn = t = x) :

1.3Некоторые важные примеры

1.3.1

Назовем процесс (t; !) ; T = [0; 1) пуассоновским с параметром a, если он имеет независимые приращения, (0; !) 0 и при произвольных s; t(s t) случайная величина (t) (s) имеет распределение Пуассона с параметром a(t s). Можно доказать, что все траектории пуассоновского

процесса - неубывающие функции, принимающие лишь целочисленные значения, причем они возрастают лишь скачками величины 1. Очевидно, этот процесс стационарен.

6

1.3.2

Очень важным примером для нас является винеровский процесс, который служит моделью броуновского движения. Винеровским процессом

w(t; !) мы будем называть гауссовский процесс с независимыми приращениями такой, что w(0) = 0; w(t) w(s) имеет нормальное распределение N(0; t s) ïðè t > s

Выпишем конечномерные распределения для винеровского процесса.

Для этого зафиксируем t1; :::; tn òàê, ÷òî 0 < t1 < ::: < tn и рассмотрим вектор !

w = (w1; :::wn), ãäå wj = w(tj); j = 1; 2:::n. Заметим, что плотность распределения вектора X = (w1; w2 w1; :::; wn wn 1) легко вы-

числить, т.к. его координаты - независимые нормально распределенные случайные величины:

n

PX (x1; :::; xn) = Y([2 (ti ti 1)] 1=2 expfx2i =2(ti ti 1))g);

i=1

ãäå

t0

= 0

. Ïðè ýòîì w

=

AX, ãäå

 

 

 

 

 

 

 

!

0

 

 

 

 

 

 

 

1

 

 

 

 

 

 

1

 

0

0

:::

0

 

 

 

 

 

 

1

 

1

0

:::

0

 

 

 

 

 

 

B

 

 

 

 

 

 

 

C

 

 

 

 

A = B

:::

 

:::

:::

:::

:::

C

:

 

 

 

 

 

B

1

 

1

1

:::

1

C

 

 

 

 

 

 

@

 

 

 

 

 

 

 

A

 

Как известно, в этом случае

 

 

 

 

1PX (A 1X):

 

 

 

P (X) =

j

det A

 

 

 

!

 

 

 

j

 

 

 

 

 

 

 

 

w

 

 

 

 

 

 

 

 

 

 

Легко проверить, что det A = 1,

A 1

откуда A 1X = (x1; x2

 

0

11

1

0

:::

0

0

1

 

 

B

 

0

0

:::

0

0

C

 

=

 

1

1

:::

0

0

;

0

 

B

 

 

 

 

 

 

 

C

 

 

B

0

0

0

:::

 

1

1

C

 

 

B

 

C

 

 

B

:::

:::

:::

:::

:::

:::

C

 

 

B

 

 

 

 

 

 

 

 

C

 

 

@

 

 

 

 

 

 

 

 

A

 

x1; :::; xn xn 1), è

 

n

 

ti 1)] 1=2 exp

 

 

 

 

P (x1; :::; xn) =

([2 (ti

 

(xi

xi 1)2=2(ti

ti

1) );

!

iY

 

 

f

 

 

g

w

=1

 

 

 

 

 

 

 

 

 

 

 

 

 

ãäå x0 = 0. Итак, конечномерные распределения винеровского процесса являются нормальными (гауссовскими).

7

1.3.3

Рассмотрим процессы размножения и гибели. Пусть в области G имеются некие частицы (например, бактерии), которые могут порождать новые частицы, а также погибать (исчезать, покидать область G и так далее).

Если промежуток времени t мал, то предположим, что для каждой частицы независимо от остальных вероятность породить новую равнаt + o( t), и вероятность погибнуть - t + o( t). При этом положи-

тельные константы ; могут, вообще говоря, зависеть от общего числа n частиц, находящихся в данный момент в области G. Если это будет так, то мы условимся этот факт каждый раз отдельно оговаривать. При= 0 говорят о процессе чистого размножения, при = 0 - о чистой гибели. Процессом размножения и гибели назовем (t), равный количеству частиц в области G в момент времени t.

Найдем одномерные распределения этого процесса, то есть вероятности pn(t) того, что в момент времени t в области G будет ровно n частиц. Пусть в момент времени t в области n частиц. Найдем вероятность того,

что за время t число частиц не изменится. Заметим сначала, что вероятность того, что две или более частиц породят новые частицы, равна o( t) с учетом предположений модели. Такова же и вероятность гибели

двух и более частиц одновременно. Поэтому с точностью до o( t) можно

считать, что число новых частиц, как и число погибших, не более 1. Из этих же соображений вероятность появления одной новой (а значит, и

хотя бы одной новой) частицы за время t равна сумме вероятностей каждой из частиц породить новую частицу, т.е. n t + o( t). Аналогич- но, вероятность гибели одной частицы n t + o( t). Тогда по формуле полной вероятности

pn(t + t) = pn(t)(1 n t + o( t))(1 n t + o( t))+

+pn 1(t)((n 1) t + o( t))(1 (n 1) t + o( t))+ +pn+1(t)((n + 1) t + o( t))(1 (n + 1) t + o( t)):

Отсюда нетрудно получить

pn(t + t) pn(t) = n( + )pn(t) + (n 1) p(n 1)(t)+t

+(n + 1) pn+1(t) + o(1):

8

Переходя к пределу, имеем

p0n(t) = n( + )pn(t) + (n 1) pn 1(t) + (n + 1) pn+1(t):

Здесь предполагалось, что n 1. Åñëè æå n = 0, то аналогичными рас-

суждениями выводим

p00(t) = p1(t):

Умножим n-ное уравнение полученной системы на xn и, складывая, по-

лучим

1

1

1

 

 

pn0

(t)xn = pn(t)xn 1n + x2

pn(t)xn 1n

 

X

X

X

 

n=0

n=1

n=1

1

( + ) X pn(t)xnn:

n=0

Если мы теперь обозначим

1

F (x; t) = X pn(t)xn ;

n=0

то полученное выше уравнение можно переписать в виде

@F@t = ( ( + )x + x2)@F@x :

Предположим для простоты, что p1(0) = 1, т.е. в начальный момент времени в области находилась одна частица. Отсюда, в частности, следует, что pn(0) = 0 ïðè n > 1. Чтобы решить уравнение в частных производных, составим обыкновенное дифференциальное уравнение.

dx

dt = ( + )x + x2 ;

откуда

c t = Z

 

 

dx

=

 

 

 

1

Z

(

 

1

 

 

 

)dx =

 

 

 

 

 

 

 

 

 

 

 

( + )x + x2

 

 

1

x

 

x

 

 

= 1 ln

 

 

 

 

:

 

 

 

 

 

 

 

1 x

 

 

 

 

 

 

 

 

 

 

 

 

 

x

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

9