![](/user_photo/2706_HbeT2.jpg)
Sluchaynye_protsessy
.pdf2.ВВЕДЕНИЕ В ТЕОРИЮ СЛУЧАЙНЫХ ПРОЦЕССОВ
2.1.Определение случайного процесса. Классификация случайных процессов
В теории случайных процессов изучаются задачи построения и анализа математиче- ских моделей случайных явлений, развивающихся во времени. Как математический объект случайный процесс определяется следующим образом. Считается, что задано некоторое ве-
роятностное пространство {Ω, F, P}, т.е. считается, что имеется множество элементарных исходов Ω, σ -алгебра F подмножеств множества Ω и вероятность P = P(A) для каждого множества (события) A F (A Ω) .
Случайным процессом называется функция ξ(ω,t) , ω Ω, t T , которая для любого
фиксированного t T является измеримой функцией аргумента ω .
Аргумент t здесь понимается как время из некоторого промежутка времени T , а аргу- мент ω – это элементарный исход (случай). При фиксированном мы получаем функ- цию случая ξ(ω,t1) , т. е. случайную величину, которая называется сечением процесса в мо- мент времени t1. Если зафиксировать случай ω = ω1, то получим функцию времени , которая называется реализацией, траекторией или выборочной функцией случай-
ного процесса.
На рис. 1 приведены три реализации (траектории) случайного процесса и его сечение в момент времени t1. В качестве реализаций взяты графики температуры воздуха по метео-
станции Минск в феврале 1998, 1999, 2000 годов.
В связи с тем, что чаще всего множество Ω оказывается недоступным, т. е. элементар- исходы не наблюдаются, случайный процесс обозначают как функцию только времени , а зависимость от ω подразумевается.
Назовем любое множество G дискретным, если оно конечное или счетное, и непрерыв- ным, если оно несчетное.
Случайные процессы классифицируются по виду множеств T и G , где G – множество возможных значений случайного процесса. Эти множества могут быть непрерывными или дискретными, в связи с этим различают 4 класса случайных процессов.
1. T и G – непрерывные множества. Это процесс с непрерывным временем и непре- рывным множеством значений или процесс общего типа. Пример реализаций такого процес- са представлен на рис. 2.1.
2. T дискретно, G непрерывно. Это процесс с дискретным временем и непрерывным множеством значений или случайная последовательность. Пример реализации такого про- цесса представлен на рис. 2.2.
3. T непрерывно, G дискретно. Это процесс с непрерывным временем и дискретным множеством значений или дискретный случайный процесс. Пример реализации такого про- цесса представлен на рис. 2.3.
4. T дискретно, G дискретно. Это процесс с дискретным временем и дискретным мно- жеством значений или дискретная случайная последовательность. Пример реализации такого процесса представлен на рис. 2.4. Случайные последовательности часто называют времен- ными рядами.
11
![](/html/2706/349/html_OwOukcqgqp.IXi7/htmlconvd-dDUcqR12x1.jpg)
Рис. 2.1. Три реализации случайного процесса общего типа
Рис. 2.2. Реализация случайной последовательности
12
![](/html/2706/349/html_OwOukcqgqp.IXi7/htmlconvd-dDUcqR13x1.jpg)
Рис. 2.3. Две реализация дискретного случайного процесса
Рис. 2.4. Реализация дискретной случайной последовательности
13
![](/html/2706/349/html_OwOukcqgqp.IXi7/htmlconvd-dDUcqR14x1.jpg)
2.2. Конечномерные распределения случайного процесса
Рассмотрим случайный процесс ξ(t) и зафиксируем n моментов времени t1,...,tn . Мы
получим n сечений процесса ξ1 = ξ(t1) , ξ2 = ξ(t2 ) ,…, ξn = ξ(tn ) .
Конечномерной ( n -мерной) функцией распределения случайного процесса ξ(t) называ- ется функция распределения случайного вектора ξ = (ξ1,...,ξn ) , компоненты которого ξi являются сечениями процесса в моменты t1,...,tn :
Fξ (x1,...,xn ,t1,...,tn ) = P(ξ(t1) < x1,...,ξ(tn ) < xn ) . |
(2.1) |
Конечномерная функция распределения случайного процесса ξ(t) является функцией |
2n |
аргументов: n аргументов x1 ,...,xn и n аргументов t1,...,tn . Она должна обладать свойст- |
|
вами симметрии и согласованности. |
|
Свойство симметрии заключается в том, что любые два аргумента функции распределе- ния xi и x j можно менять местами, поменяв при этом местами соответствующие аргументы
ti и t j :
Fξ (x1,..., xi ,..., x j ,..., xn ,t1,...,ti ,...,t j ,...,tn ) = = Fξ (x1,..., x j ,...,xi ,..., xn ,t1,...,t j ,...,ti ,...,tn ) .
Для двухмерной функции распределения это свойство выражается равенством
Fξ (x1, x2,t1,t2 ) = Fξ (x2 , x1, t2 ,t1) .
Свойство согласованности выражается условием |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
) = |
|||||||||||||||||
lim F |
|
(x ,..., x |
k −1 |
, x |
k |
, x |
k +1 |
,..., x |
n |
,t ,...,t |
k −1 |
,t |
k |
,t |
k +1 |
,...,t |
n |
|||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||
xk →∞ |
|
ξ |
1 |
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
||||||||||||
= |
lim |
F |
|
(x ,..., x |
k −1 |
, x |
k +1 |
,..., x |
n |
,t ,...,t |
k −1 |
,t |
k |
+1 |
,...,t |
n |
) , |
|||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||
xk →∞ |
|
ξ |
1 |
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
||||||||||||||||
т. е. если в n -мерной функции распределения аргумент xk |
заменить на ∞ , то мы получим |
|||||||||||||||||||||||||||||||||||
(n −1) -мерную функцию распределения |
(этот |
аргумент |
исчезает |
|
из |
списка аргументов |
функции распределения вместе с соответствующим ему аргументом tk ).
Конечномерной ( n -мерной) плотностью вероятностей случайного процесса ξ(t) называ- ется смешанная производная n -го порядка от n -мерной функции распределения:
|
|
,...,tn ) = |
|
∂n |
|
|
fξ (x1 |
,...,xn ,t1 |
|
|
Fξ (x1,..., xn ,t1,...,tn ) . |
(2.2) |
|
∂x1 |
|
|||||
|
|
|
,...,∂xn |
|
Конечномерную функцию распределения (2.1) или конечномерную плотность вероятно- сти (2.2) называют конечномерным распределением случайного процесса.
Совокупность конечномерных распределений для любого конечного n и произвольных моментов времени t1,...,tn называется семейством конечномерных распределений случайно-
го процесса.
Случайный процесс наиболее полно описывается семейством конечномерных распреде- лений. Так как это семейство бесконечное, то такое описание представляется чрезвычайно сложным. Выход состоит в том, что рассматривают определенные классы случайных про- цессов. Например, можно рассматривать класс процессов, которые описываются семейством
одномерных распределений fξ (x,t) , или, если все одномерные распределения совпадает, то одним одномерным распределением. Такой процесс, естественно, будет обладать тривиаль-
14
![](/html/2706/349/html_OwOukcqgqp.IXi7/htmlconvd-dDUcqR15x1.jpg)
ными свойствами а не слишком широкой областью применения. Второй класс процессов – процессы, описываемые семейством двухмерных распределений fξ (x1, x2 ,t1,t2 ) для любых
t1, t2 из интересующего нас промежутка времени T . Этот класс процессов имеет более ши- рокий спектр свойств и более широкое применение.
2.3. Математическое ожидание и дисперсия случайного процесса
Будем рассматривать случайные процессы, для которых существуют конечномерные плотности вероятности. К таким процессам относятся процессы с непрерывным множеством значений. Для процессов с дискретным множеством значений более удобным по сравнению с функциями распространения будет описание с помощью вероятностей возможных значе- ний.
Математическим ожиданием E(x(t)) случайного процесса x(t) называется функция aξ (t) , определяемая выражением
∞
aξ (t) = E(ξ(t)) = ò xfξ (x,t)dx ,
−∞
где fξ (x,t) – одномерная плотность вероятности случайного процесса, E(×) тематического ожидания (усреднения). Математическое ожидание aξ (t) является функцией
времени и представляет собой функцию, возле которой группируются все реализации слу- чайного процесса. Математическое ожидание характеризует среднюю тенденцию развития процесса во времени. На рис. 2.5 представлены реализации и математическое ожидание слу-
чайного процесса вида
x(t) = a + bt , |
(2.4) |
где α и b – независимые случайные величины, распределенные по нормальным законам N(aα ,σα2 ) , N (aβ ,σβ2 ) соответственно. Выражение математического ожидания имеет вид
aξ (t) = aα + aβt .
Реализации этого процесса имеют тенденцию к возрастанию, в связи с чем возрастающей является и функция математического ожидания.
Дисперсией D(x(t)) случайного процесса x(t) называется математическое ожидание квадрата отклонения процесса от его математического ожидания:
σξ2 (t) = D(ξ(t)) = E((ξ(t) − aξ (t))2 ) = |
∞ |
|
ò(x − aξ (t))2 fξ (x,t)dx , |
(2.5) |
−∞
где fξ (x,t) – одномерная плотность вероятности случайного процесса, D(×) – символ дис-
персии. Дисперсия процесса является функцией времени σξ2 (t) , которая характеризует
среднее отклонение реализаций процесса от его математического ожидания в любой момент времени t . На рис. 2.5 изображена функция σξ (t) = σξ2 (t) – среднее квадратичное откло- нение (с.к.о.) случайного процесса (2.4). Дисперсия процесса (2.4) определяется выражением
σξ2 |
o o |
o |
o o |
o |
(t) = E((α+ βt)2 ) = E((α)2 ) + E(αβt) + E((βt)2 ) = σα2 + σβ2t2 . |
15
![](/html/2706/349/html_OwOukcqgqp.IXi7/htmlconvd-dDUcqR16x1.jpg)
Для данного процесса реализации имеют тенденцию с течением времени все более откло- няться от функции математического ожидания, поэтому с.к.о. процесса является возрастаю- щей функцией.
Рис. 2.5. Реализации, математическое ожидание и среднее квадратичное отклонение случайного процесса (2.4).
2.4. Ковариационная функция случайного процесса
o
Пусть ξ(t) – случайный процесс, и ξ(t) = ξ(t) − E(ξ(t)) – центрированный случайный процесс.
Ковариационной функцией Rξ (t1,t2 ) случайного процесса ξ(t) называется коэффициент ковариации между сечениями процесса в два момента времени t1, t2 :
o |
o |
|
Rξ (t1,t2 ) = cov(ξ(t1),ξ(t2 )) = E(ξ(t1) ξ(t2 )). |
(2.6) |
Для процессов, имеющих конечномерные плотности вероятностей, ковариационная
функция рассчитывается по формуле
Rξ (t1,t2 ) = |
∞ |
∞ |
− aξ (t1))(x2 |
− aξ (t2 )) fξ (x1, x2 ,t1,t2 )dx1dx2 , |
|
ò |
ò(x1 |
(2.7) |
−∞ −∞
где fξ (x1, x2 ,t1,t2 ) – двухмерная плотность вероятности случайного процесса.
Ковариационная функция является функцией двух аргументов t1, t2 . Она характеризует силу линейной стохастической связи между двумя сечениями случайного процесса в момен- ты времени t1, t2 .
16
![](/html/2706/349/html_OwOukcqgqp.IXi7/htmlconvd-dDUcqR17x1.jpg)
На рис. 2.6 представлена ковариационная функция случайного процесса (2.4). Она опре-
деляется выражением
|
|
o o |
o o |
|
o |
o |
) = σ2 |
+ σ2t t |
|
R (t ,t |
|
|
|
|
|||||
2 |
) = E((α+ βt )(α+ βt |
2 |
)) = E((α)2 ) + E(β2 t t |
. |
|||||
ξ 1 |
1 |
|
|
1 2 |
α |
β 1 2 |
|
|
Рис. 2.6. Ковариационная функция случайного процесса (2.4) |
|||
Ковариационная функция имеет следующие свойства. |
|
|||
1. |
Это симметричная функция своих аргументов: |
|
||
|
|
Rξ (t1,t2 ) = Rξ (t2,t1). |
||
Действительно, имеем |
|
|
|
|
|
o |
o |
o |
o |
|
Rξ (t1,t2 ) = E(ξ(t1) ξ(t2 )) = E(ξ(t2 ) ξ(t1)) = Rξ (t2 ,t1) . |
|||
2. |
Дисперсия процесса в момент времени t |
определяется как значение ковариационной |
||
функции в точке t,t : |
|
|
|
Dξ (t) = σ2ξ (t) = Rξ (t,t) .
Действительно,
o o |
o |
2 |
(t)) = D(ξ(t)) = σ2 |
|
R (t,t) = E(ξ(t) ξ(t)) = E(ξ |
(t) . |
|||
ξ |
|
|
ξ |
|
3. Ковариационная функция подчиняется неравенству
Rξ2 (t1,t2 ) ≤ Rξ (t1,t1)Rξ (t2 ,t2 ) .
17
![](/html/2706/349/html_OwOukcqgqp.IXi7/htmlconvd-dDUcqR18x1.jpg)
Это свойство является интерпретацией известного неравенства Шварца: для любых случай-
o
ных величин справедливо неравенство E2 (uv) ≤ E(u2 )E(v2 ) . Если выбрать u = ξ(t1) ,
o
v = ξ(t2 ) , то получим неравенство для ковариационной функции.
Корреляционной функцией случайного процесса называется коэффициент корреляции между сечениями процесса в моменты t1, t2 , или, иначе, нормированная ковариационная функция:
rξ (t1,t2 ) = |
|
Rξ (t1,t2 ) |
|
|
. |
(2.8) |
|
|
|
|
|
||||
Rξ (t1,t1)Rξ (t2 |
,t2 ) |
||||||
|
|
|
|
|
Свойства корреляционной функции автоматически вытекают из соответствующих свойств ковариационной функции:
1.rξ (t1,t2 ) = rξ (t2,t1) ;
2.rξ (t,t) = 1;
3.rξ2 (t1,t2 ) ≤ 1.
2.5.Взаимная ковариационная функция двух случайных процессов
Двумерной совместной функцией распределения процессов ξ1(t) и ξ2 (t) называется
функция Fξ (x, y,t1,t2 ) , определяемая выражением |
|
Fξ (x, y,t1,t2 ) = P(ξ1(t1) < x, ξ2 (t2 ) < y) , |
(2.9) |
где t1, t2 – два момента времени.
Двумерной совместной плотностью вероятности процессов ξ1(t) и ξ2 (t) называется смешанная производная второго порядка от совместной функции распределения:
fξ (x, y,t1,t2 ) = ∂2 Fξ (x, y,t1,t2 ) .
∂x∂y
ξ1(t) , ξ2 (t)
ковариации между сечениями ξ1(t1) , ξ2 (t2 ) этих процессов:
Rξ1 ,ξ2 (t1,t2 ) = cov(ξ1(t1),ξ2 (t2 )) = E(ξ°1(t1)ξ°2 (t2 )) =
∞ ∞
= ò ò(x1 − aξ1 (t1))(y2 − aξ2 (t2 )) fξ (x, y,t1,t2 )dxdy .
−∞ −∞
(2.10)
(2.11)
Взаимная ковариационная функция характеризует силу линейной связи между сечениями двух процессов в два различных момента времени t1, t2 . Она обладает следующим очевид-
ным свойством:
Rξ1 ,ξ2 (t1,t2 ) = Rξ2 ,ξ1 (t2 ,t1) .
18
2.6. Стационарный случайный процесс
Случайный процесс ξ(t) называется стационарным в строгом или узком смысле, если его
конечномерные распределения инвариантны к сдвигу по оси времени, т. е. не зависят от это- го сдвига.
Для конечномерных распределений свойство инвариантности записывается в виде |
|
Fξ (x1,..., xn ,t1,...,tn ) = Fξ (x1,..., xn ,t1 + s,...,tn + s) , |
(2.12) |
где s – некоторое число, характеризующее сдвиг по оси времени.
Функция распределения, стоящая слева в равенстве (2.12), определяет свойства процесса в моменты времени t1,...,tn . Функция распределения, стоящая справа, определяет свойства
процесса в сдвинутые по оси времени на величину s моменты времени t1 + s,...,tn + s . Ра- венство этих функций распределения означает, что свойства процесса в моменты t1,...,tn такие же, как и в моменты t1 + s,...,tn + s . Определение (2.12) означает, что свойства про-
цесса не изменяются с течением времени. Таких процессов в природе не существует, но если рассматривать процесс на некотором конечном промежутке времени, то предположение ста- ционарности может оказаться допустимым.
Теорема. Если процесс стационарен в узком смысле, то его математическое ожида- ние и дисперсия не зависят от времени, а ковариационная функция Rξ (t1,t2 ) не зависит от t1 и t2 в отдельности, а зависит лишь от их разности τ = t1 − t2 , т. е. является функцией не двух аргументов t1, t2 , а одного аргумента τ = t1 − t2 :
Rξ (t1,t2 ) = Rξ (t1 − t2 ) = Rξ (τ) .
Действительно, условие стационарности (2.12) для одномерной плотности вероятности имеет вид fξ (x1,t1) = fξ (x1,t1 + s) . Так как это равенство выполняется для любого s ,
то, выбрав s = t1, получим
fξ (x1,t1) = fξ (x1,t1 − t1) = fξ (x1,0) = fξ (x1) .
Мы видим, что одномерная плотность вероятности стационарного в узком смысле процесса не зависит от времени. Тогда для математического ожидания и дисперсии получим
aξ (t) = E(ξ(t)) = |
∞ |
= |
∞ |
|
= aξ = const , |
||
ò x1 fξ (x1,t1)dx1 |
ò x1 fξ (x1)dx1 |
||||||
|
|
|
−∞ |
|
−∞ |
|
|
o |
∞ |
|
|
|
∞ |
− aξ )2 fξ (x1)dx1 =σξ2 = const. |
|
σξ2 (t) = E(ξ2 (t)) = |
ò (x1 |
− aξ )2 fξ (x1,t1)dx1 = ò (x1 |
|||||
|
−∞ |
|
|
|
−∞ |
|
|
Запишем теперь условие инвариантности (2.12) для двухмерной плотности вероятности:
fξ (x1, x2 ,t1,t2 ) = fξ (x1, x2,t1 + s,t2 + s) .
Выбрав здесь s = −t1 , получим
fξ (x1, x2 ,t1,t2 ) = fξ (x1, x2 ,t1 − t1,t2 − t1) = fξ (x1, x2 ,τ).
Мы видим, что двухмерная плотность вероятности стационарного в узком смысле процесса не зависит от каждого из двух аргументов t1, t2 отдельно, а зависит лишь от их разности
τ = t2 − t1 . Запишем выражение для ковариационной функции такого процесса
19
![](/html/2706/349/html_OwOukcqgqp.IXi7/htmlconvd-dDUcqR20x1.jpg)
∞ ∞
Rξ (t1,t2 ) = ò ò(x1 − aξ (t1))(x2 − aξ (t2 )) fξ (x1, x2 ,t1,t2 )dx1dx2 =
−∞ −∞
∞∞
=ò ò(x1 − aξ )(x2 − aξ ) fξ (x1, x2 ,t1 − t2 )dx1dx2 = Rξ (t2 − t1) = Rξ (τ) .
−∞ −∞
Теорема доказана.
Случайный процесс ξ(t) называется стационарным в широком смысле, если его матема-
тическое ожидание и дисперсия не зависят от времени, а ковариационная функция зависит от разности своих аргументов.
Из доказанной выше теоремы следует, что из стационарности в узком смысле следует стационарность в широком смысле. Обратное утверждение в общем случае неверно. Обрат- ное утверждение верно лишь в случае, когда процесс ξ(t) является нормальным (гауссов-
ским). Гауссовский случайный процесс определен в разделе 2.7.
Свойства ковариационной функции стационарного случайного процесса приобретают другую форму. Перечислим их.
1.Rξ (τ) = Rξ (−τ) .
2.Dξ = σξ2 = Rξ (0).
3.Rξ2 (τ) ≤ Rξ2 (0) , или Rξ (τ) ≤ Rξ (0) .
Эти свойства следуют из соответствующих свойств ковариационной функции нестационар- ного процесса при замене τ = t1 − t2 .
В практических приложениях чаще всего используются ковариационные функции сле-
дующего вида: |
R (τ) = σ2e−α|τ| |
|
|
|
||
|
, |
|
(2.13) |
|||
|
ξ |
ξ |
|
|
|
|
|
R (τ) = σ2 (1 + α | τ |)e−α|τ| , |
(2.14) |
||||
|
ξ |
ξ |
|
|
|
|
R (τ) = σ2 |
(1 + α | τ | + |
α2τ2 |
)e−α|τ| , |
(2.15) |
||
ξ |
ξ |
|
|
3 |
|
|
|
|
|
|
|
|
|
|
R (τ) = σ2e−α2 τ2 . |
|
(2.16) |
|||
|
ξ |
ξ |
|
|
|
|
Графики ковариационных функций (2.13) – (2.16) для одних и тех же значений парамет- ров σ2ξ и α представлены на рисунке 2.7.
Корреляционная функция стационарного случайного процесса имеет следующие свойст-
ва:
1.rξ (τ) = rξ (−τ) .
2.rξ (0) = 1.
3.rξ (τ) ≤ 1.
Для стационарного случайного процесса корреляционная функция rξ (τ) обычно убывает
по модулю при увеличении τ . В связи с этим вводится понятие времени корреляции стацио- нарного случайного процесса. Временем корреляции τk стационарного случайного процесса
называется промежуток времени между двумя сечениями процесса, в течение которого кор- реляционная функция по модулю уменьшается до величины ε . Положительное число ε вы-
20