книги из ГПНТБ / Медич Д. Статистически оптимальные линейные оценки и управление

откуда следует

равенство

E[x(\)]E[x(Q)]=0 = W{\, 0).

Аналогично

получим ^'(О, 1) =Е[х(0)]Е[х(Щ

и поэтому рассмо­

тренный

процесс является некоррелированным,

но не чисто слу­

чайным.

xVXy{t,x)=E{x{t)y'{x)\

(4-15)

Если выражение

(4-15) обладает свойством

Vxy(t,

x)=E[x{t)\E[y'{x)}

(4-16)

для всех

t и т из /, то эти два случайных процесса на­

зывают

взаимно

некоррелированными.

Отметим,

что

здесь отсутствует

ограничение іфх,

используемое

при

определении некоррелированного случайного процесса.

Заметим

также, что следует различать эти два вида не­

коррелированности.

Читателю в качестве упражнения предлагается до­

казать, что два взаимно независимых

случайных процес­

дение не обязательно

справедливо.

Стационарные

и не стационарные

процессы

Часто оказывается удобным разделить случайные

процессы на два класса по признаку,

основанному на

природе механизма,

вызывающего случайный

процесс.

Случайный

процесс

называют

стационарным,

если ве­

роятностные

законы, которые

управляют механизмом,

ционарным.

{x(t),

tŒl}

стационар­

Случайный

процесс

называют

ным в узком

смысле,

если для любых

двух

наборов из

m моментов

времени

вида

(*і+т, ..., tm+x)

и

[h, ...

.... tm), принадлежащих

/, где m — произвольное

целое

число и г —const, справедливо

соотношение

F(xl;

4-х;...;

хт,

tm-\-z)

=

= F{x\

t

х

т ,

tm),

(4-17)

рактеристической функции

очевидны.

f(x,

t)=f(x,

Если равенство

(4-17)

выполняется,

то

0 ) = / ( х ) и

оо

со

x (t) — Е[х(t)]=

^ xf (х)сіх =

x =• const;

—ОО

— 0 0

Р (t) =Е{[х

(t) -

x (t)} [x (t) - x

(t)}'}

=

—оо

— 0 0

,

Кроме

того, /(x1 ,

ti,

x2,

t2)=f(xi,

0;

x2 ,

t2—/і),

так что

00

00

Pit,,

g =

J...

j V -

*

)

( ^ -

*

) X

— 00

— 0 0

X / ( - * ' . 0;

x \

tt

— tùdxldxt

=

P(0,

t2

—

tt).

P(tu

ti)=P(k—U).

В случае, если 5J(/)=const и P{t\,

h)

= P{i2—ti),

слу­

чайный процесс {x(t),

Î Œ I }

называют

стационарным

в широком

смысле.

Ясно,

что стационарный в

узком

смысле

процесс

W(t, x)=P{t,

x)+x(t)x'(x).

Для стационарного в широком смысле процесса

справедливы соотношения x(t)

= х(х) —х и

9*

131

Пример

4-6. Пусть (x(i),

r^O}—скалярный случайный процесс,

описываемый

дифференциальным

уравнением х ——ax + w, где

а — по­

ложительная

постоянная, a

w — случайная величина с нулевым

сред­

ним и

постоянной

дисперсией

гг2 ю>0, независимая от

начального

условия

х(0).

Для

простоты

положим

х(0)=0.

Любая выборочная функция

процесса для г^О имеет

вид

ские марковские случайные

процессы.

Вначале введем определение гауссовского или нор­

мального случайного

процесса.

Случайный

процесс

{x(t),

É Œ I } называется

гауссов­

ским

или

нормальным,

если

для

m

любых

моментов

вре­

мени

tu

..., tm

из I,

где

m — произвольное

целое

число,

m случайных

п-векторов

x(ti),

...,

x(tm)

имеют

совмест­

ное

гауссовское

распределение.

Для

совместной

характеристической

функции

это

определение требует, чтобы

(

m

m m

\

132

/

xi's1—Y

S I ' P I K S K J - ( 4 - 1 8 )

где s1, ..., sm — произвольные я-векторьі;

x'' = £|[x(/i)], і= 1,

...,

m;

(4-19)

Р^ = Е{[х (U) —xifx

(/ft)

—xk]'}.

(4-20)

Х е хр

Y{X*~X*)'

Р*-1(х*-х*)

(4-21)

Р* = \\РЩ;

I, Ä = l ,

., яг,

— матрица

размера птхпт,

a Pih

определяется

из

уравнения (4-20).

Описание процесса с помощью плотности распреде­

ления (4-21),

разумеется,

имеет

смысл, только если

ма­

матическим

ожиданием x(t)

для любого tŒl

и корреля­

ционной функцией P(t,

х) для любых t и т из /.

Частным

видом

гауссовского

случайного

процесса,

с которым

мы

будем

постоянно

встречаться

впоследст­

вии, является гауссовский белый шум.

,

Случайный

процесс

{х(і),

/с=/}

называется

гауссов-

ским

белым

шумом,

если для

любых

m

моментов

време­

ни ti,

..., tm

из

I, где

m — любое

целое

число,

m

случай­

ных п-векторов x(ti),

..., x(tm)

являются

независимыми

гауссовскими

случайными

векторами.

m

<Р (s1,

sm ) = n

<Pi(s''),

где

sl- sv

cpi(s!') = exp jxi's*

Piisi

1,. ., m.

P(t, т) = 0 для

всех t и т из /, где

Іфх.

Ясно, что гауссовский белый шум полностью описы­

вается его математическим ожиданием x(t)

и

корреля­

ционной матрицей

P(t)

для всех

éŒl.

В дальнейшем

для

удобства

гауссовский

белый шум

с дискретным

временем

называется

гауссовской

белой

последовательностью,

а гауссовский белый

шум

с непре­

рывным временем — просто

гауссовским

белым

шумом.

Теперь рассмотрим формальное определение марков­

ского

процесса. Случайный

процесс

[x(t),

É Œ I }

называ­

ют марковским,

если

для

любых m

моментов

времени

t\<h<

. . . < / т о из

/,

где

m

— любое

целое

число,

услов­

ная функция распределения вероятностей x(tm)

при

условии, что известны значения x(ti),

•..,

x(tm-i),

имеет

следующее свойство:

P[x{tm)<xm\x(tm.l)

= xm-1,...,

x(t,)

=

x1]

=

= Р[х (tm)

<xm\x{tm^)

=

X*-Ч

для произвольных /г-векторов

х

1 , х

т .

В терминах условной плотности распределения это

означает, что

f { х т \ х

т ' \ x l

)

=

f(хт\X"1-1)

для произвольных /г-векторов

л : 1 , х

т .

Это равенство можно также записать в виде

f[x(tm)

\x(tm-i),

...,

X(ti)]

=

=

f[x(tm)

\

x(tm-i)l

Марковский

процесс описывается

функцией

распре­

деления

вероятностей

перехода

F[x(t)

|х(т) = £], ко­

торая

представляет

собой условную

вероятность

того,

что

x(t)^fe,

где

£— любой n-вектор, при

условии

x(r)—Z,.

Здесь

£ — фиксированный л-вектор, а. t

и т —

элементы

множества

индексов

процесса

при

t>x.

распределения

вероятностей

перехода, обозначаемой

f[x(t)\х(х)],

в предположении, что она существует.

Теперь

рассмотрим

специальный

способ

описания

марковского

процесса.

Пусть

{x(t),

tŒl} — марковский

процесс, плотность

распределения вероятностей

перехо­

да

которого

f[x(t)

\ х(х)]

определена

для любых t и х

из

I , t>x.

Один

из способов

описания процесса заклю­

ния m случайных п-векторов x(ti),

x(tm)

для произ­

вольного целого m, любых m моментов времени

h<.h<.-

• •

<..

.<tm

из / и любых n-векторов

х1,

х™.

Пусть

іі<іг<..

.<tm

— моменты

времени

из

/,

где

m — любое целое число. Тогда

по формуле

Байеса

f(xm,...,

x1) = f ( x m \ x m

- i

x')f{xm~\...,

X1).

(4-22)

Однако поскольку процесс марковский, справедливо

равенство

f ( x m \ x m - \ . . . ,

xl)^=f{xm\xm-1).

Это

означает,

что уравнение

(4-22)

можно

привести

к виду

f

( x m , x 1

) = f(xm\xm-1)f(xm-t,...,

X1)

(4-23)

Вновь используя формулу Байеса и марковость про­

цесса,

получаем:

/ (xm

~1

;...

; х1) =

}{хт~1\хт-1,...,

х1 ) / (х"1 "2 ,1 ...,

х') =

==/(хт-х\хт-2){{хт'\

.... X 1 ) .

f(xm,...,

x1)

= f(xm\xm-J)f{xm-l\xm-t)f(xm-2,...,

X1).

Повторяя эту процедуру, получаем:

f(xm,

x1)

= f(xm\Xm-1)f(xm-l\xm-i)...

fix'lx1)

fix1).

(4-24)

Все сомножители в правой части уравнения (4-24)

известны,

кроме f(xl) =f [x(tt)],

поскольку плотность

распределения вероятностей перехода f[x(t)\x(x)]

опре­

делена для всех t, и т из /, t>x.

Следовательно,

совмест­

делена,

если определена плотность

распределения

f[x(ti)].

В частности, если t\ — начальное

время множе­

чает,

например, что условная

плотность

распределения

x{tm)

относительно

x\tm~\)

совпадает с плотностью

рас­

пределения x(tm-i)

относительно x(tm-2)

и т. д.

плот­

Кроме того, предполагается,

что все указанные

ности

распределения существуют. Разумеется, все рас­

упражнения.

2. Марковский процесс

является

также марковским

в обратном времени. Иными словами, для tm<tm+i<-

• •

.. .<tm+h

из I,

где m и k — два любых

целых

числа,

имеем:

/ (хт

I х т

хт+

к) = f(xm\

хт+1).

+

1

Чтобы

доказать

это

свойство,

используем

сначала

формулу

Байеса

Д ѵт

I Ym+

1

Wn+ k\ •

I я

?

Л

I

f ( % m + 1 , ....

Xm+h)

f{xm,

хт+1,...,

xm+h)

=

f (хт+'\

хт+к~\...,

хт)

=

=

f{xm+h\xm+k-1)(xm+1\xm)f(xm)

в силу уравнения

(4-24).

Аналогично

f { x

m + \ x m

+

K )

= f{xm+k,

х т + к

- \ х

т + 1

)

=

=

f (хт+

к

I хт+

"" ')

• •. / (хт+

21 хт+

') I (хт+

').

Разделив эти два соотношения почленно друг на дру­

га и сократив подобные члены, получим:

f(xm\xm+1,...,

x ^ t ) - f H j l ^ ) f W i

Используя еще раз формулу Байеса, имеем:

f (Хт+

1 j X*") f (хт)

f (

x m + ' , x

m )

_

fix™*1)

~~

f(xm+')

~~

_f(x*»,

*"+•)_,

•

+

цесс

{x(t),

t^I)

для любых

m моментов

времени

t\<

<tz<..

.<tm,

где

m — произвольное

целое

число,

обла­

дающий следующим

свойством:

P[x(tm)<xm\x{tm_l)

=

xm-1,....

x{tl)

=

xx\

=

= P[x{lm)<xm\x{tm_l)

=

xm-\

x{tm^) = xm'%

при любых

я-векторах х\ ...,

хт.

Такой

процесс

назы­

вается марковским

процессом

второго порядка.

Опреде­

ление марковского процесса k-ro

порядка

для

k^3

очевидно.

будут

называться просто марковскими. Однако при изу­

чении

оптимального сглаживания

мы также встретимся

с марковскими процессами второго

порядка.

функцией распределения

вероятностей перехода F [x (t) ^

Х(ХІ)

—t,1, x(%2) = tsz\,

где І — произвольный

«-вектор;

и £2

— два

заданных

«-вектора;

t, х\, хг^І,

причем

t>Xi>xz.

Подразумевается,

что соответствующая

плот­

ность распределения

вероятностей

перехода

имеет вид:

f[x(t,)\x(x,),

х(х2)].

Два свойства марковских процессов, приведенные

выше, также

имеют

место и для марковских

процессов

второго

порядка.

В заключение параграфа

проиллюстрируем

на

при­

совский

марковский

процесс

с

дискретным

временем

гауссовской марковской

последовательностью

и

оставим

термин гауссовский

марковский

процесс

только для гаус­

совского

марковского

процесса

с

непрерывным

време­

нем. Так же будем

поступать в случае

марковского про­

цесса второго порядка.

Ясно, что гауссовский характер

этих процессов

опре­

деляет

распределение

реализаций

процессов,

в

точке,

а марковость управляет развитием, процесса

во времени.

причем последняя — для

всех k. По аналогии с

уравне­

нием (4-24)

можно записать:

!

f[x{k+\),

x(0)]=nx(k+l)\x(k)]f[x(k)\x(k-\)]...

. . . / И 1 ) І * ( 0 ) Ш * ( 0 ) ]

(4-25)

для любого

Это выражение определяет совместную

плотность распределения

вероятностей

процесса.

Наконец,

заметим, что гауссовский

белый шум как

с дискретным, так и с непрерывным временем,

можно

t

+

где х(0)—гауссовская

случайная

величина с нулевым средним и

дисперсией о 2 0 > 0 .

Интегрируя уравнение процесса, получаем:

*

( 0 =

Т+1

для любого

<^0. Так как х(0)

имеет гауссовское распределение, для

любых m

моментов

времени

tt,

...,

tm

из

/=(0,

оо)

функция

f(xl,

..., xm)

является

гауссовской

плотностью

распределения

вероят­

ностей.

t2>ti^0

Легко показать, что для

fi

+ 1

x (^2) — / 2

-|-

1 *

В результате для любого упорядоченного

набора моментов време­

ни tm,

• • -, ti^[0,

0 0 )

справедливо

соотношение

j(xm\xm-1

xl)=f(xm\xm-i).

Следовательно,

процесс — гауссовский

марковский.

Известно, что

_ _ïL

1

f[x(0)] =

/[jc, 0] =

-

_

«

24Q

—

V 2л <з0

Определим

плотность

распределения

вероятностей

перехода

![x(t)

\x(x)]=f(x,

t; x, т). Так как процесс

{x(t),

t^Q}

является гаус­

совский марковским, известно, что f(x,

t\x,

т)—гауссовская

плот­

ность распределения и поэтому она полностью определяется

своими

условными математическим ожиданием и дисперсией.

Так как

для />т, то

Е[х

( 0 I * W ] = 7 ^ t *

W ;

£

[{x ( 0 -

£

[x (О

I x (x)]}2 ] =

E J [x

( Х )

Г }=

°-