книги из ГПНТБ / Ганин, М. П. Прикладные методы теории марковских случайных процессов учебное пособие

равенство X ( t ) ~ X j ,

имеет показательное распределение с пара­

метром jj. Плотность распределения

этой случайной величины

/j(£) = Tjg

fj ( * > 0 ) .

Параметр fj

связан с математическим

ожиданием

ij

случайного времени Tj равенством fj — -=— •

Постоянная

fj может быть любым

неотрицательным числом.

перехода в поглощающее состояние

Cj навсегда остается в этом со­

стоянии, так

как

при. этом £ j= оо ,

а Р( Ti >

£) = 1 при любом /.

Значение х,,

или состояние физической системы Сj, называется

мгновенным,

если

fj = со.

Математическое

ожидание времени,

в течение которого случайный процесс X{t) равен мгновенному воз­

можному значению Xj, равно

нулю;

попадая в это значение, слу­

ваемые устойчивые значения,

а физические

системы — устойчивые

состояния, для которых 0

Yj < оо (/ = 0,

1, . . .).

процессом X(t) принятого ранее значения Xj

не

зависит от тогу,

сколько времени функция X(t)

уже равна этому значению.

Отсут­

ствие последействия означает выполнение равенства

Р(хр £', т/хj;

£, t') =

P(x j; f, т)

(3.12)

(У = 0 ,

1,

M ) ,

которое для однородного процесса можно записать в виде

P iTj < ^ - t l T j > t ' - t ) =

P(Ti < r - t ' ) ,

(3.13)

где £ < £' < т.

Для доказательства (3.13) воспользуемся равенствами

P ( t ' - t < Tl < * - t ) =

P(Ti > £ ' — £;

7} <

т - *) =

= P ( T j > t ' ~ t)P{Tj < т -

t/Tj >

£' -

t).

Fj(t) = P ( r j < t ) = 1 - < г Д .

(ЗЛ4)

Тогда

Р (Tj> t' — t) = e “ Tj(t ”l) ;

P { f — t < T i < z ~ t ) =

Fi [ x - t ) - F i{t, - t )

=

- [1 - <?-TJ(T-t)] -

[1 - e-1i(t' ~l)] = e~4v - ‘Ml -

.

r

1

С помощью этих равенств получаем

р {Tj < ' — t/Tj> t ' — t) =

=

= 1 -

e_7j(T- ‘,) =

P ( Tt < t - t' ) ,

ском процессе следует равенство

=

\ - P ( x f ,

t,

т ) = 1

- в

''

,

(3.15)

где

Т; (ё) — неотрицательная

функция.

Если

вероятность

Р ( Г) <

т — I) можно

представить

в виде (3.15),

то

X(t)

является

марковским процессом.

случайный процесс с дпскрет-

Итак, если X ( t ) — марковский

ными

ординатами

и

непрерывным

временем,

то

вероятность

P ( 7 j > T — t ) — P(Xf; t,

т)

того,

что

этот

процесс

до

момента т

не сменит значения x jt которое было в момент t,

определяется фор­

мулой

-

\ Tj(5) dS

Р(лу,

t, z) =

e

1

(3.16)

O’ — 0, 1,

. .. ,

N),

представляющего собой телеграфный сигнал, являются

Ху — —а и

х2 — а.

Начальное значение

этого

процесса при

t =

0

равновоз­

можно

любое из указанных

двух.

Число перемен

знака

для X(t)

Р е ше ни е . По условию

число перемен знака

случайным про­

цессом X(t)

в интервале от

t до т равно

произведению X-(т — t).

Вероятность

a%(t,

т)

того, что на этом интервале

случайный про­

цесс сменит

знак

s

раз, определяется

формулой

(распределение

Пуассона)

as а , х) =

[х~(т~ —

(s = 0, 1, . . .) .

Для вероятности Р{хр, t,

х) ( / = 1,

2)

того,что в интервале от t

до х значение Ху

случайного процесса не изменится, получаем

Руу (t, X) = Р [ X (Т) =

XylX(t) = х{[

(/ = 1 , 2 )

совпадения значений х, или х2 в моменты t и т находим

Pyy{t, x)= P 22(t, Х ) - = 2

[Х(ч

х

= е~х<T_t) ch [X (т — ^)].

(2s)!

Р п v, * ) = л , а, т) = 2

* - х

=

s— О ( 2 S +

1 ) !

_ е-\(T-t) gfo [X (х ---

£)] .

Р\\(t) = Р22 (t) = e~lt ch It;

Р 12 (t) = Р2Х(t) = е~и sh It.

Воспользовавшись формулой (3.3) при to= 0, находим

Pl ( t ) = 'k p * { 0 ) P u ( t ) (/ =

1,2).

k=l

По условию Р1(0) =

Рг(0) = 0 ,5, поэтому

Pj (0 =

0,5 [Р„ (*) +

/>«(*)] = 0 ,5

( / = 1 , 2 ) .

Согласно (3.4)

получаем

Pkj (t, *) = Рк (t) Pkj (т - t )

= 0,5 Pkj (т -

t)

(6, j = 1,2).

Используя формулы (2.15)

и (2.16), находим

_

2

x(t)

= 2

x-sPj (t) — 0,

j = l

О

D\X(t‘) } = % х ] Р ^ ) =

а\

В соответствии с (2.23) при

j=i

1

t

Kx(t, t) = 2

21 ХуХ-Дк,(*,

X) =

a2[Rn (t, * )-{-/?22 (*, x)] —

k=i

j=i

-

a2 [Rls (t,

x) + Я21 (A

x)] =

a2 [Pn (t,

x) -

Pi2(t, x)] =

=

a2e~xO-o {ch [X (x — t)\ — sh [X(x — £)]} =

a2e~2X(T_,).

Определяемые

формулами (2.2) и (2.3) вероятности Як (О

(6 = 0, 1, .. ., N)

возможных значений марковского процесса X(t)

эти функции

имеют

частные производные первого порядка по t

и по т.

Применительно к физической системе с iV -(-l возможными со­

стояниями

Сj

(/ — 0,

1, . . . , N)

функция

Ркк (t, t A t ) означает

вероятность

того, что

за время

от t до t +

At система не изменит

состояния

Ск или вернется в это состояние. Будем рассматривать

только

такие

системы, в которых за малое время At 0

практи­

чески

не

может быть более одной смены состояний.

Тогда

Л<к ( t,

t A t )

является вероятностью того, что за время At система

стема изменит состояние Ск.

Эта функция связана с Pkk (t, т) ра­

венством

Tk(^) = lim 1 — Pkk (t,

t +

ДИ

дркка,

т)

(4.1)

М-*0

T=t

(k — 0,

1, . . . ,

N).

При k =h j справедливо равенство

Pk\{t, t) — 0,

a

Рц (t,

t -f- At)

является вероятностью того,

что за время от t

до

t

At

система

водной

от

Pkj{t,

~) по

второму

аргументу следует существование

предела

Tkj (t) — lim — ki

- 7 +

Xt)- =

(4.2)

M-*0

A t

U'Z

X—t

(k,

j — 0,

1, . . . ,

jV;

k-£j),

так что

(t)

является временной

плотностью вероятности

того,

что в момент /

система перейдет из состояния

Ск в С,-.

N

Так

как 2

Pki (^> ^ + ^0 = li

то

из

(4.1)

и (4.2) следует, что

функции

j - о

и

fk (Ч связаны равенствами

i kj(0

Tk(0 =

N

(* =

0,

1, . . . ,

(4.3)

2 h k j(* )

N).

j=0

тельно функций Pki (t0, t)

(k, j =

0,

1,

N),

воспользуемся урав­

нением (2.13). Заменив в этом соотношении t

на ^о, t'

на t и т на

t + At, приходим к равенству

Лц (^,

t +

&t )= '2 Ли (t0, t) Ptj (*,

t + \t).

(4.4)

Тогда

i- о

Ли (tp,

Ли (tp,

t + Лt) -

t)

\t

ЛЛ^. t-\- M)

Ли'(Л- *)

l ~~ Л*

1 4~ it)

= У Л ц ( * 0. *)

\t

\t

Переходя в этом равенстве к пределу при At -> 0, с учетом

(4.1)

и (4.2) получаем

dPkj(tn, t)

= -

Т, V) Pki (to,

П +

У

T;j U) Pkl (to,

t)

(4.5)

dt

1=0

причем

(k, j — 0,

1,

...,

N),

Tjj (0

- - 0

(j — O,

N).

(4.6)

При фиксированном значении первого индекса к

у

функции

Ли (to, t) (k = 0,

i, ..., N) равенства

(4.5)

образуют

систему из

такого же числа искомых функций Рк\(to, t) (j = 0, 1, . . . ,

N). Так

как t

t0, то начальные значения искомых функций определяются

равенствами (2.4) при t = t 0, т. е.

Ли {to,

to

\ 1

при к — j ;

(4 . 7 )

\ 0

при

к ф /.

Полученная система называется первой системой дифферен­

циальных

уравнений

Колмогорова для

вероятностей

перехода

Лн(^о, t). Следует отметить,

что при N =

со

каждая система для

функций

Ркj (t0,

t)

( / = 0,

1,

...) состоит

из

бесконечного числа

уравнений. Уравнения

(4.5) в этом случае справедливы при неко­

торых дополнительных ограничениях.

Вероятности

Л (0

(/ — 0,

1, . .. , N)

различных состояний физи­

ческой

системы

в

момент

t

связаны

с

вероятностями

перехода

Рkj (^о,

t)

равенствамп

(2.14).

Умножив обе части (4.5) на PK(to)

я; (t) = - Tj (t) Pt(t) + 2

(t) Pi it)

(4.8)

г=о

(/ = 0, 1, . .. .

N).

(4.5) при фиксированном k.

Начальными условиями при этом

яв­

ляются значения искомых

функций P\{t) при t = t0. Если

из­

уравнения, снова

воспользуемся

соотношением

(2.13),

заменив

в нем t на t — At, где At > 0, a t' на t. Тогда

Pkj (t -

At, x) = 2

Ры (t -

At,

t) Pn (t,

x)

1=0

(k, / =

0 , 1

G помощью данного соотношения получаем

Руjit, x ) - P u ( t - A t , т)

At

Pki ( t - A t , t)

+

Pkj (t,

1 -

Pkk( t - A t , t)

i - о

At

Рц V, “0

x)

At

Переходя к пределу при At -> 0,

с учетом (4.1)

и

(4.2)

прихо­

дим к следующим уравнениям:

дРы (^J0 = Tk {t) Ры {tf

х) _

у

Тк; {t) р и {t>

т)

(4.9)

dt

о

(К / =

0, 1,

N).

Рkj (т> ') — °kj

(Л, / = 0 , 1 ..............N).

(4.10)

Рkj

Для

однородного

марковского

процесса

вероятности

перехода

(t, т)

зависят

от

t

и т

как

от разности, т. е. Pkj

(/, т) =

=

Рк) ( т — t).

Из

(4.1)

и (4.2) следует, что

в этом случае времен­

ные плотности

вероятности

7к и Tkj

смены

состояния Ск

и пере­

хода из состояния Ск

в

Cj (k, / =

0,

1, . .. , N) не зависят от t, т. е.

Рц (0 = -

тЛ] (0+ i

irtРыН)

(4.11)

(k,

j =

О,

1,

.. .,

N),

причем

^kj(0) =

\j

(k,

/ =

0,

1,

. .. , N).

(4.12)

Так как ^ kj — — =

— Р'щ (т — t)

, то обратная система диф­

ференциальных уравнений

(4.9)

при однородном процессе будет

N

Р'ц (0 =

-

ТкЛо (0

+

2

Тк; Рц (0

(4.13)

г-о

{К j =

0,

1,

... ,

N).

единственное решение.

С помощью

системы (4.8),

в которой

при

однородном процесс

и rkj {К / =

0,

1, . .. , N)

— постоянные ве­

личины, находятся вероятности Рк(/),

при любом t

связанные

ра-

венством

N

Решением системы (4.5) являются неотри­

цательные

функции Pkj {t0, t) (k,

j =

0, 1, . .. ,

N),

которые

сов­

местно с

начальными

вероятностями

Рк(t0)

(& =

0, 1, . .. .

N)

условий,

накладываемых

на

коэффициенты

Тк(^)

и

7ы^)

(k, / — 0,

1, ...). Прямые системы уравнении (4.5)

и система

(4.8)

при N = со

могут иметь решения, отличные от вероятностей пере­

хода

Ркj

(to,

t) и

вероятностей

Рj (t) для марковского

процесса,

если

нарушается

условие

регулярности (устойчивости),

согласно

ных уравнений Колмогорова

(4.5)

можно переписать в виде

— ia ^ = - ' 2 h W p uV°>

(4Л4)

1=0

о,

1=о

(К j =

Сj

(/ =

0, 1, ..., N). Возможность перехода системы из состояния

Cj

в Cs

обозначается стрелкой, исходящей из /-го узла по направ­

менная

плотность

вероятности 7JS(t)

перехода из

состояния

С}

в Cs.

На рис. 1

показаны входящие

и исходящие

стрелки

для

/-го узла графа в общем случае, когда из любого состояния Cs

воз­

можен переход в Cj.

а из состояния Cj возможен переход

в любое

состояние

Cs

(s — 0, ] , . . . , / — 1,

j +

1, . .. , N). Когда переход из

состояния

Cj

в Cs

невозможен, т.

е.

временная плотность

вероят

изводная по времени t от вероятности

(t0,

t) пребывания физи­

ческой системы в момент t в состоянии Cj

при условии, что в мо­

мент t0 эта система находилась в состоянии

Ск, равна алгебраи­

Ps(t) = P\X(t)=4\

(} = 0, 1, . . . ).

(5.1)

Вероятность перехода Ру (t, т)

является условной вероятностью

того, что в момент %> t

случайный процесс X(t) равен /, если в мо­

мент t было равенство

X(t) — k. Так как пуассоновский процесс

неубывающий,

то при

/ ’< k

функция Р кj (t,

т)

тождественно

равна нулю. Следовательно,

Р [X (т) =

/ ;Х (t) — k\ при /

>

k\

Р » V ,

*) =

О

при j

(5.2)

< k .