Добавил:
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:

книги из ГПНТБ / Казаков В.А. Введение в теорию марковских процессов и некоторые радиотехнические задачи

.pdf
Скачиваний:
21
Добавлен:
23.10.2023
Размер:
7.76 Mб
Скачать

обладающий двумя свойствами — о р д и н а р н о с т ь ю

и

о т с у т с т в и е м

п о с л е д е й с т в и я .

Рассмотрим

эти

свойства

подробнее.

 

 

 

 

 

Поток

событий

называется

ординарным,

если вероят­

ности

осуществления на бесконечно

малом отрезке време­

ни M двух, трех и более событий pt

&t (i)

(i =

2, 3,...) пре­

небрежимо малы

по сравнению с вероятностью-^ м ( 1 )

одного

события

 

 

 

 

 

 

 

 

Л .

Ю

(< = 2 , З . - ) -

(2-2)

Физически условие (2.2) означает, что ординарный по­ ток— это поток относительно редких событий. Вообще при произвольном потоке для любого интервала (і, t+x) справедливо соотношение нормировки

 

 

pt,A0)+pt,

,(i) + S

^ . Л 0 = і .

 

(2.3)

 

 

 

 

 

1-2

 

 

 

 

где

pt

— вероятность

того,

что на г участке (t, t-\-*)

не

произойдет ни одного

события.

 

 

 

x=At

 

С учетом (2.2) для ординарного

потока

при

соотношение (2.3)

приобретает вид

 

 

 

 

 

 

Pt.AtW

+ Pt.tii1)™1-

 

 

 

(2-4)

 

Найдем среднее число событий ординарного потока,

наступающих на интервале

времени

(i,

t+At):

 

 

 

0-Pt.u<P)+l-Pt.uQ)

 

+

2-Pt. дЛ2) +

. . . +

 

 

 

+ mpti

д < ( m ) + ... =

/?,_

 

 

 

 

Тогда среднее число событий в единицу времени

равно

Р<,д*(1)/Д£. Если существует предел этого

выражения,

то

он называется и н т е н с и в н о с т ь ю

ординарного по­

тока K(t) :

 

 

[piiLi(l)!M].

 

 

 

 

 

 

*(*) = Um

 

 

 

(2.5)

Интенсивность X(t) может быть любой неотрицательной

функцией времени и имеет размерность

[l/сек]. В част­

ном случае, когда %(t) =Ä,=const,

поток называется

с т а ­

ц и о н а р н ы м . У стационарного

потока

вероятность по­

явления того или иного числа событий

на

участке

(t,

t+x) зависит лишь от длины этого участка

х и не зави­

сит от t.

 

 

 

 

Второе основное свойство пуассоновского потока —

от с у т с т в и е п о с л е д е й с т в и я — свидетельствует

отом, что пуассоновский поток событий есть марковский процесс. Применительно к рассматриваемому потоку

свойство отсутствия последействия состоит в

том,

что

для

любых н е п е р е к р ы в а ю щ и х с я

участков

длиной

Ті и

Т2 число событий, случившихся на

одном

из

них,

не

зависит от того, сколько событий произошло на другом.

Используя это свойство, можно показать

(см.,

например,

(1, 2]), что для нестационарного пуассоновского

потока

число событий,

попадающих

на

интервал

(t,

t+x),

рас­

пределено по закону

Пуассона:

 

 

 

 

 

 

 

 

 

^ И ^ ^ ^ 1

' ' 1

1

-

 

 

 

(2-6)

Здесь A(t,

х)

—среднее число событий, наступающих на

интервале

(і,

 

t+x),

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

A{t,

 

t+x

X{t')dt'.

 

 

 

 

 

 

 

 

 

 

x ) =

 

f

 

 

 

 

(2.7)

Для стационарного

потока

 

t

 

 

 

 

 

 

 

 

 

t + z

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

A(t,

х) =

Л(т;)=

j

MÏ =

Xt,

 

 

 

(2.8)

 

 

 

 

 

 

 

 

t

 

 

 

 

 

 

 

 

и тогда

(2.6)

вырождается

в

широко известную фор­

мулу распределения

Пуассона

 

 

 

 

 

 

 

 

 

 

 

 

 

Л И = ^ е Л

 

 

 

 

 

(2.9)

Стационарный

пуассоновский

лоток,

для

 

которого

справедливо

соотношение

(2.9),

называют

п р о с т е й ­

ш и м потоком. На примере простейшего потока

покажем

справедливость соотношения

(2.9) [3].

 

 

 

 

 

Выберем т = 0 и рассмотрим

два

интервала

(0, т) и

и (т, т + Д т ) ,

причем

Ат мало. В

силу

отсутствия

после­

действия

 

вероятность того,

что

на

отрезке

-(0,

х+Ах)

не (произойдет ни одного события, 'равна

 

 

 

 

 

 

 

 

 

Л+ дДО)=Л(0)/>д*(0)-

 

 

 

( 2 л ° )

Но для

ординарного

потока

из

(2.4)

 

следует

 

 

 

 

 

 

 

 

/>дх(0)«

1 - ^ ( 1 ) -

 

 

 

 

 

(2.11)

41

так что

 

 

 

 

Перенесем

р^(0) в левую

часть

и разделим

обе части

равенства

на А-г. Затем, переходя к пределу

при Дт—Ю,

с учетом (2.5) получаем

 

 

 

 

AljW

= — Xp^Q).

(2.13)

Интегрирование этого уравнения

при начальном условии

Ро (0) = 1 приводит к соотношению

 

 

РІ(0)=ІГ\

 

(2.14)

которое совпадает с (2.9) при т = 0. Аналогично можно доказать справедливость (2.9) для других т.

Найдем закон распределения интервала времени Т между двумя событиями в простейшем потоке. Совме­ стим начальную точку отсчета с моментом появления

 

 

 

t

 

 

Рис. 2.4.

 

 

 

произвольного события

(рис. 2.4). Вероятность того, что

на отрезке времени т

не появится

ни

одного

события

( т = 0 ) определяется (2.14). Вместе

с

тем эта

вероят­

ность равна вероятности того, что случайная иеличина Т больше величины т:

Вероятность того, что Т<%, очевидно, равна

 

Я ( Г ь < х ) = 1 - Р ( Г > т ) = 1 _ : е - Х т .

(2.15)

Но вероятность Р(Т<х) по определению означает функ­ цию распределения (интегральный закон) случайной ве­ личины Т. Дифференцируя (2.15), получаем дифферен­ циальный закон распределения:

щ)(т) =

Я е _ х \ х > 0 .

(2.16)

Таким образом, в простейшем потоке интервалы вре­

мени между соседними

событиями подчиняются

п о к а -

42

з а т е л ь н о м у

( э к с п о н е н ц и а л ь н о м у )

закону

с параметром

X. Показательное распределение

интерва­

лов времени между событиями обладает одним замеча­ тельным свойством: если после очередного события про­

шло уже некоторое

время

Х\,

то

закон

распределения

оставшейся

части промежутка

0

= 7"ті

остается неиз­

менным при любом

Т і > 0 ,

т. е.

 

 

 

 

 

и,(Ѳ)=; яе-м .

 

(2.17)

Докажем

это свойство

(см., например, [4, 5]). Совме­

стим начало отсчета с моментом появления некоторого

события и рассмотрим два интервала времени

(0, %\) и

(fi,

Ті + Ѳ).

Для

этих интервалов справедливо

соотно-.

шение (2.10):

 

 

 

 

 

 

 

 

 

 

Р,1 + е(0) =

*Ч(°)М°)-

(2-1 8 )

 

Кроме того, согласно (2.9)

имеем

 

Из

(2.18),

(2.19)

находим

 

 

 

 

 

 

 

Р0(О) = ^

^

=

е - х \

(2.20)

что

полностью

совпадает с формулой (2.14), на

основа­

нии которой был получен закон распределения

(2.16).

Следовательно,

выражение

(2.17)

верно.

 

Совпадение

распределений

w{x)

и ИУ{Ѳ) подтвержда­

ет свойство марковости пуассоновского-потока. Дейст­ вительно, закон распределения ш(Ѳ) оставшейся части промежутка («будущее») не зависит от того, сколь долго

длится и н т е р в а л в р е м е н и

(0, ті) с момента

осу­

ществления последнего события

(«прошлое»), но

при

этом плотность ш(Ѳ) зависит от Ті («настоящее»), так как величина Ѳ отсчитывается с м о м е н т а ті.

Из всех видов распределений интервалов между со­ бытиями только экспоненциальное распределение обла­ дает указанным свойством, следовательно, пуассоновский поток (в общем случае нестационарный) является единственным, который может определять моменты вре­ мени переходов в математической модели, описанной в '§ 2.1. Поскольку каждый пуассоновский поток пол­ ностью характеризуется интенсивностью \(t), то для полного задания разрывного марковского процесса с ди-

43

скретными состояниями необходимо располагать N зна­

чениями

величины Х(ХІ, t)

( i = l , 2, ..., N).

При контину­

альном

множестве

возможных состояний

марковский

разрывной

процесс

должен

определяться

функцией

Х(х, t).

 

 

 

 

 

 

 

Марковские процессы,

у

которых

интенсивность

является

функцией

состояний х, играют большую роль

в теории

массового

обслуживания и связанных с ней

прикладных

областях [5—8].

 

 

 

2.3. Дифференциальные уравнения для разрывных марковских процессов с дискретными состояниями

Итак, для описания системы с конечным числом со­ стояний N следует задать в общем случае N. пуассоновских потоков, которые характеризуют случайные мо-

^менты переходов системы из состояния в состояние. Однако для определения вероятностей перехода в систе­

ме знания одних потоков, очевидно, недостаточно. Необ­

ходимо еще

ввести в

рассмотрение о т н о с и т е л ь н ы е

вероятности

переходов

ац(і), которые являются услов­

ными по отношению к факту возникновения скачка. Ве­

роятность

ga(t) есть

вероятность

того,

что

система,

находившаяся до момента t в состоянии ХІ,

перейдет в со­

стояние Xj

п р и у с л о в и и ,

ч т о

в м о м е н т

t п р о ­

и з о ш е л

с к а ч о к .

Таким

образом,

если скачок не

происходит, то система

остается в прежнем состоянии х\.

Это обстоятельство делает естественным

предположение

о том, что элементы главной диагонали матрицы отно­

сительных вероятностей перехода Q(t)

следует положить

равными нулю, т. е.

 

 

 

 

qu(it)=0

для всех

г.

(2 . 21)

Поскольку

матрица Q{t)

является

стохастической, то

для каждой

ее строки справедливо условие

нормировки

Запишем теперь собственно

вероятности переходов

в системе за малый промежуток

(t, t+àt), предположив,

что поглощающие состояния отсутствуют. Выберем не­ которое состояние ХІ, которым управляет пуассоновский 44

поток с интенсивностью li(t).

В силу малости

из (2.7)

имеем

 

 

 

 

 

 

 

 

 

 

 

Ai(t,bt)=

 

t+àt

%i{t')dt'

=Xt{t)àt.

 

 

 

j

 

 

 

 

 

t

 

 

 

 

интервале (t,

Тогда вероятность

отсутствия скачка

на

£+ At)"согласно

(2.6) равна

 

R

 

 

 

 

Pt.

At (°) = е _

Ч ( ° " * 1 -

k (0

 

(2-2 3 )

С учетом

(2.2),

(2.23)

вероятность

того, что на

рассма­

триваемом

интервале

произойдет, скачок,

определяется

соотношением

 

 

 

 

 

 

 

 

 

 

 

 

PtiU(l)*b®M.

 

 

 

(2.24)

Выражения (2.21) — (2.23)

позволяют

записать

вероят­

ности перехода.из состояния ХІ В виде

 

 

 

 

 

pii{t,t+M)

 

= \—%i{t)U,

 

 

(2.25)

 

 

Pij{t,

t+ät)=U(t)btqijit).

 

 

 

(2.26)

Безусловная

вероятность pj(t+At)

 

того, что система

в .момент

t+At

окажется в состоянии Xj равна

 

 

^ (*+• дд

 

 

[ 1 - я , (О Д*] +

 

 

 

 

 

N

 

 

 

 

 

 

 

 

 

 

Pi{t)li{t)Atqu{t).

 

 

 

(2.27)

t=i

Перенесем pj(t) в левую часть, разделим обе части урав­ нения (2,27) на At и перейдем к пределу при Arf—>0. В результате получим

 

 

N

^

= -li(f)Pi(t)+^Pi(t)lt(f)gm

0 = 1 . 2 , ...,#).

(2.28)

Система уравнений (2.28) характеризует изменение без­ условных вероятностей с течением времени. Впервые она была получена А. Н. Колмогоровым в работе [9].

Положим теперь

- Я , ( / ) = а и ( 0 ; M O t t H O ^ ^ j P ) . іфІ-

(2.29)

45

Коэффициенты üij(t) *) позволяют заіписать систему уравнений (2.28) в компактном виде

 

 

dpi (0_<

N

 

 

 

 

 

 

(2.30)

 

 

dt

=1

 

 

 

 

і

 

 

или

в матричной

форме

 

 

 

 

 

£ £ L =

P(*)-A(Q,

(2.31)

где

Р(і)матрица-строка безусловных

вероятностей;

А(і)

—матрица,

составленная

из элементов ua(t).

Рассмотрим вывод системы дифференциальных урав­

нений (2.30), основывающийся

на ином,

нежели (2.25),

(2.26), представлении вероятностей перехода. Предполо­

жим, что при малом

любую вероятность перехода

можно записать в

виде

 

 

 

Pi){t,

t+At)

=

ôij+%ij(t)M,

(2.32)

где •ôfj — символ Кронекера;

Xij(t)—интенсивность

пу-

ассоновского потока, переводящего систему из состояния

ХІ в состояние Xj. Матрица

вероятностей

перехода с эле­

ментами- (2.32) имеет вид

 

 

 

 

 

 

 

 

 

P(f,f

+

Af)

=

 

 

 

"1 +

\ u (0 At

А1 2 (/) At

 

.

. .

Kw

(t) At

 

Х2 І

(/) At

1 + Х(t)At

.

. .

X2N

(t) At

(2.33),

 

 

 

 

 

 

 

 

 

X,„ (t) At

Лот(0

à

t

 

 

1 + Х Ш ( 0 At

 

L "Ni

 

 

 

 

 

 

 

Форма записи вероятностей перехода (2.32) учиты­ вает ряд обстоятельств. Во-первых, при At—И) конечное состояние Xj совпадает с начальным х,-, т. е.

 

Pü(t, '0 =6ij-,

(2.34)

во-вторых, при

\фі

 

 

 

 

 

(2.35)

Соотношение (2.35) означает, что вероятность пере­

хода из ХІ в Xj

( і ф і )

выражается

через интенсивность

*> Величины a.ij(t)At

называют инфинитезимальнымп (локаль­

ными) переходными вероятностями.

 

46

kij(t)

пуассоновского

потока,

переводящего

систему

из

г-го состояния в /-е. Сопоставление

выражений

\2.26)

и

(2.35)

позволяет уяснить разницу

в

описании

системы.

В первом случае для каждого

состояния задается о д и н

пуассоновский поток с интенсивностью Xi(t)

и набор от­

носительных

'вероятностей

перехода

qij{t).

Во

втором

случае

для

каждого

состояния задается

н е с к о л ь к о

(в общем случае N1)

пуассоновских потоков,

перево­

дящих систему из t'-ro состояния во все остальные.

 

Что касается «перехода» ХІ*-Х{,

 

то, исходя

из усло­

вия нормировки

 

 

 

 

 

 

 

 

 

 

I ! Ра (t, t + M) =

S

[8„ +

Ut (t) Ы] = 1,

 

 

 

/=і

 

 

/=і

 

 

 

 

 

 

 

откуда следует

N

 

 

S

а«(*)д* = о.

 

Следовательно,

 

 

Xu (0 =

- 2 Ui (*) < 0-

(2.36)

Соотношение (2.36) противоречит определению интен­ сивности потока, приведенному в § 2.2, и поэтому функ­ цию А,ІІ(./) можно лишь условно назвать интенсивностью. Несмотря на это, выражение (2.36) хорошо согласуется с описанием протекающего в системе процесса при по­ мощи графив (см. ниже).

Подставим вероятность перехода (2.32) в уравнение

Колмогорова—Чепмена

(2.1):

 

 

Pii(ta, t + Д*) •= S

pa (fet) [8ц +

Хц {t) At] ,=

= . р « ( ' о . 0 + Д ' І !

h){t)Pü{ta,t).

 

г=і

 

 

Отсюда обычным образом получим

систему уравнений

d-M^n =

j^h{t)Pil(t0lt),

 

(2.37)

решение которой показывает изменение вероятностей пе­ рехода во времени. Начальными условиями для системы (2.37) являются соотношения (2.34).

Как уже отмечалось в § 1.3, промежуточный момент времени в уравнении Колмогорова—Чепмена можно выбирать произвольно. В частности, при записи выра­

жения (2.1)

было положено, что промежуточный момент

t отстоит от

конечного момента t+àt на малую вели­

чину Ы. Промежуточный момент можно выбрать вбли­ зи начального и рассматривать, таким образом, "момен­

ты времени to, U+Ma

и t. Для этого случая уравнение

Колмогорова—Чепмена

(2.1)

примет вид

 

PU ('.. ') = S Pit ('..

Д*о) Ріі (to + ^ о . t).

(2.38)

Поскольку в соответствии с (2.32)

то

PU

 

+ д * 0 ) = 8 « + i n ( g д*0 ,

 

 

 

 

 

 

 

 

Pa

( W ) =

S

[8«

Со) А^о1 Рц Со +

Л'»- О =

 

 

і=1

 

 

 

 

 

Отсюда

получим

 

w

 

 

 

 

 

 

 

 

 

 

 

D A

^ B

, ° = ~

J ] ^ Со) PiikU,

t).

(2.39)

Системы уравнений (2.37), (2.39) описывают

один и тот

же марковский

процесс, но в первой из

них производные

берутся по настоящему времени t, во

второй — по на­

чальному (прошлому) времени to. Систему

уравнений

(2.37) называют

п р я м о й

и говорят, что она

обращена

в будущее (приращение M отсчитывается

от настоящего

времени і). Систему уравнений (2.39) называют о б р а т- н о й или обращенной в прошлое (приращение А/ отсчи­ тывается от прошлого времени to). Систему уравнений (2.39) не следует путать с соответствующими уравнения­ ми, которые описывают марковский процесс в обратном течении времени (см. об этом [10, 11]).

Прямая и обратная системы (2.37), (2.39) впервые были получены в [9], поэтому их называют системами дифференциальных уравнений Колмогорова. В дальней­ шем мы будем использовать только прямую систему (2.37).

48

Из системы (2.37) легко получить уравнения для

безусловных

вероятностей

pj(t).

Действительно,

умно­

жив обе части уравнения

(2.37) на начальное распреде­

ление pi(t0)

и просуммировав

по всем і,

получим

 

dpi

(0. -^кЛі)M*)

 

( 7 = 1 . 2 ,

N).

(2.40)

dt

 

 

 

 

 

Здесь учтено, что

Система уравнений (2.40) полностью совпадает с си­ стемой (2.30), раскрывая тем самым физический смысл

элементов an(t).

когда Kij{t) =А,І3-=const, пуассоновские

В том случае,

потоки становятся стационарными и, следовательно, ве­ роятности перехода в системе не зависят от времени. Протекающий в такой системе процесс называется одно­ родным, а соотношения (2.40) превращаются в систему

дифференциальных уравнений

с п о с т о я н н ы м и ко­

эффициентами

 

d-^=j]kMt).

(2.41)

Отметим, что стационарность пуассоновских потоков не влечет за собой стационарности процесса x(t). Процесс в системе будет всегда стационарным лишь в том част­ ном случае, когда начальные вероятности р*(М совпа­

дают с финальными вероятностями.

Начальным

усло­

вием для систем уравнений (2.40),

(2.41)

служит

матри­

ца-строка вероятностей начальных

состояний

pj(io)

(/ =

= 1, 2,

..., N).

Решение указанных

систем

уравнений

осуществляется

с помощью

преобразования

Лапласа

(см., например, [5]).

 

 

 

 

 

 

 

После того как закончится переходный процесс, в си­

стеме

(2.41) можно положить

dpj(t)/dt=0

( / = 1 , 2,

...,

N).

Тогда система дифференциальных уравнений вы­

рождается в систему алгебраических

уравнений

 

 

 

 

Т,ЬІРІ=0.

 

 

 

 

(2.42)

 

4—186

Соседние файлы в папке книги из ГПНТБ