![](/user_photo/_userpic.png)
книги из ГПНТБ / Казаков В.А. Введение в теорию марковских процессов и некоторые радиотехнические задачи
.pdfобладающий двумя свойствами — о р д и н а р н о с т ь ю |
и |
|||||||
о т с у т с т в и е м |
п о с л е д е й с т в и я . |
Рассмотрим |
эти |
|||||
свойства |
подробнее. |
|
|
|
|
|
||
Поток |
событий |
называется |
ординарным, |
если вероят |
||||
ности |
осуществления на бесконечно |
малом отрезке време |
||||||
ни M двух, трех и более событий pt |
&t (i) |
(i = |
2, 3,...) пре |
|||||
небрежимо малы |
по сравнению с вероятностью-^ м ( 1 ) |
|||||||
одного |
события |
|
|
|
|
|
|
|
|
|
Л . |
Ю |
(< = 2 , З . - ) - |
(2-2) |
Физически условие (2.2) означает, что ординарный по ток— это поток относительно редких событий. Вообще при произвольном потоке для любого интервала (і, t+x) справедливо соотношение нормировки
|
|
pt,A0)+pt, |
,(i) + S |
^ . Л 0 = і . |
|
(2.3) |
||||
|
|
|
|
|
1-2 |
|
|
|
|
|
где |
pt |
— вероятность |
того, |
что на г участке (t, t-\-*) |
||||||
не |
произойдет ни одного |
события. |
|
|
|
x=At |
||||
|
С учетом (2.2) для ординарного |
потока |
при |
|||||||
соотношение (2.3) |
приобретает вид |
|
|
|
|
|||||
|
|
Pt.AtW |
+ Pt.tii1)™1- |
|
|
|
(2-4) |
|||
|
Найдем среднее число событий ординарного потока, |
|||||||||
наступающих на интервале |
времени |
(i, |
t+At): |
|
||||||
|
|
0-Pt.u<P)+l-Pt.uQ) |
|
+ |
2-Pt. дЛ2) + |
. . . + |
|
|||
|
|
+ mpti |
д < ( m ) + ... = |
/?,_ |
|
|
|
|
||
Тогда среднее число событий в единицу времени |
равно |
|||||||||
Р<,д*(1)/Д£. Если существует предел этого |
выражения, |
|||||||||
то |
он называется и н т е н с и в н о с т ь ю |
ординарного по |
||||||||
тока K(t) : |
|
|
[piiLi(l)!M]. |
|
|
|
|
|||
|
|
*(*) = Um |
|
|
|
(2.5) |
Интенсивность X(t) может быть любой неотрицательной
функцией времени и имеет размерность |
[l/сек]. В част |
|||
ном случае, когда %(t) =Ä,=const, |
поток называется |
с т а |
||
ц и о н а р н ы м . У стационарного |
потока |
вероятность по |
||
явления того или иного числа событий |
на |
участке |
(t, |
|
t+x) зависит лишь от длины этого участка |
х и не зави |
|||
сит от t. |
|
|
|
|
Второе основное свойство пуассоновского потока —
от с у т с т в и е п о с л е д е й с т в и я — свидетельствует
отом, что пуассоновский поток событий есть марковский процесс. Применительно к рассматриваемому потоку
свойство отсутствия последействия состоит в |
том, |
что |
|||
для |
любых н е п е р е к р ы в а ю щ и х с я |
участков |
длиной |
||
Ті и |
Т2 число событий, случившихся на |
одном |
из |
них, |
не |
зависит от того, сколько событий произошло на другом.
Используя это свойство, можно показать |
(см., |
например, |
||||||||||||||
(1, 2]), что для нестационарного пуассоновского |
потока |
|||||||||||||||
число событий, |
попадающих |
на |
интервал |
(t, |
t+x), |
рас |
||||||||||
пределено по закону |
Пуассона: |
|
|
|
|
|
|
|
||||||||
|
|
^ И ^ ^ ^ 1 |
' ' 1 |
1 |
- |
|
|
|
(2-6) |
|||||||
Здесь A(t, |
х) |
—среднее число событий, наступающих на |
||||||||||||||
интервале |
(і, |
|
t+x), |
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
A{t, |
|
t+x |
X{t')dt'. |
|
|
|
|
|
|||
|
|
|
|
|
x ) = |
|
f |
|
|
|
|
(2.7) |
||||
Для стационарного |
потока |
|
t |
|
|
|
|
|
|
|
|
|||||
|
t + z |
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
A(t, |
х) = |
Л(т;)= |
j |
MÏ = |
Xt, |
|
|
|
(2.8) |
|||||
|
|
|
|
|
|
|
|
t |
|
|
|
|
|
|
|
|
и тогда |
(2.6) |
вырождается |
в |
широко известную фор |
||||||||||||
мулу распределения |
Пуассона |
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
Л И = ^ е Л |
|
|
|
|
|
(2.9) |
|||||
Стационарный |
пуассоновский |
лоток, |
для |
|
которого |
|||||||||||
справедливо |
соотношение |
(2.9), |
называют |
п р о с т е й |
||||||||||||
ш и м потоком. На примере простейшего потока |
покажем |
|||||||||||||||
справедливость соотношения |
(2.9) [3]. |
|
|
|
|
|
||||||||||
Выберем т = 0 и рассмотрим |
два |
интервала |
(0, т) и |
|||||||||||||
и (т, т + Д т ) , |
причем |
Ат мало. В |
силу |
отсутствия |
после |
|||||||||||
действия |
|
вероятность того, |
что |
на |
отрезке |
-(0, |
х+Ах) |
|||||||||
не (произойдет ни одного события, 'равна |
|
|
|
|
||||||||||||
|
|
|
|
|
Л+ дДО)=Л(0)/>д*(0)- |
|
|
|
( 2 л ° ) |
|||||||
Но для |
ординарного |
потока |
из |
(2.4) |
|
следует |
|
|
|
|||||||
|
|
|
|
|
/>дх(0)« |
1 - ^ ( 1 ) - |
|
|
|
|
|
(2.11) |
41
так что |
|
|
|
|
Перенесем |
р^(0) в левую |
часть |
и разделим |
обе части |
равенства |
на А-г. Затем, переходя к пределу |
при Дт—Ю, |
||
с учетом (2.5) получаем |
|
|
|
|
|
• AljW |
= — Xp^Q). |
(2.13) |
|
Интегрирование этого уравнения |
при начальном условии |
|||
Ро (0) = 1 приводит к соотношению |
|
|||
|
РІ(0)=ІГ\ |
|
(2.14) |
которое совпадает с (2.9) при т = 0. Аналогично можно доказать справедливость (2.9) для других т.
Найдем закон распределения интервала времени Т между двумя событиями в простейшем потоке. Совме стим начальную точку отсчета с моментом появления
|
|
|
t |
|
|
Рис. 2.4. |
|
|
|
произвольного события |
(рис. 2.4). Вероятность того, что |
|||
на отрезке времени т |
не появится |
ни |
одного |
события |
( т = 0 ) определяется (2.14). Вместе |
с |
тем эта |
вероят |
ность равна вероятности того, что случайная иеличина Т больше величины т:
Вероятность того, что Т<%, очевидно, равна |
|
Я ( Г ь < х ) = 1 - Р ( Г > т ) = 1 _ : е - Х т . |
(2.15) |
Но вероятность Р(Т<х) по определению означает функ цию распределения (интегральный закон) случайной ве личины Т. Дифференцируя (2.15), получаем дифферен циальный закон распределения:
щ)(т) = |
Я е _ х \ х > 0 . |
(2.16) |
Таким образом, в простейшем потоке интервалы вре |
||
мени между соседними |
событиями подчиняются |
п о к а - |
42
з а т е л ь н о м у |
( э к с п о н е н ц и а л ь н о м у ) |
закону |
с параметром |
X. Показательное распределение |
интерва |
лов времени между событиями обладает одним замеча тельным свойством: если после очередного события про
шло уже некоторое |
время |
Х\, |
то |
закон |
распределения |
|
оставшейся |
части промежутка |
0 |
= 7"—ті |
остается неиз |
||
менным при любом |
Т і > 0 , |
т. е. |
|
|
|
|
|
|
и,(Ѳ)=; яе-м . |
|
(2.17) |
||
Докажем |
это свойство |
(см., например, [4, 5]). Совме |
стим начало отсчета с моментом появления некоторого
события и рассмотрим два интервала времени |
(0, %\) и |
|||||||
(fi, |
Ті + Ѳ). |
Для |
этих интервалов справедливо |
соотно-. |
||||
шение (2.10): |
|
|
|
|
|
|
||
|
|
|
|
Р,1 + е(0) = |
*Ч(°)М°)- |
(2-1 8 ) |
||
|
Кроме того, согласно (2.9) |
имеем |
|
|||||
Из |
(2.18), |
(2.19) |
находим |
|
|
|
|
|
|
|
|
Р0(О) = ^ |
^ |
= |
е - х \ |
(2.20) |
|
что |
полностью |
совпадает с формулой (2.14), на |
основа |
|||||
нии которой был получен закон распределения |
(2.16). |
|||||||
Следовательно, |
выражение |
(2.17) |
верно. |
|
||||
Совпадение |
распределений |
w{x) |
и ИУ{Ѳ) подтвержда |
ет свойство марковости пуассоновского-потока. Дейст вительно, закон распределения ш(Ѳ) оставшейся части промежутка («будущее») не зависит от того, сколь долго
длится и н т е р в а л в р е м е н и |
(0, ті) с момента |
осу |
ществления последнего события |
(«прошлое»), но |
при |
этом плотность ш(Ѳ) зависит от Ті («настоящее»), так как величина Ѳ отсчитывается с м о м е н т а ті.
Из всех видов распределений интервалов между со бытиями только экспоненциальное распределение обла дает указанным свойством, следовательно, пуассоновский поток (в общем случае нестационарный) является единственным, который может определять моменты вре мени переходов в математической модели, описанной в '§ 2.1. Поскольку каждый пуассоновский поток пол ностью характеризуется интенсивностью \(t), то для полного задания разрывного марковского процесса с ди-
43
скретными состояниями необходимо располагать N зна
чениями |
величины Х(ХІ, t) |
( i = l , 2, ..., N). |
При контину |
||||
альном |
множестве |
возможных состояний |
марковский |
||||
разрывной |
процесс |
должен |
определяться |
функцией |
|||
Х(х, t). |
|
|
|
|
|
|
|
Марковские процессы, |
у |
которых |
интенсивность |
||||
является |
функцией |
состояний х, играют большую роль |
|||||
в теории |
массового |
обслуживания и связанных с ней |
|||||
прикладных |
областях [5—8]. |
|
|
|
2.3. Дифференциальные уравнения для разрывных марковских процессов с дискретными состояниями
Итак, для описания системы с конечным числом со стояний N следует задать в общем случае N. пуассоновских потоков, которые характеризуют случайные мо-
^менты переходов системы из состояния в состояние. Однако для определения вероятностей перехода в систе
ме знания одних потоков, очевидно, недостаточно. Необ
ходимо еще |
ввести в |
рассмотрение о т н о с и т е л ь н ы е |
вероятности |
переходов |
ац(і), которые являются услов |
ными по отношению к факту возникновения скачка. Ве
роятность |
ga(t) есть |
вероятность |
того, |
что |
система, |
||
находившаяся до момента t в состоянии ХІ, |
перейдет в со |
||||||
стояние Xj |
п р и у с л о в и и , |
ч т о |
в м о м е н т |
t п р о |
|||
и з о ш е л |
с к а ч о к . |
Таким |
образом, |
если скачок не |
|||
происходит, то система |
остается в прежнем состоянии х\. |
||||||
Это обстоятельство делает естественным |
предположение |
о том, что элементы главной диагонали матрицы отно
сительных вероятностей перехода Q(t) |
следует положить |
|||
равными нулю, т. е. |
|
|
|
|
|
qu(it)=0 |
для всех |
г. |
(2 . 21) |
Поскольку |
матрица Q{t) |
является |
стохастической, то |
|
для каждой |
ее строки справедливо условие |
нормировки |
Запишем теперь собственно |
вероятности переходов |
в системе за малый промежуток |
(t, t+àt), предположив, |
что поглощающие состояния отсутствуют. Выберем не которое состояние ХІ, которым управляет пуассоновский 44
поток с интенсивностью li(t). |
В силу малости |
из (2.7) |
||||||||
имеем |
|
|
|
|
|
|
|
|
|
|
|
Ai(t,bt)= |
|
t+àt |
%i{t')dt' |
=Xt{t)àt. |
|
||||
|
|
j |
|
|||||||
|
|
|
|
t |
|
|
|
|
интервале (t, |
|
Тогда вероятность |
отсутствия скачка |
на |
||||||||
£+ At)"согласно |
(2.6) равна |
|
R |
|
|
|
||||
|
Pt. |
At (°) = е _ |
Ч ( ° " * 1 - |
k (0 |
|
(2-2 3 ) |
||||
С учетом |
(2.2), |
(2.23) |
вероятность |
того, что на |
рассма |
|||||
триваемом |
интервале |
произойдет, скачок, |
определяется |
|||||||
соотношением |
|
|
|
|
|
|
|
|
|
|
|
|
|
PtiU(l)*b®M. |
|
|
|
(2.24) |
|||
Выражения (2.21) — (2.23) |
позволяют |
записать |
вероят |
|||||||
ности перехода.из состояния ХІ В виде |
|
|
|
|||||||
|
|
pii{t,t+M) |
|
= \—%i{t)U, |
|
|
(2.25) |
|||
|
|
Pij{t, |
t+ät)=U(t)btqijit). |
|
|
|
(2.26) |
|||
Безусловная |
вероятность pj(t+At) |
|
того, что система |
|||||||
в .момент |
t+At |
окажется в состоянии Xj равна |
|
|||||||
|
^ (*+• дд |
|
|
[ 1 - я , (О Д*] + |
|
|
||||
|
|
|
N |
|
|
|
|
|
|
|
|
|
+£ |
|
Pi{t)li{t)Atqu{t). |
|
|
|
(2.27) |
t=i
Перенесем pj(t) в левую часть, разделим обе части урав нения (2,27) на At и перейдем к пределу при Arf—>0. В результате получим
|
|
N |
^ |
= -li(f)Pi(t)+^Pi(t)lt(f)gm |
0 = 1 . 2 , ...,#). |
(2.28)
Система уравнений (2.28) характеризует изменение без условных вероятностей с течением времени. Впервые она была получена А. Н. Колмогоровым в работе [9].
Положим теперь
- Я , ( / ) = а и ( 0 ; M O t t H O ^ ^ j P ) . іфІ- |
(2.29) |
45
Коэффициенты üij(t) *) позволяют заіписать систему уравнений (2.28) в компактном виде
|
|
dpi (0_< |
N |
|
|
|
|
|
|
(2.30) |
|
|
|
dt |
=1 |
|
|
|
|
і |
|
|
|
или |
в матричной |
форме |
|
|
|
|
|
£ £ L = |
P(*)-A(Q, |
(2.31) |
|
где |
Р(і)—матрица-строка безусловных |
вероятностей; |
|||
А(і) |
—матрица, |
составленная |
из элементов ua(t). |
||
Рассмотрим вывод системы дифференциальных урав |
|||||
нений (2.30), основывающийся |
на ином, |
нежели (2.25), |
(2.26), представлении вероятностей перехода. Предполо
жим, что при малом |
любую вероятность перехода |
|||
можно записать в |
виде |
|
|
|
Pi){t, |
t+At) |
= |
ôij+%ij(t)M, |
(2.32) |
где •ôfj — символ Кронекера; |
Xij(t)—интенсивность |
пу- |
ассоновского потока, переводящего систему из состояния
ХІ в состояние Xj. Матрица |
вероятностей |
перехода с эле |
|||||||
ментами- (2.32) имеет вид |
|
|
|
|
|
|
|
||
|
|
P(f,f |
+ |
Af) |
= |
|
|
|
|
"1 + |
\ u (0 At |
А1 2 (/) At |
|
. |
. . |
Kw |
(t) At |
|
|
Х2 І |
(/) At |
1 + Х2І (t)At |
. |
. . |
X2N |
(t) At |
(2.33), |
||
|
|
|
|
|
|
|
|
|
|
X,„ (t) At |
Лот(0 |
à |
t |
|
|
1 + Х Ш ( 0 At |
|
||
L "Ni |
|
|
|
|
|
|
|
Форма записи вероятностей перехода (2.32) учиты вает ряд обстоятельств. Во-первых, при At—И) конечное состояние Xj совпадает с начальным х,-, т. е.
|
Pü(t, '0 =6ij-, |
(2.34) |
|
во-вторых, при |
\фі |
|
|
|
|
|
(2.35) |
Соотношение (2.35) означает, что вероятность пере |
|||
хода из ХІ в Xj |
( і ф і ) |
выражается |
через интенсивность |
*> Величины a.ij(t)At |
называют инфинитезимальнымп (локаль |
||
ными) переходными вероятностями. |
|
46
kij(t) |
пуассоновского |
потока, |
переводящего |
систему |
из |
||||||
г-го состояния в /-е. Сопоставление |
выражений |
\2.26) |
и |
||||||||
(2.35) |
позволяет уяснить разницу |
в |
описании |
системы. |
|||||||
В первом случае для каждого |
состояния задается о д и н |
||||||||||
пуассоновский поток с интенсивностью Xi(t) |
и набор от |
||||||||||
носительных |
'вероятностей |
перехода |
qij{t). |
Во |
втором |
||||||
случае |
для |
каждого |
состояния задается |
н е с к о л ь к о |
|||||||
(в общем случае N—1) |
пуассоновских потоков, |
перево |
|||||||||
дящих систему из t'-ro состояния во все остальные. |
|
||||||||||
Что касается «перехода» ХІ—*-Х{, |
|
то, исходя |
из усло |
||||||||
вия нормировки |
|
|
|
|
|
|
|
|
|
||
|
I ! Ра (t, t + M) = |
S |
[8„ + |
Ut (t) Ы] = 1, |
|
|
|||||
|
/=і |
|
|
/=і |
|
|
|
|
|
|
|
откуда следует
N |
|
|
S |
а«(*)д* = о. |
|
Следовательно, |
|
|
Xu (0 = |
- 2 Ui (*) < 0- |
(2.36) |
Соотношение (2.36) противоречит определению интен сивности потока, приведенному в § 2.2, и поэтому функ цию А,ІІ(./) можно лишь условно назвать интенсивностью. Несмотря на это, выражение (2.36) хорошо согласуется с описанием протекающего в системе процесса при по мощи графив (см. ниже).
Подставим вероятность перехода (2.32) в уравнение
Колмогорова—Чепмена |
(2.1): |
|
|
Pii(ta, t + Д*) •= S |
pa (fe„ t) [8ц + |
Хц {t) At] ,= |
|
= . р « ( ' о . 0 + Д ' І ! |
h){t)Pü{ta,t). |
||
|
г=і |
|
|
Отсюда обычным образом получим |
систему уравнений |
||
d-M^n = |
j^h{t)Pil(t0lt), |
|
(2.37) |
решение которой показывает изменение вероятностей пе рехода во времени. Начальными условиями для системы (2.37) являются соотношения (2.34).
Как уже отмечалось в § 1.3, промежуточный момент времени в уравнении Колмогорова—Чепмена можно выбирать произвольно. В частности, при записи выра
жения (2.1) |
было положено, что промежуточный момент |
t отстоит от |
конечного момента t+àt на малую вели |
чину Ы. Промежуточный момент можно выбрать вбли зи начального и рассматривать, таким образом, "момен
ты времени to, U+Ma |
и t. Для этого случая уравнение |
||
Колмогорова—Чепмена |
(2.1) |
примет вид |
|
PU ('.. ') = S Pit ('.. |
Д*о) Ріі (to + ^ о . t). |
(2.38) |
Поскольку в соответствии с (2.32)
то |
PU |
|
+ д * 0 ) = 8 « + i n ( g д*0 , |
|
|||
|
|
|
|
|
|
|
|
Pa |
( W ) = |
S |
[8« +М |
Со) А^о1 Рц Со + |
Л'»- О = |
||
|
|
і=1 |
|
|
|
|
|
Отсюда |
получим |
|
w |
|
|
|
|
|
|
|
|
|
|
|
|
|
D A |
^ B |
, ° = ~ |
J ] ^ Со) PiikU, |
t). |
(2.39) |
|
Системы уравнений (2.37), (2.39) описывают |
один и тот |
||||||
же марковский |
процесс, но в первой из |
них производные |
|||||
берутся по настоящему времени t, во |
второй — по на |
||||||
чальному (прошлому) времени to. Систему |
уравнений |
||||||
(2.37) называют |
п р я м о й |
и говорят, что она |
обращена |
||||
в будущее (приращение M отсчитывается |
от настоящего |
времени і). Систему уравнений (2.39) называют о б р а т- н о й или обращенной в прошлое (приращение А/ отсчи тывается от прошлого времени to). Систему уравнений (2.39) не следует путать с соответствующими уравнения ми, которые описывают марковский процесс в обратном течении времени (см. об этом [10, 11]).
Прямая и обратная системы (2.37), (2.39) впервые были получены в [9], поэтому их называют системами дифференциальных уравнений Колмогорова. В дальней шем мы будем использовать только прямую систему (2.37).
48
Из системы (2.37) легко получить уравнения для
безусловных |
вероятностей |
pj(t). |
Действительно, |
умно |
|
жив обе части уравнения |
(2.37) на начальное распреде |
||||
ление pi(t0) |
и просуммировав |
по всем і, |
получим |
|
|
dpi |
(0. -^кЛі)M*) |
|
( 7 = 1 . 2 , |
N). |
(2.40) |
dt |
|
|
|
|
|
Здесь учтено, что
Система уравнений (2.40) полностью совпадает с си стемой (2.30), раскрывая тем самым физический смысл
элементов an(t). |
когда Kij{t) =А,І3-=const, пуассоновские |
В том случае, |
потоки становятся стационарными и, следовательно, ве роятности перехода в системе не зависят от времени. Протекающий в такой системе процесс называется одно родным, а соотношения (2.40) превращаются в систему
дифференциальных уравнений |
с п о с т о я н н ы м и ко |
эффициентами |
|
d-^=j]kMt). |
(2.41) |
Отметим, что стационарность пуассоновских потоков не влечет за собой стационарности процесса x(t). Процесс в системе будет всегда стационарным лишь в том част ном случае, когда начальные вероятности р*(М совпа
дают с финальными вероятностями. |
Начальным |
усло |
|||||||
вием для систем уравнений (2.40), |
(2.41) |
служит |
матри |
||||||
ца-строка вероятностей начальных |
состояний |
pj(io) |
(/ = |
||||||
= 1, 2, |
..., N). |
Решение указанных |
систем |
уравнений |
|||||
осуществляется |
с помощью |
преобразования |
Лапласа |
||||||
(см., например, [5]). |
|
|
|
|
|
|
|
||
После того как закончится переходный процесс, в си |
|||||||||
стеме |
(2.41) можно положить |
dpj(t)/dt=0 |
( / = 1 , 2, |
..., |
|||||
N). |
Тогда система дифференциальных уравнений вы |
||||||||
рождается в систему алгебраических |
уравнений |
|
|
||||||
|
|
Т,ЬІРІ=0. |
|
|
|
|
(2.42) |
|
4—186