TV1
.PDFF1 Теорія імовірності, перший семестр
P |
n |
|
→ |
|
1 |
|
|
|
|
|
1 − p11 |
|
1 − p00 |
|
== |
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||
|
|
|
|
|
|
|
|
|
1 − p11 |
|
1 − p00 |
|
|
|
|
|
||||||||||||
|
|
|
n→ ∞ |
2 − p00 |
− p11 |
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
pi(0n) → |
|
|
1− |
p11 |
|
, і=0,1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
2 |
− p00 − p11 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
pi(1n) → |
|
|
1− |
p |
00 |
|
== |
|
π 1 |
π |
2 |
|
, {π 1 ,π 2 |
} –ергодичний розподіл. |
|
|
||||||||||||
|
|
|
|
|
|
|
||||||||||||||||||||||
2 |
− p00 − p11 |
|
π 1 |
|
|
|
|
|||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
π 2 |
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
||||||||||||||||||||||||
Лема Для незвідного неперіодичного Ланцюга Маркова X |
n |
, n ≥ 0 |
n : Pn0 |
> 0 |
||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
0 |
|
Розглянемо ланцюг Маркова X n зі скінченою множиною станів.
Теорема. Для незвідного неперіодичного Ланцюга Маркова X n , n ≥ 0 із скінченою |
|||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
множиною станів {1,..., r} існує ергодичний розподіл π = |
(π 1 ,...,π r ) , які є |
|||||||||||||||||||||||||||||||||
|
|
|
|
|
границями |
lim p |
|
(n) |
|
→ |
π |
|
|
> 0, j = |
|
, і крім того вектор π є єдиним |
|||||||||||||||||||||||
|
|
|
|
|
ij |
j |
1,r |
||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
n→ ∞ |
|
|
|
|
|
|
n→ ∞ |
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
розв’язком системи лінійних рівнянь такого типу |
|
|
|
|||||||||||||||||||||||||||||||
|
|
|
|
|
|
x j |
= |
∑ xk |
pkj , j = |
1,..., r |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
k |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
= |
|
1− |
умова |
нормування |
|
|
|
|
|||||||||||
|
|
|
|
|
|
∑ xk = 1, або∑ pik |
|
|
|
|
|
||||||||||||||||||||||||||||
|
|
|
|
|
|
|
k |
|
|
|
|
|
|
|
k |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
◄ Розглянемо P(n) |
= Pn - матриця переходу. Візьмемо j-ий стан, |
визначимо два числа |
|||||||||||||||||||||||||||||||||||||
|
|
|
|
|
M |
j |
(n) = |
|
max p |
( n) |
; m |
( |
n) |
= |
min p( |
)n ; |
|
|
|
|
|
|
|
|
|
|
|||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
ij |
|
|
|
|
j |
|
|
|
|
|
|
ij |
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
m j (n) ≤ pkj( n) |
≤ M j( |
n) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||
Запишемо рівняння Чепмена-Колмогорова |
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||
pij (n + 1) |
|
|
|
|
r |
|
|
|
pkj( n) . Звідси m j (n) |
|
|
pij( n + 1) ≤ |
M (j n) |
|
|
|
|||||||||||||||||||||||
|
= |
∑ pik |
≤ |
|
|
|
|||||||||||||||||||||||||||||||||
m j (n) ≤ |
|
|
|
k= 1 |
|
|
|
|
pij( |
|
|
|
|
|
|
≤ M(j |
|
|
|
|
M(j )n . Тоді існують границі величин |
||||||||||||||||||
m j( n + 1) |
≤ |
n + |
1) |
|
n + )1 ≤ |
||||||||||||||||||||||||||||||||||
lim m j (n),lim M j( n) |
при n → ∞ |
|
|
. Розглянемо k-ий стовпчик pik (n + |
n0 ) і нехай “i” та ”j” |
||||||||||||||||||||||||||||||||||
індекси, на яких досягається максимум та мінімум. |
|
|
|
|
|
||||||||||||||||||||||||||||||||||
|
|
pik (n + |
|
n0 ) = |
M k( n + |
n0) |
|
(за рівнянням Чепмена-Колмогорова ) |
|
||||||||||||||||||||||||||||||
|
|
p jk (n + n0 ) = mk( n + n0) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||
|
M |
k |
(n + n |
|
) = p |
ik |
( n + n ) = |
∑ |
|
p ( n) p ( )n |
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||
|
|
|
|
|
|
|
0 |
|
|
|
|
|
0 |
|
|
|
|
il |
0 |
lk |
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
(n + n |
) = p |
|
( n + n ) |
|
|
|
l |
|
|
p ( n) p( )n |
|
|
|
|
|
|
|
|
|
|
|||||||||||||||
|
m |
k |
jk |
|
= |
∑ |
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||
|
|
|
|
|
|
|
0 |
|
|
|
|
|
|
0 |
|
|
|
jl |
0 |
|
lk |
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
l |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Розглянемо різницю між максимумом та мінімумом : |
|
|
|
|
|||||||||||||||||||||||||||||||||||
M |
k |
(n + n |
0 |
) − |
|
m |
( n + n ) |
= |
∑ |
(p |
il |
(n |
) − |
p |
jl |
( n ) ) |
p |
lk |
(n) = |
∑ |
+ + |
∑ |
− |
( суми з додатними та |
|||||||||||||||
|
|
|
|
|
|
|
|
|
k |
|
|
|
0 |
|
|
|
|
0 |
|
|
0 |
|
|
|
|
|
|
|
|||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
l |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
l |
|
l |
|
|
від’ємними компонентами). Якщо підсилити додатну суму максимумом ,а від’ємну мінімумом, то отримаємо :
M |
k |
(n + |
n |
0 |
) − |
m |
( n + |
n ) ≤ |
M ( n) |
∑ |
+ (p( |
n) |
− p( |
n) |
0 |
) + |
m |
k |
(n) |
∑ |
− (p |
( n ) − |
p ( n) ) |
(***) |
|
|
|
|
k |
|
0 |
k |
il |
0 |
jl |
|
|
|
|
il |
0 |
jl 0 |
|
||||||
|
|
|
|
|
r |
|
|
|
r |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Оскільки ∑( pil (n0 )) = 1 та ∑(p jl (n0 )) |
= 1, запишемо |
|
|
|
|
|
|
|
|
|||||||||||||||
|
|
|
|
l = 1 |
|
|
|
l = 1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
31
|
|
|
|
F1 Теорія імовірності, перший семестр |
0 = ∑r (pil (n0 ) − |
p jl( n0) ) = ∑+ |
+ |
∑− . Звідси випливає, що ∑+ = − ∑− , тобто |
|
l= 1 |
|
|
|
|
∑ + (pil (n0 ) − p jl( n0) ) = dij < |
1 . Число станів скінчене тож d = max dij < 1 |
|||
l |
|
|
|
i, j |
n0 ) − mk( n + |
n0) |
|
d (M k( n) − m(k )n ) . |
|
(***) M k (n + |
≤ |
Рекурентним чином отримаємо 0 ≤
Звідси max = min , та mk (n) ≤ pik( n)
M k (n) − ≤ M k( n)
mk( n) ≤
, тобто
n |
|
|
n |
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
||||
n |
|
→ 0 |
|
|
|
|
||||||
d 0 |
|
, |
|
|
|
, d < 1, n > n |
|
. |
||||
|
|
0 |
||||||||||
|
|
|
|
n→ ∞ |
|
|
|
|||||
|
|
|
|
n0 |
|
|
|
|
|
|
||
lim pik (n) |
. Звідси π k = |
lim pik (n) |
|
|||||||||
n→ ∞ |
|
|
|
|
|
|
n→ ∞ |
|
|
pij (n + 1) =
14243
↓
π j
r |
π |
j = |
∑ pik( n) pkj( 1) |
|
|
n |
|
|
k= 1 |
∑π |
|
|
|
k = 1
r
∑ pik (n) pkj k = 1
j = 1
|
|
|
r |
|
Припустимо x1 ,..., xn |
x j |
= |
∑xk pkj |
(*). По індукції покажемо, що |
задовольняють систему |
|
k = 1 |
||
|
|
= |
π j |
|
|
x j |
|
|
|
r |
|
|
|
|
|
|
|
|
вектор ( x1 ,..., xn ) задовольняє рівняння x j = ∑xk pkj (n) |
(**) |
|
|
|
|
|
||||
|
|
k = 1 |
r |
|
|
|
|
|
|
|
r |
r |
r |
r |
n) |
r |
)n |
|
|
||
Розглянемо ∑xk |
pkj (n + 1) = ∑ xk ∑ pkl plj( n) = |
∑ |
∑ xk pkl plj( |
= ∑ xl p(lj |
= |
x j |
||||
k = 1 |
k = 1 |
l= 1 |
l= 1 k= 1 |
|
|
l= 1 |
|
(**) |
|
|
|
r |
|
|
|
|
|
|
|
|
|
При n → ∞ в (**) |
x j = ∑xk π |
j = π j . Це і доводить єдиність розв’язку системи |
|
|||||||
|
k = 1 |
|
|
|
|
|
|
|
|
|
лінійних рівнянь для стаціонарних ймовірностей. ►
Ланцюги Маркова з неперервним часом
Нехай визначено (Ω , U, P) – деякий імовірнісний простір. Розглянемо у ньому множину
Xt = |
|
Xt (w) випадкових величин , t – час, t [0,+∞ |
) , X = {0,1,...} . |
|||||||||
Сукупність випадкових величин Xt , t ≥ |
0 є ланцюгом маркова (лМ) з неперервним часом, |
|||||||||||
якщо, для будь-якого набору 0 ≤ |
t1 < ... < |
tk , і чисел i1 ,...,ik Ζ , ймовірність |
||||||||||
P{Xt |
k |
= ik /Xt |
k − |
= |
ik − 1 ,..., Xt = |
i1 } = |
P{Xt |
k |
= ik /Xt |
= |
ik − 1} |
|
|
|
1 |
|
1 |
|
|
|
k − 1 |
|
|||
Функції pij (s,t) = |
P{ Xt = |
j/X s |
= }i |
є перехідними ймовірностями лМ Xt |
||||||||
Якщо pij (s,t) = |
pij( t − s) |
, то лМ є однорідним |
|
|
Позначення: pij (t) - перехідні ймовірності однорідного лМ Надалі будемо вивчати саме однорідні лМ.
32
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
F1 Теорія імовірності, перший семестр |
|
|||||||||
|
Властивості перехідних ймовірностей: |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||
|
1. pij (t) |
≥ 0, |
i, j |
X |
вони невід’ємні. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||
|
|
+∞ |
(t) = 1, i |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
|
2. ∑pij |
X . |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||
|
|
j= 0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
3. Задовольняють рівнянням Чепмена-Колмогорова: pij (t + |
s) = |
+∞ |
)t ≥ 0 |
|
|||||||||||||||||||||||||||||||||||||||||||
|
∑pi k( t) pk (j |
|
||||||||||||||||||||||||||||||||||||||||||||||
|
Якщо w = w0 – фіксоване, то функція Xt (w0 ) |
|
|
X( t) |
|
|
|
|
|
|
k = 0 |
|
|
|
||||||||||||||||||||||||||||||||||
|
= |
|
є вибірковою функцією лМ, або його |
|
||||||||||||||||||||||||||||||||||||||||||||
|
траєкторією. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||
|
Будемо розглядати ланцюги Маркова , для яких траєкторії є неперервними справа |
|
||||||||||||||||||||||||||||||||||||||||||||||
|
функціями з ймовірністю 1. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||
|
Лема: Якщо траєкторія лМ Xt |
, t |
≥ |
0 - неперервна справа з ймовірністю 1, то |
|
|||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
limpij (t) = |
1,i = |
|
|
j = |
δij |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
t→ 0 |
|
0,i ≠ j |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
+∞ |
|
+∞ |
|
|
|
|
|
|
|
|
X0} = |
Ω |
|
|
|
|
|
|
|
|
|
|
||
|
◄ З умови леми випливає, що UI{w : Xtk |
|
= |
0 , де X0 |
– початковий стан лМ . |
|
||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
m= 1k = m |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
inf Xk |
= X0 , tk → 0 Отже Ω |
0 |
– достовірна подія, і P{Ω |
0} = |
1. Тобто |
|
|
|
|||||||||||||||||||||||||||||||||||||||
|
1 = |
|
lim P +∞ |
{w : X |
tk |
= |
|
|
X |
} |
≤ |
limP{X |
tm |
= X |
0 |
/ X |
0 |
= i} |
= |
lim p |
ii |
(t |
m |
) ≤ |
|
|
|
|||||||||||||||||||||
|
|
|
m→ ∞ |
|
|
|
|
I |
|
|
|
0 |
|
m→ ∞ |
|
|
|
|
|
|
|
|
|
|
m→ ∞ |
|
|
|
|
|
|
|||||||||||||||||
|
|
|
|
|
|
|
k = m |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
|
≤ |
limpii (tm ) ≤ |
1 |
|
|
limpii (tm ) |
= |
1.► |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||
|
|
m→ ∞ |
|
|
|
|
|
|
|
|
m→ ∞ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||
|
ЛМ, для якого limpij (t) = |
1,i = |
j |
= |
δij називається стохастично-неперервним ланцюгом. |
|
||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
t→ 0 |
|
|
|
|
|
0,i ≠ |
j |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Теорема: Для стохастично - неперервного лМ pij (t) |
– рівномірно-неперервні по t. |
|
|||||||||||||||||||||||||||||||||||||||||||||
|
◄ Розглянемо pij (t + |
|
h) − |
pij( t) |
|
+∞ |
|
|
h) pk(j )t |
|
|
p(ij)t |
|
pij (t)(pii( h) − 1) + ∑pi k( h) pk (j )t . |
|
|||||||||||||||||||||||||||||||||
|
|
= |
∑pi k( |
|
− |
= |
|
|||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
k = |
0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
k ≠ i |
|
|
|
|
Отже: |
|
pij (t + |
h) − |
pij( t) |
|
|
≤ |
1 − pii (h) + |
∑pi k( h) |
|
= |
2(1 − pii( |
h) |
) ► |
|
|
|
|
|
|
|
||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
k ≠ |
i |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Рівняння Колмогорова для лМ з неперервним часом |
|
|||||||||||||||||||||||||||||||||
|
Рівняння Колмогорова дають можливість знаходити перехідні ймовірності лМ з |
|
||||||||||||||||||||||||||||||||||||||||||||||
|
неперервним часом. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
pi k (h) |
− δi k |
|
|
|
|
|||||||||||||||||||
|
Для лМ з неперервними справа траєкторіями |
|
|
lim |
= pi' k (0) = |
ai k , які |
|
|||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
n→ 0 |
|
h |
|
|
|
|
|
|
|
||
|
називаються інфінітезимальними характеристиками лМ |
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||||||||
|
Q = |
|
|
|
aij |
|
|
|
|
– інфінітезимальна матриця лМ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
i, j |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
aij |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
Сума елементів по рядках матриці Q = |
|
|
|
|
|
дорівнює 0 |
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
i, j |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
Теорема: Якщо траєкторії лМ Xt , t ≥ |
0 – неперервні справа, тоді має місце |
|
|
|
|||||||||||||||||||||||||||||||||||||||||||
|
перша система рівнянь Колмогорова (обернена): pij' |
(t) = |
∑ai k pk j( t) , pij (0) |
= δij |
|
k
33
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
F1 Теорія імовірності, перший семестр |
|||||||||||||||||||||||||
◄ Як завжди розглянемо приріст функції, щоби потім перейти до похідної |
|
|
|
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
1 |
(pij |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
) − ∑ai k pk j (t) |
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||
|
|
(t |
+ h) − pij( t) |
= |
|
|
|
|
|
|
|
∑pi k |
(h) pk j( t) − |
|
|
pij( )t |
− |
|
∑ai k pk(j )t = |
|
|
|
|
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
h |
|
|
|
h |
|
|
|
|
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
k |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
k |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
k |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||
= |
∑ |
(pi k (h) |
− |
δi k |
− |
ai k h) pk j( t) |
виберемо стан n > |
i .Тоді можлива оцінка: |
|
|
|
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
h |
|
|
|
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
k |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
pij |
(t + h) − |
pij( t) |
|
− |
|
∑ai k pk j (t) |
|
≤ ∑ |
|
p |
|
i k |
(h) − |
δ |
i k |
− ai k |
|
|
+ ∑ |
|
p |
i k |
(h) |
+ |
∑ai k |
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
h |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
h |
|
|
|
|
|
|
|
|
h |
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
(h) |
|
|
k |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
k≤ n |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
k > n |
|
|
|
|
|
|
k > n |
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||
|
|
|
|
|
|
|
|
|
∑ |
|
p |
i k |
|
|
1 |
|
|
1 |
|
|
|
1 |
|
|
|
|
|
∑pi k (h) |
|
|
|
1 |
|
|
|
|
|
1 |
∑pi k |
(h) − |
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||||||
Так як |
|
|
|
|
|
|
|
|
− |
|
|
+ |
|
|
|
|
|
= |
− |
|
|
|
|
1 − |
|
|
|
+ |
|
|
|
= |
|
− |
|
|
|
|
|
1 |
+ |
0 = |
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||||||||||
|
|
|
|
h |
|
|
|
|
h |
|
h |
|
|
h |
|
|
|
h |
h |
|
|
|
|
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
k > n |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
k > n |
|
|
|
|
|
|
|
|
|
|
|
k≤ n |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||||
|
|
|
1 |
|
|
|
∑pi k (h) − |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
pi k (h) − δin |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||
= − |
|
|
|
|
|
1 + |
∑ai k + ∑ai k = − ∑ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
− ai k |
|
+ ∑ai k |
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
h |
|
|
|
|
|
|
h |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
k≤ n |
|
|
|
|
|
|
|
|
|
|
|
k > n |
|
|
|
|
|
k≤ n |
|
|
|
|
|
|
|
|
|
|
|
|
k ≤ n |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
k > n |
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||
Звідси випливає: |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||
|
pij |
(t + h) |
− pij( |
t) |
|
− |
|
∑ai k pk j (t) |
|
≤ 2∑ |
|
p |
i k |
(h) − δ |
i k |
− ai k |
|
+ 2∑ai k |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
h |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
h |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
k |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
k≤ |
|
n |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
k > n |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
Для всіх t |
одночасно можна перейти до границі по h |
|
|
|
|
|
pi k (h) |
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
pi k (h) − |
δi k |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
− δi k |
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Так як lim |
|
= |
|
|
ai k , то звідси випливає, що lim ∑ |
|
− |
ai k |
= 0 . |
|
|
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
n→ 0 |
|
|
|
|
|
|
h |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
h→ 0 k ≤ n |
|
|
|
|
h |
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||
Далі |
|
|
pij (t + |
|
h) |
− |
|
pij( t) |
|
|
− ∑ai k |
pk j (t) |
|
≤ 2∑ ai k |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||||||||||||||||||||
lim |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
h |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
h→ 0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
k |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
k> n |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
А так як |
∑ |
a |
|
|
= |
|
0 , то |
|
∑ |
a |
|
|
|
|
|
→ |
|
|
|
0 . Звідси |
d + |
|
p |
ij |
(t) = |
|
∑ |
a |
i |
k |
p |
k |
( t) |
, де d + |
– права |
||||||||||||||||||||||||||||||||||||||||||||||||||||||
i k |
|
|
i k |
|
|
|
|
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
n→ ∞ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
d t |
|
|
|
|
|
|
|
|
|
|
|
|
j |
|
|
|
|
|
|
||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
k |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
k > n |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
k |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
похідна. За умови, що лМ неперервний справа pkj (t) |
є неперервними справа функціями, |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
тому права похідна неперервна, тому вона є просто похідною. Отже p′(t) = |
∑ |
a |
i k |
p |
( t) .► |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
ij |
|
|
|
k j |
||
У матричному вигляді P' (t) = |
|
AP( t) , P(0) = |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
k |
|
|
|
|
|||||||||||||||||||||||||||||||||||||||||||||||||||
|
I , де |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
A – матриця інфінітезимальних характеристик , |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
І – одинична матриця, P(t) = |
|
p |
|
( |
|
t) |
|
|
|
+∞ |
|
, A = |
|
a |
ij |
|
+∞ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
ij |
|
|
|
|
|
|
|
i, j= 0 |
|
|
|
|
|
|
|
i, j= 0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
Твердження: Для ланцюга Маркова з неперервною справа траєкторією Xt ,t ≥ |
0 існує |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
lim |
|
pij (h) |
− δij |
|
|
= |
|
aij |
, де aij |
– інфінітезимальні характеристики ланцюга |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
h |
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
h↓ 0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Маркова, і виконується ∑aij |
= 0, i . |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Давайте визначимо : Λ - зліченна множина, скрізь щільна на[0, ∞ |
] . |
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Момент виходу з початкового стану τ = |
inf {t : X t |
= |
|
|
X 0} |
|
- випадкова величина. |
|
|
|
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Покажемо це. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
I{ω |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||
{ω |
:τ ≥ |
t} |
= |
|
|
I{ |
ω |
: X s = |
|
|
X}0 |
= |
|
|
|
|
|
|
|
: X s |
= |
X 0} |
|
U , отже, τ - випадкова величина (так як |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
s |
[0,t ) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
s |
Λ |
I[ |
0,t |
) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
вона вимірна стосовно U). τ > 0 з ймовірністю 1. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Якщо |
a |
ii |
= |
|
0, то час перебування в стані “і” має показниковий розподіл з параметром |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
/ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
− aii : τ ~ E(− aii ) . |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||
Якщо aii |
= |
|
0 ,то стан “і” є поглинаючим тобто X t , t ≥ |
|
|
0 раз потрапивши в цей стан |
|
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
залишиться в ньому назавжди. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
34 |
F1 Теорія імовірності, перший семестр
Ланцюг Маркова з неперервним часом X t у випадку якщо він є однорідним і неперервним справа має наступну конструкцію: якщо X 0 = i , то л. М. Xt знаходиться в стані “і” час
τ ~ E(-α |
ii |
) В момент часу τ ланцюг переходить з ймовірністю π |
ij |
= − |
aij |
в стан “j” і |
|
||||||
1 |
1 |
|
aii |
|
||
|
|
|
|
|
|
|
знаходиться там випадковий інтервал часу τ2 ~ E(− a jj ) , тобто π ij |
- це ймовірність того, що |
після виходу зі стану “i” процес безпосередньо попадає в стан ”j”. В момент часу (τ1 + τ2 )
з ймовірністю π |
jk |
= − |
a jk |
|
переходить в стан “к” і знаходиться там часτ ~ E(− a |
kk |
) . |
||||||||||||
|
|||||||||||||||||||
|
|
|
a jj |
|
|
|
|
|
|
|
|
|
|
3 |
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
X t |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
j π ij |
π jk |
|
π ks |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
i |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
k |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
τ1 |
τ1 + τ2 τ1 + τ2 + τ3 |
|
|
|
t |
|
|
||||||||||||
Функція розподілуτ1 має вигляд: |
|
|
|
|
|
|
|||||||||||||
P{τ ≤ u} = 1− e− (− aii )u ,u ≥ 0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
1 |
ˆ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
= |
Xτ1+ ...+ τn |
, n ≥ 0 - значення ланцюга Маркова в момент n- того стрибка |
||||||||||||||||
Розглянемо X n |
|||||||||||||||||||
(вкладений в ланцюг Маркова X t |
) . Це буде ланцюг з дискретним часом. Він має матрицю |
||||||||||||||||||
переходу за один крок:π = |
|
|
|
π ij |
|
|
|
+ ∞ |
,π ij = |
|
aij |
. Його особливістю є те, що π ii = 0 . |
|
|
|||||
|
|
|
|
|
|
|
|||||||||||||
|
− |
|
|
|
|||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
ij= 0 |
|
aii |
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Друга (пряма) система диференційних рівнянь Колмогорова
Теорема Якщо виконується умова sup(− aii ) < ∞ , i , тоді перша система рівнянь Колмагорова має єдиний розв’язок і має місце друга (пряма) система диференційних
рівнянь Колмагорова: p′(t) = |
p (t)a |
kj |
, p |
ij |
(o) = δ |
ij |
тобто P′(t) = P(t)A; |
ij |
∑ ik |
|
|
|
|||
|
k |
|
|
|
|
|
|
Друга (пряма) система диференційних рівнянь Колмогорова дає можливість визначити
безумовний розподіл ланцюга Маркова з ймовірністю: |
|||||||||
pi (t) = |
P{ X t |
= i} ,i = |
0,1,..., pi = P{ X 0 =} i ,i = 0,1,... |
||||||
p′(t) = |
∑ |
p |
k |
(t)a |
kj |
, p |
(0) = |
p - система диференційних рівнянь для безумовної ймовірності |
|
j |
|
|
|
i |
|
i |
k
Якщо початковий розподіл pi не змінюється з часом pi (t) = pi , то pi називають
стаціонарним розподілом ланцюга Маркова ( p0 , p1,...) = ( p0 (t), p1 (t),...)
Для стаціонарного розподілу p′j (t) = 0 , тому систему диференційних рівнянь запишемо у
вигляді ∑ pk akj = 0, j = 0,1,2,...
k
Теорема (Гранична теорема для ланцюга Маркова з неперервним часом.)
35
|
F1 Теорія імовірності, перший семестр |
|
|
Якщо ланцюг Маркова з неперервним часом X t ,t ≥ |
ˆ |
0, X n має неперервні справа траєкторії, |
|
і вкладений ланцюг Маркова є незвідним, тоді i, j lim pij (t) = π j , у випадку коли |
|
|
t→ ∞ |
перехідні ймовірності pij (t) задовольняють другій системі диференційних рівнянь |
Колмогорова, а ергодичний розподіл π i є таким що ∑π j (− a jj ) < ∞ , тоді π j задовольняє
j |
|
системі рівнянь ∑π j a ji = 0,i = 0,1,2,.... |
|
j |
|
|
|
Процеси загибелі та народження |
|
Процесом загибелі та народження будемо називати ланцюг Маркова з неперервним |
|
часом X t , t ≥ 0 і множиною станів {0,1,2,…} для вкладеного ланцюга якого |
ˆ |
X n зі стану |
“ n ” є можливий лише безпосередній перехід в “ n − 1”, “ n + 1” стани, а зі стану “0” в “1”.
Якщо стани ланцюга Маркова інтерпретуються як число осіб деякої популяції, то перехід зі стану “n” в “n+1” – народження деякої особи, а перехід зі стану “n” в “n-1” –загибель. Перехід зі стану “0” в “1”- самозародження.
З визначення процесів загибелі та народження випливає, що відмінними від 0 є
інфінітезимальні характеристики наступного типу: |
ai,i− 1 ,ai,i , ai,i+ 1 ,i = 0,1,2,.... Позначимо |
||||||
через λi = ai,i+ 1 ,i = |
0,1,2,..., µi = |
ai,i− 1 ,i = |
1,2,...матриця інфінітезимальних характеристик |
||||
− |
λ0 |
λ0 |
|
0 |
0 |
... |
|
|
µ1 |
− (λ1 + |
µ1 ) |
λ1 |
0 |
|
|
|
... |
– трьох діагональний вигляд. |
|||||
матиме вигляд: |
|
µ2 |
− |
(λ2 + µ2 ) |
λ2 |
|
|
|
0 |
... |
|
||||
|
|
|
|
|
|
|
|
... |
|
|
|
|
|
|
Для процесів загибелі та народження мають місце всі системи Колмогорова, зокрема
друга буде мати вигляд: p′(t) = |
− λ |
0 |
p |
i0 |
(t) + |
µ |
1 |
p |
i1 |
(t) |
|
|
|
|
||||||
|
i0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
p′(t) = |
λ |
j |
p |
(t) − |
(λ |
j |
+ |
µ |
j |
) p |
ij |
(t) + µ |
j+ 1 |
p |
ij+ 1 |
(t) , j = 1,2,... |
||||
ij |
|
− 1 ij− 1 |
|
|
|
|
|
|
|
|
|
|
|
|
З цієї системи можемо знайти стаціонарний розподіл, запишемо систему у вигляді:
− λ0π 0 |
+ µ1π 1 = 0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
λ0π 0 − |
(λ1 + µ1)π 1 + µ2π 2 = 0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
... |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
λ j− 1π j− 1 − (λ j + µ j )π j + µ j+ 1π j+ 1 = 0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
|
|
|
λ π |
λ π |
|
λ λ π |
|
|
|
|
|
|
|
λ0 |
...λ j− 1π 0 |
,.... . Так як π 0 |
= 1, то π j = |
λ0 |
...λ j− 1 |
|
||||
Звідси |
π 1 = |
0 0 ,π 2 = |
1 |
|
1 = |
|
1 0 0 |
|
,... π |
j = |
|
|
|
|
|
|
, |
|||||||
|
|
|
|
|
µ1...µ j |
µ1...µ j |
||||||||||||||||||
|
|
|
µ1 |
µ2 |
|
|
µ1`µ2 |
|
|
|
|
|
|
|
|
|
|
|||||||
тоді |
p j = π |
j p0 , та ∑ p j |
= |
1, тож p0 |
= |
|
1 |
|
. |
|
|
|
|
|
|
|||||||||
∑π |
|
|
|
|
|
|
|
|||||||||||||||||
|
|
|
|
j |
|
|
|
|
|
|
|
|
|
j |
|
|
|
|
|
|
||||
∑π |
j = |
1+ |
∑ λ0 ...λ j− 1 |
< ∞ |
, p j = |
|
∞π j |
|
|
|
j |
0,1,2,... |
|
|
|
|
|
|||||||
|
|
|
, j = |
|
|
|
|
|
||||||||||||||||
∞ |
|
|
∞ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
j= 0 |
|
|
j= 1 |
µ1...µ j |
|
|
|
|
|
∑π |
j |
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
j= 0
Застосування процесів народження та загибелі
36
F1 Теорія імовірності, перший семестр
до теорії масового обслуговування
1. Система масового обслуговування типу М / М / 1 Розглянемо один пристрій, на який надходять вимоги через випадкові інтервали часу
ξ 1 ,ξ 2 ,K, які є незалежними випадковими величинами і мають показниковий розподіл з |
|||||
параметром λ (ξ i ~ E(λ) ). |
|
|
|
|
|
Пристрій обслуговує ці вимоги в |
|
|
|
|
|
порядку надходження за час η i ( i -ту |
|
|
|
η 1 ,η 2 ,…,η 3 ,… |
|
|
|
|
|||
вимогу). η i |
– незалежні випадкові |
… ξ 3 ξ 2 ξ 1 |
|
|
|
|
|
|
|||
величини η i |
~ E(µ) . Якщо вимога застає |
1 |
|
||
|
|
||||
пристрій зайнятим, то вона чекає свого |
2 |
|
|||
M |
черга |
||||
часу у черзі. Таким чином перед |
|
|
|||
|
∞ |
|
|||
пристроєм утворюється черга. |
|
||||
|
|
|
|
||
Основні характеристики такої моделі: |
|
|
|
||
X (t) – число вимог в системі М/М/1 в момент часу t . Якщо X (t) = |
k > 0 , то одна вимога |
||||
знаходиться на обслуговуванні, а k − |
1 – чекають в черзі. |
|
|
|
|
Позначення : М/М/1 ~ вхід/обслуг./число приладів. М = “марківський вигляд”. |
|||||
В цій схемі виконується марківська властивість. |
|
|
|
||
Залишковий час обслуговування (чи час приходу вимоги) не залежить від того коли |
почала обслуговуватись вимога (прийшла попередня вимога) – властивість відсутності післядії показникового розподілу (відсутність старіння).
e− λ (t − s)
P{ξ > t + sξ > + s} = e− λs = e− λt , тобто “хвіст” показникового розподілу теж має
показниковий розподіл(з тим самим параметром). Це єдиний розподіл з такою властивістю серед неперервних розподілів.
Таким чином подальший розвиток процесу X (t) не залежить від його значення до
моменту t , тобто від того скільки часу минуло від початку обслуговування на приладі і від моменту надходження останньої у черзі вимоги, а тільки від значення процесу в момент часу t . Таким чином цей процес є ланцюгом Маркова.
|
Нехай τk – час перебування процесу в стані k . Знайдемо розподіл τk : |
||||||||||||||||||||||||||
P{τk > |
x} = P{min( ξ ,η) |
> x} |
= (ξ ,η – час що залишився до надходження наступної заявки і |
||||||||||||||||||||||||
до кінця обслуговування поточної відповідно) = |
P{ξ |
> x,η > |
|
x} |
= e− λxe− µx |
= |
e− (λ + µ) x – це |
||||||||||||||||||||
показниковий розподіл з параметром λ + |
µ . |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
|
Після “сидіння” у стані k процес може перейти або у стан k − 1 або у k + 1. |
||||||||||||||||||||||||||
Знайдемо відповідні ймовірності: |
pk ,k − 1 |
= |
|
P{ |
ε |
> |
η} |
= |
|
(за формулою повної ймовірності) |
|||||||||||||||||
+∞ |
|
+∞ |
|
|
|
µ |
|
|
|
|
|
|
|
|
|
λ |
|
|
|
|
|
|
|
|
|
|
|
= ∫ P{ |
ξ > x} µe− µx dx = µ ∫e− |
(λ + µ ) x dx = |
|
|
, тоді |
pk ,k + 1 = |
|
|
. |
|
|
|
|
|
|
|
|||||||||||
|
λ + |
µ |
|
λ + |
µ |
|
|
|
|
|
|
|
|
||||||||||||||
0 |
|
0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
Отже цей ланцюг Маркова є процесом загибелі та народження з інтенсивністю |
||||||||||||||||||||||||||
народження λi = λ i = |
0,1,K, та інтенсивністю загибелі µi |
= µ |
i = |
1,2,K, його |
|||||||||||||||||||||||
|
|
|
|
π j |
|
|
|
|
|
|
|
|
|
|
λ0 Kλk − 1 |
|
λk |
|
|
λ k |
|||||||
|
|
|
|
|
|
|
|
|
|
π |
|
= |
|
|
|
|
|
|
|
= |
|
|
= |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
стаціонарний розподіл : p j |
= |
∞ |
|
, π 0 |
= |
1, |
|
k |
|
|
|
µ1 Kµ k |
|
|
k |
|
|
|
|
||||||||
|
|
|
∑π k |
|
|
|
|
|
|
|
|
|
|
|
µ |
|
|
|
µ |
k = 0
37
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
F1 Теорія імовірності, перший семестр |
|||||||||||
∞ |
|
|
|
1 |
|
|
|
|
|
|
|
λ |
|
|
|
|
|
|
λ j |
|
λ |
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
∑ |
π |
k |
= |
|
|
|
|
, якщо |
|
|
|
|
< |
1 |
, p |
j |
= |
|
|
1 |
− |
|
, – це геометричний розподіл з |
|
|
|
|
|||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||
|
|
|
|
|
λ |
|
|
|
|
|
|
µ |
|
|
|
|
|
|
|
|
|
µ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
k = 0 |
|
|
|
1 − |
|
|
|
|
|
|
|
|
|
|
|
|
|
µ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
µ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
параметром ρ = |
|
λ |
: |
|
|
p j |
= |
ρ j (1 − |
ρ ) |
.Оскільки Mξ = |
|
1 |
і Mη = |
1 |
, то ρ = |
1λ |
= |
|
Mη |
|
|
|||||||||||||||||||
µ |
|
|
|
µ |
|
|
Mξ |
|
||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
λ |
|
1 |
µ |
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
умова існування стаціонарного розподілу Mη |
< Mξ |
|
– обслуговування в середньому |
|||||||||||||||||||||||||||||||||||||
проходить швидше ніж надходження нових вимог. Мат. сподівання величини черги |
||||||||||||||||||||||||||||||||||||||||
+∞ |
(1 − |
|
ρ ) ρ |
|
|
|
|
ρ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
∑ |
|
j = |
|
|
|
→ |
|
∞ |
при ρ → 1, тобто черга буде мати нескінченне мат сподівання |
|||||||||||||||||||||||||||||||
|
1 |
− ρ |
|
|
||||||||||||||||||||||||||||||||||||
j= 0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
при ρ → 1. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||
2. |
Модель системи M / M / ∞ |
|
|
|
|
|
|
|
Нехай у нас нескінченна кількість приладів, |
|||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
η 11 ,η 12 ,K |
|
|
|
|
|
і кожен незалежно від інших обслуговує |
|||||||||||||||
… |
|
ξ 3 |
ξ 2 |
|
|
ξ 1 |
|
|
|
|
|
|
|
η 21 ,η 22 ,K |
|
|
|
|
|
вимоги за показниковий час η ki |
~ E( |
µ) . Час |
||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
надходження : ξ i |
~ E(λ) . Черги в цьому |
|||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
M |
|
|
|
|
|
|
|
|
|
|
|
|
випадку немає. X |
(t) = k – число зайнятих |
||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
∞ |
|
|
|
|
|
|
|
|
|
|
|
|
приладів (число вимог в системі). |
|
|
За рахунок показникового розподілу подальша поведінка системи не залежить від часу надходження попередніх вимог та від часу їх обслуговування (тобто від минулого).
P{τ |
|
Знайдемо розподіл τk |
– часу перебування процесу в стані k |
|
|
|||||||||||||||||||
> |
x} = P{min{ |
ξ ,η |
1 |
,K,η} |
k |
> x} |
|
= P{ ξ > x,ξ ,η |
1 |
> |
x,K,η |
k |
> }x |
= |
e− (λ + kµ) x |
|||||||||
|
k |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
Ймовірність переходу ланцюга Маркова з стану k |
в стан k + 1 : |
|
|
|
||||||||||||||||||||
p |
|
= |
P{min(η |
|
) > |
ξ} |
= |
+∞ |
P{min(η |
|
) > x}λe− λx dx = |
|
|
λ |
|
, звідки |
p |
|
= |
kµ |
||||
k ,k + 1 |
i |
∫ |
i |
|
λ + |
kµ |
k ,k − 1 |
λ + kµ |
||||||||||||||||
|
|
i= 1,k |
|
|
|
|
i= 1,k |
|
|
|
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
0 |
1442443 |
|
|
|
|
|
|
|
e− k x
Таким чином X (t) – процес загибелі та народження з інфінітезимальними характеристиками (інтенсивностями) λi = λ i = 0,1,K, µi = iµ i = 1,2,K
Стаціонарний розподіл :
|
|
λ 0 Kλ k − |
1 |
|
1 |
|
λ k |
|
|
|
∞ |
|
|
|
∞ |
1 |
|
λ k |
|
||
π |
k = |
|
|
= |
|
|
|
|
, k = 1,2,K, π |
0 |
= 1 , |
∑ |
π |
k |
= |
∑ |
|
|
|
|
= |
|
|
|
|
|
|||||||||||||||||
|
|
|
|
|
|
||||||||||||||||
|
|
µ1 K µ k |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
k! |
µ |
|
|
|
k = 0 |
|
|
|
k = 0 |
k! |
µ |
|
будь яких λµ R . Таким чином стаціонарна імовірність процесу X (t)
− λ
e µ – збіжний для
має вигляд :
|
(λ / µ) k e− |
λ |
|
|
|
|
||
pk = |
µ |
|
– Пуассонівський розподіл з параметром |
|
λ |
|
. |
|
k! |
|
|
µ |
|
||||
|
|
|
|
|
|
|||
|
|
|
|
Характеристичні функції |
|
|||
Характеристичною функцією в.в. ξ називається функція |
fξ (t) = Meitξ , де t R |
38
|
|
|
|
|
|
|
|
F1 Теорія імовірності, перший семестр |
Можна записати і так |
fξ |
(t) = M (Cos( ξ t) |
+ iSin( ξ )t ) = MCos ( ξ t) + iMSin( ξ )t |
|||||
або f ξ |
(t) = |
∞∫ e itx dFξ ( |
x) , |
Fξ (x) = P{ ξ ≤ x} |
, для абсолютно неперервних в.в. |
|||
|
|
− |
∞ |
|
|
|
|
|
fξ (t) = |
∞∫ e itx |
pξ ( x) dx , де |
pξ (x) |
– щільність в.в. |
||||
|
− ∞ |
|
|
|
∑ e itk |
|
, де pk = P{ξ = k} . Цей ряд завжди збігається, оскільки |
|
для дискретних : fξ (t) = |
pk |
|||||||
|
|
|
|
|
k |
|
|
|
в комплексній площині точки eitk |
знаходяться на одиничному колі. |
Властивості.
1. f (t) ≤ 1 , t R
2.f (0) = 1
3.f (t) – рівномірно неперервна по t
Приклади характеристичний функцій:
1. Біноміальний розподіл : P{ξ = k} = Cnk pk qn− k ~ B( n, p)
|
∞ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
fξ (t) = ∑eit Cnk pk qn− k = (peit + q)n |
|
|
|
|
|||||||||||
|
k = 0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2. |
Пуассонівський P{ξ |
= |
|
k} |
= |
λk e− |
λ |
|
k = 0,1,K |
|||||||
|
|
|
|
|
|
|
|
k! |
|
|
|
(λe |
|
) |
k |
|
|
∞ |
|
k |
e |
− |
λ |
|
|
∞ |
|
|
it |
||||
|
fξ (t) = ∑ eitk λ |
|
|
|
= |
e − λ ∑ |
|
|
|
= e − λ e λeit = e − λ (1− eit ) |
||||||
|
k! |
|
|
k! |
|
|
||||||||||
|
i = 0 |
|
|
fξ (t) |
i = |
0 |
|
|
|
|
||||||
3. |
Вироджений ξ |
≡ c , тоді |
= |
e itc |
|
|
|
|
39