Экзамен 2021 / Панков Пособие по АСП
.pdfСледствие 1. Если d 1, то в введенных выше обозначениях получаем, что все достаточно большие числа n принадлежат множеству
Mi m :pii m 0 .
Следствие 2. Для неприводимой ациклической цепи Маркова существует n0 такое, что при любом натуральном числе n n0 все диагональные
элементы матрицы переходных вероятностей за n шагов n n
положительны.
Лемма 3. Для неприводимой ациклической конечной цепи Маркова существует n1 такое, что при любом натуральном числе n n1 все
элементы матрицы n положительны.
Доказательство. Из следствия 2 получаем, что достаточно проверить элементы, не стоящие на главной диагонали. Для всех Ei Ej из условий
леммы следует, что существует натуральное nij такое, что pij nij 0. Тогда для всех l верно неравенство
pij l nij n0 pii n0 l pij nij 0.
Выберем в качестве n1 n0 maxnij 1.
(i, j)
Лемма доказана.
Теперь с использованием этих лемм докажем следующий результат.
Теорема (эргодическая для неприводимых ациклических цепей Маркова). Пусть цепь Маркова конечна, неприводима и ациклична (т. е. d 1).
Тогда при всех i, j 1,N , где |
|
N - мощность |
фазового пространства E, |
||||||||
существует ненулевой предел lim p n , который не зависит от i. |
|
||||||||||
|
|
|
n |
ij |
|
|
|
|
|
|
|
Если обозначить lim p |
n p |
j |
, то p |
j |
0. |
|
|
|
|||
n ij |
|
|
|
|
|
|
|
|
|||
Доказательство. Далее мы будем рассматривать такие n, что n |
0 (т. е. |
||||||||||
pij n 0 при всех i, j |
|
). |
|
|
|
|
|
|
|
|
|
1,N |
|
|
|
|
|
|
|
|
|||
Сперва введем обозначения. Пусть Mj n max pij n , |
mj n min pij n - |
||||||||||
|
|
|
|
|
|
|
|
|
i |
i |
|
максимальный и минимальный |
|
элементы |
в |
j-м |
столбце |
матрицы |
|||||
переходных вероятностей n . |
|
|
|
|
|
|
|
|
|||
Теперь при фиксированном j выберем i |
так, |
чтобы выполнялось равенство |
|||||||||
M j n 1 pij n 1 . Очевидно, что верна следующая цепочка неравенств |
|||||||||||
|
|
|
|
|
N |
|
|
|
N |
M j n . |
|
M j n 1 pij n 1 pik pkj n M j n pik |
|
||||||||||
|
|
|
|
|
k 1 |
|
|
|
k 1 |
mj n 1 pij n 1 . |
|
Теперь выберем i так, |
чтобы выполнялось равенство |
||||||||||
Очевидно, что |
|
|
|
N |
|
|
|
N |
|
|
|
|
|
|
|
|
|
|
|
mj n . |
|
||
mj n 1 pij n 1 pik pkj n mj n pik |
|
||||||||||
|
|
|
|
|
k 1 |
|
|
|
k 1 |
|
|
31
Следовательно, при любом |
j |
верны неравенства |
|
||||
0 M j n 1 Mj n и 1 mj n 1 mj n . |
|
||||||
Последовательности |
Mj |
n |
и mj n |
монотонны |
и ограничены. |
||
Следовательно, существуют пределы |
|
|
|||||
|
limmj n A и limMj n B. |
|
|||||
|
n |
|
|
|
n |
|
|
Если мы докажем, что A B, то так как mj(n) pij Mj(n), |
то мы получим, |
||||||
что существует lim p |
n p |
j |
и |
этот предел |
из-за конечности фазового |
||
n ij |
|
|
|
|
|
|
пространства цепи Маркова больше нуля.
Если фазовое пространство состоит из одного элемента, то все очевидно. Мы
будем рассматривать случай, когда |
E |
1. |
|
|
|
||||
Выбираем состояния Ei |
Ei и Ej . |
|
|
|
|||||
|
|
1 |
2 |
|
|
|
|
|
|
Используя уравнения Колмогорова-Чепмена, получаем, что |
|
||||||||
|
|
|
|
N |
|
|
|
||
|
|
|
pi1 j n pi1k s pkj n s |
|
|
||||
и |
|
|
|
k 1 |
|
|
|
||
|
|
|
N |
|
|
|
|||
|
|
|
|
|
|
|
|||
|
|
|
pi2 j n pi2k s pkj n s . |
|
|
||||
Тогда |
|
|
|
k 1 |
|
|
|
||
|
|
|
N |
|
|
|
|||
|
|
|
|
|
|
|
|||
|
|
pi1 j n pi2 j n pkj n s pi1k s pi2k s |
|
||||||
Введем два множества: |
|
k 1 |
|
|
|
||||
|
|
|
|
|
|
|
|||
|
|
E Ek E:pi1k s pi2k s 0 , |
|
|
|||||
|
|
E Ek E:pi1k s pi2k s 0 . |
|
|
|||||
|
|
N |
|
|
|
|
|
|
|
Так |
как |
pi1k s pi2k s 1 1 0, |
то |
верно |
равенство |
||||
|
|
k 1 |
|
|
|
|
|
|
|
pi1k s pi2k s |
pi1k s pi2k s . |
Обозначим левую часть этого |
|||||||
k:E E |
|
k:E E |
|
|
|
|
|
||
k |
|
|
k |
|
|
|
|
|
|
равенства как h(i1,i2). Тогда |
|
|
|
|
|
||||
|
|
pi1 j n pi2 j n pi1k s pi2k s pkj n s |
|
||||||
|
|
|
k:E E |
|
|
|
|||
|
|
|
k |
|
|
|
|
|
|
|
|
pi1k s pi2k s pkj n s M j n s h i1,i2 |
|
||||||
|
|
k:Ek E |
|
|
|
|
|
|
|
|
|
mj n s h i1,i2 h i1,i2 M j n s mj n s . |
|
||||||
Так как |
E E , то h i1,i2 pi1k s 1. Обозначим h maxh i1,i2 1. |
||||||||
|
|
|
k:Ek E |
|
|
i1,i2 |
|
||
|
|
|
|
|
|
|
|
Тогда
32
|
|
|
|
|
pi j n pi j n h M j n s mj n s . |
|
|
|
1 |
2 |
|
Выберем |
числа i1 и i2 |
так, чтобы pi j n M j n и |
pi j n mj n . |
|
|
1 |
2 |
Обозначим |
n s n / s z, где z , 0 z s 1. Тогда |
|
Mj n mj n h M j n s mj n s
h2 M j n 2s mj n 2s h n/s M j z mj z .
Очевидно, что
M j z mj z M j z 1,
следовательно,
M j n mj n h n/s .
Так как h 1, то верны неравенства |
|
|
0 lim Mj n mj n limh n/s |
0. |
|
n |
n |
|
Следовательно, существуют и равны между собой пределы
limM |
j |
n limm |
j |
n lim p |
n p |
j |
0. |
n |
n |
n ij |
|
Теорема доказана. |
|||
|
|
|
|
|
|
|
Вектор p p1, p2,..., pN назовем предельным распределением цепи Маркова
или эргодическим распределением. Легко видеть, что верно следующее равенство
|
p1 |
p2 |
|
pN |
|
||
|
p |
p |
|
p |
|
, |
|
lim n |
1 |
2 |
|
|
N |
||
n |
|
|
|
|
|
||
|
|
|
p2 |
|
|
|
|
|
p1 |
pN |
|
т.е. устремив степень матрицы переходных вероятностей неприводимой конечной ациклической цепи Маркова к бесконечности, мы получим матрицу, в которой все строки одинаковы, и которая не содержит нулевых элементов.
Теорема (без доказательства). Предельное распределение конечной неприводимой ациклической цепи Маркова с фазовым пространством мощности N удовлетворяет системе линейных уравнений:
N |
|
|
|
xk 1 |
|||
k 1 |
|
N |
|
|
|
||
|
xk pkj , j 1,N |
||
xj |
|||
|
|
k 1 |
и является её единственным решением.
Если обозначить x x1,...,xn , то эту систему можно записать в виде
33
N |
1 |
|||
xk |
||||
k 1 |
. |
|||
|
|
|
|
|
|
|
|
||
x x |
Определение. |
Рассмотрим матрицу |
AN,N с неотрицательными элементами. |
|||||
|
|
|
|
|
|
N |
|
Если для всех |
i |
1,N |
выполняется |
равенство aij 1, |
то эта матрица |
||
|
|
|
|
|
|
j 1 |
|
называется стохастической. Стохастическая матрица BN,N называется дважды |
|||||||
|
|
|
|
|
|
|
N |
стохастической, если для всех j |
|
|
выполняется равенство |
bij 1. |
|||
1,N |
|||||||
|
|
|
|
|
|
|
i 1 |
Следствие. Если конечная неприводимая ациклическая цепь Маркова имеет дважды стохастическую матрицу переходных вероятностей, то её предельное распределение имеет вид:
|
1 |
,..., |
1 |
|
|
|
|||||
p |
|
|
. |
||
N |
|
||||
|
|
|
N |
Легко видеть, что такой вектор – решение системы уравнений
N |
1 |
xk |
|
k 1 |
. |
x x
Стационарные распределения
Пусть дана цепь Маркова с матрицей переходных вероятностей и
начальным распределением p(0) P 0 j , j 1,N , где N – мощность
фазового пространства E. Через p(n) обозначим распределение цепи Маркова в момент времени n:
|
p(n) |
P n |
j , j |
|
, |
p(n) |
|
p(0) |
n . |
|
|
|
||||
|
1,N |
|
|
|
||||||||||||
Определение. Вектор |
|
|
с |
координатами |
q1,...,qN |
называется |
||||||||||
q |
||||||||||||||||
стационарным распределением |
цепи |
Маркова, если |
для всех |
i |
|
верно |
||||||||||
1,N |
N
неравенство qi 0 и выполняются равенства qi 1 и q q .
i 1
Заметим, что если в качестве p(0) взять q, то для всех n выполняется
p(n) q n q n 1 ... q.
Если цепь Маркова конечна, ациклична и неприводима, то по теореме об эргодичности существует единственное стационарное распределение, совпадающее с предельным:
qj lim pij (n) pj .
n
34
Тема № 3 Марковские процессы с непрерывным временем
Теперь рассмотрим процесс t;t T , где T 0; .
Определение. Случайный процесс t;t 0; называется цепью Маркова
с непрерывным временем, если для любой последовательности моментов |
|
времени 0 t1 t2 ... tn ... последовательность |
tn ,n является цепью |
Маркова. |
|
Обозначим, как и ранее, через E множество состояний цепи Маркова, или
фазовое пространство. |
Обозначим p t,x,s,y P s y| t |
x - переходные |
функции, где 0 t s, |
x,y E. |
|
Свойства переходных функций:
1.(Свойство неотрицательности) p t,x,s,y 0 для всех 0 t s, x,y E.
2.(Свойство стохастичности) p(t,x,s,y) 1 для всех 0 t s, x E.
y E
1, x y
3. p t,x,t,y .
0, x y
4. Имеет место уравнение Колмогорова-Чепмена:
p t,x,s,y p t,x,u,k p u,k,s,y
k E
для всех u таких, что t u s.
Определение. Цепь Маркова с непрерывным временем называется конечной, если множество E конечно.
Определение. Цепь Маркова с непрерывным временем называется
однородной во времени, если выполняется:
p t,x,s,y p t r,x,s r,y
для всех 0 t s и для любого r такого, что t r,s r 0, т. е. переходная функция зависит лишь от разности s t. В этом случае переходная функция может обозначаться так:
p t,x,s, y p s t,x,y p ,x,y pxy .
Как правило, в случае конечной цепи Маркова с непрерывным временем мы
будем считать, что E 1,N .
Для однородных цепей Маркова с непрерывным временем с переходной
функцией pij |
мы будем формулировать свойства следующим образом: |
|||
1. |
pij 0 для всех 0. |
|
||
2. |
pij 1 |
для всех 0 |
и любого i E. |
|
|
j |
|
|
|
3. |
1, |
i j |
|
|
pij 0 |
|
. |
|
|
|
0, |
i j |
|
4. Уравнение Колмогорова-Чепмена
35
pij pik u pkj u k E
для любых u 0, .
Дополнительно мы будем предполагать, что выполняется следующее свойство:
5. (Непрерывность переходной функции в нуле)
lim p |
p |
0 для всех i, j E. |
0 ij |
ij |
|
Для цепей Маркова с непрерывным временем можно ввести матричную
переходную функцию (t) |
|
pij (t) |
|
|
, |
имеющую тот же смысл, что |
для |
|||||
|
|
|
|
|
|
N,N |
|
|
|
|
||
|
|
|
|
|
|
|
|
|
||||
дискретных цепей Маркова имела матрица переходных вероятностей. |
|
|||||||||||
Интенсивности переходов |
|
|||||||||||
Теорема (без доказательства). |
|
|
Пусть t;t 0; - однородная |
цепь |
||||||||
Маркова с непрерывным временем, |
i, j E, |
i j . Тогда существует (но |
||||||||||
может быть бесконечным) предел lim |
|
pii t 1 |
, |
который мы обозначим , и |
||||||||
|
|
|||||||||||
|
|
|
|
t 0 |
t |
|
|
ii |
||||
существует конечный предел lim |
pij |
|
t |
, |
который мы обозначим . |
|
||||||
|
|
|
|
|||||||||
t 0 t |
|
|
ij |
|
||||||||
|
|
|
|
Определение. Величину ij назовем интенсивностью перехода из i-ого
состояния в |
j-ое; а величину ii |
назовем интенсивностью перехода из i-ого |
||||||||||||
состояния в i-ое. |
|
|
|
|
|
|||||||||
Матрица |
|
|
|
|
ij |
|
|
|
N,N |
называется инфинитезимальной матрицей, или |
||||
|
|
|
|
|||||||||||
|
|
|
|
|
|
|
|
|
|
|||||
матрицей интенсивностей. |
|
|
|
|
||||||||||
Утверждение. Пусть |
t;t 0; |
- |
однородная цепь |
Маркова с |
||||||||||
непрерывным |
временем. |
Тогда |
для |
ее |
интенсивностей |
выполняется |
неравенство ij ii .
j i
Доказательство. Это неравенство имеет место не только в случае конечной цепи Маркова с непрерывным временем. Рассмотрим сумму
pij (t) 1,
j
pij(t) 1 pii (t).
j i
Для любого M такого, что M i, имеет место неравенство
M
pij (t) 1 pii (t)
|
j 1, j i |
1 pii t |
|
||
1 |
M |
|
|||
|
|
pij t |
|
. |
|
t |
t |
||||
j i |
|
36
Устремим t 0 , тогда
M
ij ii . j i
M
Это неравенство для ij верно при любом M , следовательно, верно и
j i
для ij .
j i
Утверждение доказано. Следствие. В условиях утверждения для любого i E выполняется
неравенство
ij 0. j E
Определение. Состояние i E из фазового пространства однородной цепи Маркова с непрерывным временем называется мгновенным, если ii .
Состояние i E называется задерживающим, если ii 0. Состояние i E называется поглощающим, если ii 0.
Состояние i E называется регулярным, если оно задерживающее и
ij ii . j i
Определение. Цепь Маркова, все состояния которой регулярны, называется
консервативной.
Теорема (прямая система уравнений Колмогорова). Переходные вероятности консервативной цепи Маркова с конечным множеством состояний E, | E | N , удовлетворяют системе дифференциальных уравнений
dp (t) |
N |
1, |
i j |
|
ij |
pik (t) kj , по всем i, j E, с начальными условиями |
pij 0 |
, |
|
dt |
||||
k 1 |
0, |
i j |
i, j E.
Вматричном виде эта система записывается как
' t t ,
где ' t || pij '(t)|| - матрица, состоящая из производных переходных функций с начальными условиями 0 EN N - единичная матрица порядка N .
Доказательство. Зафиксируем h 0. Тогда для любых |
i, j E верно |
равенство |
|
N |
|
pij t h pij t pik t pkj h pij t |
|
k 1 |
|
pik t pkj h pij t pjj h pij t . |
|
k j |
|
Разделим левую и правую часть равенства на h. Тогда |
|
pij t h pij t |
pik t |
pkj h |
pij t |
pjj h 1 |
. |
|
h |
h |
|
||||
k j |
|
|
h |
|||
|
|
37 |
|
|
|
|
При h 0 предел правой части существует, значит, существует и предел
левой части, который мы обозначим через p '( ) t (производная |
p |
t |
справа). |
|||||||||||
|
|
|
|
|
ij |
|
|
|
|
ij |
|
|
|
|
|
pij '( ) t pik t kj pij t jj |
N |
|
|
|
|
||||||||
|
pik t kj . |
|
|
|
|
|||||||||
|
|
k j |
|
|
|
k 1 |
|
|
|
|
||||
Теперь выведем аналогичное уравнение для левой производной. |
|
|
|
|||||||||||
Для любых i, j E верно равенство |
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
N |
|
|
|
|
|
|
|
|
|
|
pij t h pij t pij t h pik t h pkj (h) |
|
|
|
||||||||||
|
|
|
|
|
k 1 |
|
|
|
|
|
|
|
|
|
|
pij t h pij t h pjj h pik t h pkj h . |
|
|
|
||||||||||
|
|
|
|
|
k j |
|
|
|
|
|
|
|
|
|
Разделим левую и правую часть равенства на h. Тогда верны равенства |
||||||||||||||
|
pij t h pij t |
pij t h |
1 pjj h |
|
pik t h |
pkj h |
|
|
||||||
|
|
|
|
|
|
|||||||||
|
h |
|
h |
k j |
h |
|
|
|
||||||
|
pij t h |
pjj h 1 |
pik t h |
pkj h |
. |
|
|
|
|
|||||
|
|
|
|
|
|
|
||||||||
|
|
|
h |
|
k j |
|
h |
|
|
|
|
|||
Предел правой части существует при h 0 , |
значит, существует и предел |
|||||||||||||
левой части, который мы обозначим через p '( ) t (производная |
p |
t |
слева). |
|||||||||||
|
|
|
|
|
ij |
|
|
|
|
ij |
|
|
|
N
pij '( ) t pij t jj pik t kj pik t kj . k j k 1
Мы доказали, что
|
p '( ) t p '( ) t . |
||
|
ij |
ij |
|
|
dpij (t) |
N |
|
Следовательно, производная |
существует и равна pik t kj . |
||
dt |
|||
|
k 1 |
Теорема доказана.
Теорема (обратная система уравнений Колмогорова). Переходные вероятности консервативной цепи Маркова с конечным множеством состояний E, | E | N , удовлетворяют системе дифференциальных уравнений
dp (t) |
N |
1, |
i j |
|
ij |
ik pkj(t), по всем i, j E, с начальными условиями |
pij 0 |
, |
|
dt |
||||
k 1 |
0, |
i j |
i, j E.
Вматричном виде эта система записывается как
' t t
сначальными условиями 0 EN N .
Докажите эту теорему самостоятельно. Пусть нам дана некоторая матрица
ij N,N
со свойствами:
38
1. ij 0 и ii 0 при всех i j из E.
N
2. ij 0.
j 1
Рассмотрим вопрос, существует ли цепь Маркова, для которой произвольная матрица , удовлетворяющая свойствам 1 и 2, является матрицей интенсивностей.
Теорема (без доказательства). Если дана ij N,N , удовлетворяющая
сформулированным выше свойствам 1 и 2, то прямая и обратная системы уравнений Колмогорова имеют единственное решение
t pij t N N
со свойствами:
1. 0 pij t .
N
2. pij t 1.
j1
3.s t s t .
Отметим, что в некоторых пособиях по теории случайных процессов под системами дифференциальных уравнений Колмогорова понимают уравнения связывающие вероятности pk t P t k того, что консервативная цепь
Маркова в момент времени t находится в состоянии k с их производными по t. В матричном виде такие системы имеют вид:
p' t p t ,
где |
p t |
pk t ,k |
|
|
- распределение |
цепи |
Маркова с непрерывным |
|||||||||
1,N |
||||||||||||||||
|
|
|
|
|
|
|
|
|
dp |
t |
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|||||
временем в |
момент |
времени t, p' t |
|
k |
|
pk t ',k 1,N . Систему |
||||||||||
|
dt |
|||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
N |
|
|
|
|
|
|
|||
решают при |
условии, |
что |
pk t 1. Подобные |
системы позволяют легко |
k 1
находить стационарные распределения для цепей Маркова с непрерывным временем.
Процессы размножения и гибели
Определение. Консервативная цепь Маркова t;t 0; называется
процессом размножения и гибели, если для ее переходных функций выполняются следующие условия:
1). pi,i 1 t i t o t , i . 2). pi,i 1 t i t o t , i .
3). pi,i t 1 i i t o t , i .
39
1, |
i j |
4). pi,j 0 |
. |
0, |
i j |
5). 0 0, 0 0; для всех i 1 величины i и i больше нуля. Это пример процесса с бесконечным множеством состояний. Легко видеть, что верно равенство
pi,i 1 t pi,i 1 t pi,i t 1 o t ,
а матрица интенсивностей (бесконечного размера) будет иметь вид
|
|
0 |
0 |
0 |
0 |
|
|
|
1 |
( 1 1) |
1 |
0 |
|
|
|
0 |
2 |
( 2 2) |
2 |
|
|
|
|
|
|
|
|
Покажем, как будут выглядеть прямые и обратные системы уравнений
Колмогорова для такого процесса. |
|
' t t , как легко видеть, для всех |
|||||||||||||
Уравнения из прямой системы |
|||||||||||||||
i, j E будут иметь вид |
|
|
|
|
|
|
|
|
|
|
|
||||
|
dpi,j t |
pi,j 1 t j 1 pi,j t j |
j pi,j 1 t j 1. |
||||||||||||
|
|
|
|||||||||||||
|
|
dt |
|
0. |
|
|
|
|
|
|
|
|
|||
Мы будем считать, что |
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
Начальные условия стандартны: |
pi,j 0 |
1, |
i j |
|
|
||||||||||
|
|
|
. |
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
0, |
i j |
|
|
||
Уравнения из обратной системы ' t t |
для всех i, j E будут иметь |
||||||||||||||
вид |
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
dpi, j t |
p |
|
t |
|
p |
t p |
i 1,j |
t |
|||||
|
|
|
|
||||||||||||
|
|
dt |
i |
i 1, j |
|
i |
i |
|
i, j |
i |
|
||||
|
|
|
|
|
|
|
0,i j |
|
|
|
|||||
с теми же начальными условиями pi,j (0) |
. |
|
|
||||||||||||
|
|
|
|
|
|||||||||||
Обозначим pn t P t |
n , |
|
|
|
1,i j |
|
pn 0 P 0 n по |
||||||||
где |
n 0 . Тогда набор |
всем n 0 даст начальное распределение процесса размножения и гибели. Очевидно равенство
pn t pi 0 pi,n(t).
|
|
i 0 |
|
|
|
|
|
|
|
Определение. Вектор |
|
qo,q1,... , где |
qi 0, |
qi 1, называется |
q |
||||
|
|
|
|
i 0 |
стационарным распределением процесса размножения и гибели t;t 0; ,
|
|
если выполняется равенство qn qi pin (t) для всех n 0 |
и для любого t 0. |
i 0 |
|
40