Теория случайных процессов и системы массового обслуживания. Учебное пособие

11

p

S5 S4

1

Ðèñ. 3.1

А матрица перехода имеет вид

Пример 3.2. Вероятности перехода за один шаг в цепях Маркова задаются матрицей:

Требуется:

а) найти число состояний; б) установить, сколько среди них существенных и несущественных;

в) построить граф, соответствующий матрице P.

Решение:

а) 4 состояния (рис. 3.2); б) состояния 1, 2 несущественны, поскольку остальные состояния достижи-

ìû èç íèõ, íî E1 недостижимо из E4, à E2 недостижимо из E3; состояния E3 è E4 являются существенными.

12

1

1=4

E1 E2

1=3

E4 E3

q

Ðèñ. 3.2

Пример 3.3. Матрица вероятностей перехода цепи Маркова имеет вид:

01

0; 2 0; 3 0; 5 P = @0; 5 0; 2 0; 3A:

0; 6 0; 1 0; 3

Распределение по состояниям в момент времени t = 0 определяется вектором (0; 6; 0; 1; 0; 3). Найти распределение по состояниям в момент t = 2.

Решение. Построим граф, соответствующий вектору начальных вероятностей и матрице перехода (рис. 3.3).

13

0,2

P (E3) = 0,37.

Пример 3.4. Вычислить P(n) для цепи Маркова с двумя состояниями.

Решение. Пусть цепь Маркова с двумя состояниями E1 è E2 задана своей матрицей перехода P :

Соответствующий граф имеет следующий вид (рис. 3.4).

14

Следовательно, P(2) = P2, и первый шаг метода математической индукции выполняется. Предположим далее, что при n = k проверяемое утверждение

Вопросы для самоконтроля

1.Что такое цепь Маркова?

2.Какие цепи Маркова называются однородными?

3.Как задаются однородные цепи Маркова?

4.Какие матрицы называются стохастическими?

5.Граф перехода цепи Маркова. Вектор начальных вероятностей.

6.Как находится матрица перехода за n шагов?

7.Какое состояние системы называется существенным?

15

ЗАДАЧИ

1. Вероятности перехода задаются матрицей

0 1

1=2 1=3 1=6 P = @1=2 1=3 1=6A:

1=2 1=3 1=6

Чему равно число состояний? Найти вероятности перехода из одного состояния в другое за два шага.

2. Дана матрица вероятностей перехода

1=3 1=5 P = 2=3 4=5

и вектор начальных вероятностей ~a = (3=4; 1=4): Найти распределение по состояниям в момент t = 2.

3.Система находится в одной из вершин правильного шестиугольника, при- чем в соседние вершины она переходит с вероятностью 1/6, а в противоположную с вероятностью 2/3. Найти матрицу и граф перехода.

4.Матрица вероятностей перехода цепи Маркова имеет вид

01

Вектор начальных вероятностей ~a = (0; 1; 0; 2; 0; 7): Найти вероятность того, что через два шага система будет находиться в состоянии E3.

5. Частица находится в одном их трех состояний E1, E2, E3, которые вы- бираются в начальный момент с вероятностями 1/2, 1/3, 1/6 соответственно. Под воздействием случайных толчков система переходит в другое состояние с вероятностью 1/4 и остается на месте с вероятностью 1/2. Найти вероятность того, что через два толчка система будет находиться в состоянии E1.

6. Вероятности перехода за один шаг в цепи Маркова задаются матрицей

Найти число состояний и определить среди них существенные и несущественные. Построить граф, соответствующий матрице P.

16

7.Бросим игральную кость и условимся, что в момент n система находится

âсостоянии Ei, если i наибольшее из чисел, выпавших в первых n бросаниях. Найти матрицу перехода P и ей соответствующий граф.

8.Рассмотрим последовательность испытаний Бернулли и определим, что

âмомент времени n наблюдается состояние E1, если испытания с номерами

n 1; n привели к результату Y Y . Аналогично E2, E3, E4 означают переходы Y H; HY; HH. Найти матрицу перехода P и все ее степени.

9. Доказать, что для однородной цепи Маркова с матрицей вероятностей перехода P = (pkj) имеют место следующие соотношения:

á)P(n) = Pn.

10. В двух отделениях ящика находятся четыре шара. Каждую минуту слу- чайным образом выбирается отделение и из него перекладывается в другое отделение один шар. В качестве состояний марковской цепи рассматривается число шаров в первом отделении. Найти матрицу перехода из состояния в состояние за один шаг.

4. Марковские цепи с непрерывным временем

Рассмотрим марковскую цепь {(t) 2 V с непрерывным временем.

Как уже упоминалось выше, примером марковской цепи с непрерывным временем и дискретным множеством состояний V = N является пуассоновский

процесс N(t) с интенсивностью , поскольку

P fN(t + h) = l + 1jN(t) = lg = h + o(h);

P fN(t + h) = ljN(t) = lg = 1 h + o(h):

Для заданной марковской цепи {(t) обозначим plm(h) = P ({(t+h) = mj{(t) = = l) ее переходную вероятность и пусть P(h) матрица с элементами plm(h).

Алгоритмически конструкция марковской цепи с непрерывным временем {(t) состоит из двух блоков. Первый из них это задавание набора экспонен-

циально распределенных случайных величин Tl, описывающих длительность

пребывания марковской цепи в некотором состоянии l таких, что ETl = 1l è ìàð- ковской цепи с дискретным временем, переходные вероятности которой опреде-

ляют выбор состояния. Заметим, что соответствующая дискретная марковская цепь будет иметь переходные вероятности, обладающие свойством pll = 0 для каждого l. Эта марковская цепь с дискретным временем называется вложенной

18

= P f (t + h) = mj (t) = m; (0) = lgP f (t) = mj (0) = lg +

X

+P f (t + h) = mj (t) = j; (0) = lgP f (t) = jj (0) = lg =

j6=l

X

= (1 qmh)Plm(t) + qljPjm(t) + o(h):

j6=l

Переходя к пределу при h ! 0 с учетом приведенных соотношений, получим

j6=l

X

=qljPjm(t) qmPlm(t):

j6=l

Таким образом, мы показали, что Plm(t) удовлетворяет уравнению

X

P ( (t + h) = lj (t) = m) = qmlh; P ( (t + h) = mj (t) = m) = 1 qmlh;

l6=m

2) сумма элементов строки матрицы Q равна нулю и элементы на диагонали

P

не положительны, т. е. для всех l; m 2 V 0 qm = l6=m qml:

Если марковская цепь задана в терминах Q-матрицы Q = fqlmg, то важно иметь в виду, что ее переходные вероятности plm

19

Важную роль в дальнейшем будет играть также еще одно уравнение, которому подчиняется семейство матриц fPlm(t)g, называемое обратным уравне-

нием Колмогорова. Для вывода этого уравнения покажем вначале, что Plm(t) удовлетворяет интегральному уравнению

Z t

X

Plm(t) = lme lt + le ls QlkPkm(t s)ds; (4.3)

0j6=l

ãäå

(

lm = 1; l 6= m

0; l = m

символ Кронеккера и Q переходная матрица вложенной марковской цепи.

Теорема 4.1. Переходная вероятность P(t) марковской цепи с непрерывным временем (t) удовлетворяет уравнению (4.3).

Доказательство. Вероятность перехода Plm(t) представим в виде

Plm(t) = P fX(t) = mjX(0) = lg =

= P fX(t) = m; T1 > tjX(0) = lg + P fX(t) = m; T1 tjX(0) = lg:

При этом первое слагаемое в правой части соответствует ситуации, когда первый скачок не произошел. Таким образом, в отсутствие скачка X(t) = m с

вероятностью 1 тогда и только тогда, когда m = l.

P fX(t) = m; T1 > tjX(0) = lg = P fX(t) = mjT1 > t; X(0) = lg

P fT1 > tjX(0) = lg = lmPlfT1 > tg = lme lt:

Рассмотрим событие fs T1 s + sg, состоящее в том, что первый скачок произошел на интервале (s; s + s) для малого s. Вероятность этого события

равна

Z s+ s

le l d = le ls s + o(( s)2):

s

Разобьем отрезок [0; t] на N частей для некоторого большого N, и пусть sn = ntN . Обозначим = t=N. Тогда

N 1

X

P fX(t) = m; T1 tjX(0) = lg = P fX(T ) = j; T1 2 (sn; sn+1)jX(0) = lg =

n=1

20

N 1

X

=P fX(T ) = jjT1 2 (sn; sn+1); X(0) = lgP fT1 2 (sn; sn+1)jX(0) = lg =

n=0

N 1

X

=P fX(T ) = jjT1 2 (sn; sn+1); X(0) = lg[ le lsn + O( 2)] =

n=0

N 1

XX

= le lsn P fX(t) = m; X1 = kjX(0) = l; T1 2 (sn; sn+1)g + O( 2) =

n=0 k6=l

N 1

XX

= le lsn P fX(t) = mjX1 = k; X(0) = l; T1 2 (sn; sn+1)g

n=0 k6=l

P fX1 = kjX(0) = l; T1 2 (sn; sn+1)g + O( 2)

N 1

X X

le lsn QlkPkl(t sn) + O( 2):

Из теоремы 4.1 непосредственно вытекает следующее утверждение.

Теорема 4.2. Для любых l; m 2 f1; : : : ; d1g переходная вероятность P(t) марковского процесса (t) с генератором Q непрерывно дифференцируема, удовлетворяет уравнению

и условию P (0) = I: При этом компоненты Plm(t) удовлетворяют задаче

dt

j6=l

Уравнение (4.5) называют обратным уравнением Колмогорова.

Решение P(t) задачи Коши для уравнения (4.4) с данными Коши P(0) = I