Марковские случайные процессы в моделировании систем. Учебно-методическое пособие

2. МАРКОВСКИЕ С ЛУ ЧАЙНЫЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ВРЕМЕНЕМ…

Определение 4. Вероятности pi = lim pi (k ) называются предель-

k ®Ґ

ными (или финальными) вероятностями состояний системы. Теорема 1. Если марковская цепь регулярна, то предельные ве-

роятности состояний системы совпадают со стационарными вероятностями.

Пример 2. Для марковской цепи с тремя состояниями задана матрица вероятностей переходов за один шаг

1.Составить размеченный граф состояний этой марковской цепи, определить, является ли цепь регулярной.

2.Найти матрицу P(2) вероятностей переходов за два шага.

3.Определить распределение вероятностей состояний системы за один, два и три шага, считая начальным состояние S1.

4.Найти стационарное распределение вероятностей состояний.

5.Найти финальные вероятности состояний системы.

Решение

1. Составим граф состояний (рис. 3).

Рис. 3

11

2. МАРКОВСКИЕ С ЛУ ЧАЙНЫЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ВРЕМЕНЕМ…

По графу видно, что все состояния системы существенны и цепь регулярна.

2. Найдем матрицу вероятностей переходов за два шага

Заметим, что вероятность перехода из состояния S2 в состояние

1

S1 за один шаг p21(1) = 0, а за два шага p21(2) = 4 № 0.

3. Пусть Q(0) = (1, 0, 0). Найдем распределение вероятностей состояний за один, два и три шага

= (185 ;188 ;185 )= (0,28; 0,44; 0,28).

12

2. МАРКОВСКИЕ С ЛУ ЧАЙНЫЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ВРЕМЕНЕМ…

Определим распределение вероятностей состояний после третьего шага:

=(10825 ;10849 ;10834 )= (0,23;0,45;0,32).

4.Найдем стационарное распределение вероятностей

Система имеет бесчисленное множество решений, причем одно из уравнений является следствием двух других. Чтобы найти единственное решение, отбросим лишнее уравнение и добавим условие нормировки p1 + p2 + p3 = 1.

Решим систему уравнений

о

13

2. МАРКОВСКИЕ С ЛУ ЧАЙНЫЕ ПРОЦЕССЫ С ДИСКРЕТНЫМ ВРЕМЕНЕМ…

Qñòàö = (133 ;136 ;134 )= (0,231; 0,461; 0,308).

5. Марковская цепь регулярна, поэтому предельные вероятно-

Можно заметить, что вероятности всех трех состояний меняются на каждом шаге, но сумма p1 + p2 + p3 = 1 остается неизменной.

Задача 1 (для самостоятельного решения). В городе N каждый житель имеет одну из трех профессий А, В, С. Дети отцов, имеющих профессии А, В, С, сохраняют профессии отцов с вероятно-

стями 3, 2 , 1 соответственно, а если не сохраняют, то с равными

5 3 4

вероятностями выбирают любую из двух других профессий. Найти:

1)распределение по профессиям в следующем поколении, если

вданном поколении профессию А имело 20 % жителей, В — 30 %, С — 50 %;

2)предельное распределение по профессиям, когда число поколений растет;

3)распределение по профессиям, не меняющееся при смене поколений.

14

3.НЕПРЕРЫВНЫЕ МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ С КОНЕЧНЫМ ЧИСЛОМ СОСТОЯНИЙ

Пусть физическая система S может находиться в одном из состояний S1, S2,…, Sn, и будем считать, что переход из одного состояния в другое возможен в любой случайный момент времени t, причем множество таких моментов перехода является непрерывным. Если, как и ранее, выполняется условие Маркова, то будем называть такой случайный процесс марковским случайным процессом с конечным числом состояний (дискретными состояниями) и непрерывным временем или непрерывной марковской цепью.

Рассмотрим, как и ранее, случай трех состояний для упрощения выражений.

Определение 5. Интенсивностью lij перехода системы Si ® Sj называется предел

lij = lim pij (Dt ) ,

Dt ®0 Dt

где pij(Dt) — вероятность перехода Si ® Sj(i № j) на малом интервале времени [t, t + Dt].

Величины lij при i № j в общем случае зависят от расположения интервала [t, t + Dt] на оси времени (являются функциями времени). Если lij = const при i № j, то марковская цепь называется однородной. Далее будем рассматривать только однородные марковские цепи.

15

3. НЕПРЕРЫВНЫЕ МАРКОВСКИЕ С ЛУ ЧАЙНЫЕ ПРОЦЕССЫ…

Интенсивности lij формируют матрицу интенсивностей переходов

Элементы матрицы интенсивностей L удовлетворяют условиям:

lij і 0 при i № j;

lii < 0 при i = 1, 2, 3;

3

е lij = 0 при i = 1, 2, 3.

j =1

Марковскую цепь с непрерывным временем можно изображать

размеченным графом состояний (рис. 4)

S3

Рис. 4

Обозначим в виде Q(t) = (p1(t), p2(t), p3(t)) матрицу вероятностей состояний системы S в момент времени t, где pi(t) — вероятность того, что в момент времени t система находится в состоянии Si.

3

При любом t выполняется равенство е pi (t ) =1. Для того чтобы

i =1

найти эти вероятности необходимо решить систему дифференциальных уравнений Колмогорова

p1ў(t ) = l11 p1(t ) + l21 p2 (t ) + l31 p3 (t );

p2ў(t ) = l12 p1(t ) + l22 p2 (t ) + l32 p3 (t );

p3ў(t ) = l13 p1(t ) + l23 p2 (t ) + l33 p3 (t );

16

3. НЕПРЕРЫВНЫЕ МАРКОВСКИЕ С ЛУ ЧАЙНЫЕ ПРОЦЕССЫ…

или в матричном виде

Qў(t) = Q(t) · L.

Для решения системы необходимо задать начальные условия

p1(0) = p10, p2(0) = p20, p3(0) = p30,

где pi0,(i = 1, 2, 3) — заданные неотрицательные числа, p10 + p20 + p30 = 1. Определение 6. Распределение вероятностей называется стационарным, если вероятности pi состояний Si не зависят от времени:

p1(t) є p1, p2(t) є p2, p3(t) є p3, или Q(t) є Q = const.

Для нахождения стационарных вероятностей необходимо решить систему алгебраических уравнений

l11 p1 + l21 p2 + l31 p3 = 0;

l12 p1 + l22 p2 + l32 p3 = 0; l13 p1 + l23 p2 + l33 p3 = 0;,

или в матричном виде

Q · L = 0.

Для многих практических задач важно знать, как ведут себя вероятности состояний системы при неограниченном возрастании времени. Введем предельные (финальные) вероятности систе-

Понятия существенного (несущественного) состояния, регулярности марковской цепи и теорема о совпадении предельных и стационарных вероятностей в регулярной цепи аналогичны тем, что даны для марковской цепи с дискретным временем.

Система, для которой существуют предельные вероятности состояний, называется эргодической, а возникающий в ней случайный процесс — эргодическим.

Пример 3. Задана матрица интенсивностей марковской цепи с непрерывным временем:

17

3. НЕПРЕРЫВНЫЕ МАРКОВСКИЕ С ЛУ ЧАЙНЫЕ ПРОЦЕССЫ…

Составить граф состояний, записать систему дифференциальных уравнений Колмогорова для вероятностей состояний. Найти частное решение системы при начальных условиях p1(0) = 1, p2(0) = 0, p3(0) = 0. Найти стационарное и предельное распределения вероятностей состояний системы.

Решение

Граф данной марковской цепи изображен на рис. 5

1

S1 S2

3

1

1

1

S3

Рис. 5

Составим систему дифференциальных уравнений Колмогорова

Тогда получим

p1ў(t ) = -2 p1(t ) +3 p2 (t );

p2ў(t ) = p1(t ) - 4 p2 (t ) + p3 (t ); p3ў(t ) = p1(t ) + p2 (t ) - p3 (t ).

Найдем стационарные вероятности системы, полагая, что p1ў =

0, p2ў = 0, p3ў = 0.

Получим систему линейных алгебраических уравнений:

м-2 p1 +3 p2 = 0;

п

нp1 - 4 p2 + p3 = 0;

поp1 + p2 - p3 = 0.

18

3. НЕПРЕРЫВНЫЕ МАРКОВСКИЕ С ЛУ ЧАЙНЫЕ ПРОЦЕССЫ…

Отбросим третье уравнение и присоединим к системе уравнений условие p1 + p2 + p3 = 1

м-2 p1 +3 p2 = 0;

п

нp1 - 4 p2 + p3 = 0;

поp1 + p2 + p3 =1.

Для отыскания предельного распределения вероятностей состояний будем решать систему дифференциальных уравнений.

Исключая переменную p3 по формуле p3 = 1 – p1 – p2, получим:

мнp1ў = -2 p1 +3 p2;

оp2ў = -5 p2 +1.

Сведем систему двух уравнений первого порядка к линейному дифференциальному уравнению второго порядка

p1ўў+ 7 p1ў +10 p1 = 3.

Характеристическое уравнение имеет вид

k2 + 7k + 10 = 0

с корнями k1 = –5, k2 = –2. Общее решение соответствующего однородного уравнения примет вид

p1(t )) =C1e -5t +C2e -2t .

Частное решение будем искать в виде p1* = A. Подставляя в диф-

ференциальное уравнение, получаем A = 3 . Тогда общее реше-

10

ние неоднородного уравнения примет вид

p1(t ) =C1e -5t +C2e -2t + 3 .

10

19

3. НЕПРЕРЫВНЫЕ МАРКОВСКИЕ С ЛУ ЧАЙНЫЕ ПРОЦЕССЫ…

Находим p2(t)

Используя начальные условия p1(0) = 1, p2(0) = 0, запишем

Эти решения описывают переходный процесс, протекающий в рассматриваемой марковской цепи. При t ® Ґ получим финальное распределение вероятностей

Q = ( p1, p2, p3 ) = (0,3;0,2;0,5),

которое совпадает со стационарным распределением. Зависимости pi(t) представлены на рис. 6.

20