Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Специальные главы математики. Учебно-методическое пособие
.pdf
21
2.2. ОДНОРОДНЫЕ ПРОЦЕССЫ МАРКОВА
Понятие дискретного случайного процесса в непрерывном времени
Пусть имеется некоторая система, множество состояний которой является
дискретным (конечным или счетным): = {s1, s2, s3, … }. События, приводя-
щие к переходу системы от состояния к состоянию, являются случайными и
происходят в непрерывном времени. Таким образом, с течением времени система случайно переходит от состояния к состоянию. Этот процесс описывает
эволюционирование вероятностной системы в непрерывном времени, заключающееся в случайных переходах от состояния к состоянию.
Обозначим через S(t) состояние системы в момент времени t. Запись S(t) = sj
означает, что в момент времени t система находится в состоянии sj. Непосредственный переход из состояния si в состояние sj будем, как и ранее, обозначать
si sj.
В каждый момент времени система может находиться в одном состоянии.
С течением времени система переходит от состояния к состоянию, то есть с
течением времени состояния меняются. Эти изменения происходят случайно,
поэтому имеет место случайный процесс изменения состояний во времени, то
есть дискретный случайный процесс в непрерывном времени.
Примеры дискретных случайных процессов в непрерывном времени:
1. Функционирование технической системы, во время которого происходят
отказы элементов, простои, профилактическое обслуживание и др. Очевидно,
что события, происходящие при функционировании системы, являются случайными.
2. Функционирование системы массового обслуживания, например, системы
пожаротушения в большом городе, где каждый пожар начинается в случайный
момент времени, а мероприятия по пожаротушению продолжаются случайное
время.
Марковский процесс относится к случайным процессам с дискретным множеством состояний и с непрерывным временем.
Интенсивности переходов между состояниями
Переходы от состояния к состоянию описываются интенсивностями переходов. Интенсивностью ij(t) перехода из состояния si в состояние sj в момент
времени t называется условная плотность вероятности непосредственного перехода из состояния si в состояние sj в момент времени t при условии, что до
этого перехода система находилась в состоянии si, то есть до этого момента
времени смены состояния si не произошло: ij(t) = fij(t)/qii(t), где fij(t) − плот-
22
ность распределения времени перехода si sj; qii(t) − вероятность того, что на
интервале времени [0, t] система находилась в состоянии si.
Примечание. Если непосредственный переход si sj является невозможным, то ij(t) = 0.
Таким образом, каждая пара состояний (si, sj), i j, описывается интенсивностью ij(t).
Понятие однородного марковского процесса. Граф состояний
Однородным марковским процессом называется дискретный случайный
процесс в непрерывном времени, если интенсивности ij(t) не зависят от вре-
мени:
ij(t) = ij, i, j = 1, 2, 3, …, i j.
Смысл свойства однородности заключается в том, что причины, обуславли-
вающие переходы между состояниями и средние продолжительности нахождения в состояниях, не изменяются с течением времени; характер протекания
процесса на некотором интервале времени зависит только от длины этого интервала и не зависит от положения этого интервала на оси времени (или от
начала отсчета этого интервала).
Замечание. Если интенсивности переходов зависят от времени, то такой
процесс будет неоднородным.
Однородный марковский процесс – это один из простых, но в то же время
один из часто применяемых для моделирования реальных процессов.
Каждое состояние si характеризуется параметром i, который называется
интенсивностью выхода из этого состояния: i =
ijj
ij
,
, то есть интенсив-
ность выхода из состояния si равна сумме интенсивностей непосредственного
перехода из состояния si в другие состояния.
Полагается, что интенсивности выхода i являются ограниченными величи-
нами.
В дальнейшем используется параметр ii, равный интенсивности выхода из
состояние si, взятой со знаком минус: ii = i =
ijjij,
.
Однородный марковский процесс обладает свойствами ординарности и от-
сутствием последействия.
Свойство ординарности заключается в том, что вероятность хотя бы двух
изменений состояния марковского процесса на бесконечно малом интервале
23
времени является бесконечно малой величиной более высокого порядка малости по сравнению с длиной этого интервала, независимо от состояния процесса
в начальный момент времени. Другими словами, за бесконечно малый интервал
времени не может произойти более одного перехода из состояния в состояние.
Отсутствие последействия заключается в том, что будущее системы (про-
цесса) зависит только от настоящего, оно не зависит от прошлого, то есть не зависит от того, каким путем система эволюционировала из прошлого в настоящее. Следовательно, можно сказать, что при фиксированном настоящем будущее и прошлое системы независимы. Свойство отсутствия последействия называют еще марковским свойством.
Как и в случае марковской цепи, марковский процесс изображают в виде
ориентированного графа, вершинами которого являются состояния, а ребрами
(стрелками) – непосредственные переходы между состояниями. Каждому переходу приписывается соответствующая интенсивность. Если стрелка отсутствует, то соответствующая интенсивность перехода между двумя состояниями
равна нулю, то есть соответствующий непосредственный переход между состояниями является невозможным.
Пример. На рисунке приведен граф из трех состояний. Множество состоя-
ний системы = {s1, s2, s3}.
s1
λ12
λ21
s2
λ23
s3
λ31
Распределение времени нахождения в одном состоянии
Найдем распределение времени нахождения в состоянии si при условии, что
это состояние является начальным. Обозначим через qii(t) вероятность того, что
в течение времени t состояние si не изменится:
qii(t) = p[S(t) = si / S(0) = si и не было выхода из si].
Замечание. Вероятность qii(t) не следует смешивать с вероятностью pii(t),
которая будет использоваться позже.
Рассмотрим процесс на интервале времени [0, t + dt]:
• • •
0 t t+dt
si
Очевидно:
qii(t + dt) = qii(t)( 1 + ii dt),
24
где qii(t) – вероятность того, что в момент времени t система находится в состоянии si; 1 + ii dt – вероятность того, что на интервале [t, t + dt] выход из si не
произойдет при условии, что в момент времени t система находится в состоянии si.
Преобразуем это равенство:
qii(t + dt) – qii(t) = ii qii(t) dt;
t
tq
ii
d
)(d
= ii qii(t).
Для того чтобы решить это дифференциальное уравнение, разделим пере-
менные:
)(
)(d
tq
tq
ii
ii
= ii dt. Проинтегрируем: ln qii(t) = iit + с. Из начального усло-
вия qii(0) = 1 следует : 0 = 0 + с или с = 0. Итак,
qii(t) = exp(iit).
Смысл полученного результата: qii(t) есть вероятность того, что случайное
время Ti нахождения в состоянии si превысит значение t, то есть qii(t) = p(Ti
t). Тогда функция распределения Fii(t) и плотность распределения fii(t) времени
нахождения в состоянии si имеют вид:
Fii(t) = p(Ti < t) = 1 qii(t) = 1 exp(iit);
fii(t) = F
ii
(t) = ii exp(iit), t 0.
Таким образом, время, в течение которого система находится в каком-либо
состоянии однородного марковского процесса, распределено по показательному закону. Математическое ожидание и среднее квадратическое отклонение
времени нахождения в состоянии si:
M(Ti) =
ii
1
, ( Ti) =
ii
1
.
Замечания. 1. Показательное распределение времени нахождения в одном
состоянии – это единственное распределение, при котором интенсивность
наступления события является постоянной:
λ(t) =
)(1
)(tFtf
=
)1(1
λ
λ
λ
t
t
e
e
=
t
t
e
e
λ
λ
λ
= λ = const.
2. При распределениях, отличных от показательного, интенсивность наступ-
ления события зависит от времени, а случайный процесс не является однородным (это легко показать на примере равномерного или нормированного нормального распределения).
25
Вывод. Время нахождения однородного марковского процесса в одном состоянии распределено по показательному закону. Это свойство упрощает анализ системы и обуславливает ряд удобных математических свойств, а именно,
отсутствие последействия, стационарность и ординарность.
Классификация состояний марковского процесса
Классификация состояний марковского процесса производится аналогично
классификации состояний марковской цепи: состояния классифицируются на
достижимые, сообщающиеся, множество существенных и несущественных состояний, поглощающие состояния, эргодическое множество. Напомним, что
классификация состояний может быть произведена по графу состояний.
Состояние sj достижимо из состояния si, если за некоторое конечное время
система может перейти из si в sj, то есть существует такое t, что pij(t) > 0, где
pij(t) – вероятность того, что S(t) = sj при условии, что начальным является состояние si: pij(t) = p[S(t) = sj / S(0) = si].
Два состояния si и sj называются сообщающимися, если они взаимно до-
стижимы, то есть существуют такие t1 и t2, что pij(t1) > 0 и pji(t2) > 0. Все состояния множества сообщаются между собой, если для любой пары состояний si и
sj выполняются эти условия.
Состояние si является несущественным, если имеется по крайней мере одно
состояние sj, достижимое из si, такое, что si не достижимо из sj. Состояние s
i
называется существенным, если любое состояние, достижимое из si, сообщается с si.
Таким образом, состояния системы можно разбить на множество существенных и на множество несущественных состояний. Из множества несущественных состояний (то есть из любого состояния этого множества) система
может перейти в множество существенных состояний за конечное время. Однако, перейдя в множество существенных состояний, система никогда из него не
выйдет.
Для однородного марковского процесса справедлива теорема:
Если U – множество несущественных состояний, то для любых si U, sj U:
)(lim tp
ij
t
= 0.
Смысл теоремы: при t марковский процесс будет находиться только в
существенных состояниях.
Эргодическое множество состояний – это множество существенных сооб-
щающихся состояний. Из любого состояния этого множества можно попасть в
26
любое другое состояние этого же множества. Система, попадающая в эргодическое множество, никогда его не покидает. Эргодическое состояние является
элементом эргодического множества.
Если эргодическое множество состоит из одного состояния, то это состояние называется поглощающим. После попадания в поглощающее состояние si
система из него никогда не выходит. Для поглощающего состояния интенсивность выхода i = 0, а вероятности pii(t) = 1 и pij(t) = 0 для всех i j. Марков-
ский процесс с поглощением – это процесс, множество состояний которого содержит хотя бы одно поглощающее состояние.
Матрица интенсивностей
Матрица интенсивностей = ij – это матрица интенсивностей переходов однородного марковского процесса; ее называют еще квазистохастической
матрицей, инфинитезимальной матрицей, инфинитезимальной матрицей вероятностей перехода, инфинитезимальной производящей матрицей процесса, инфинитезимальным оператором.
Правило составления матрицы интенсивностей:
1) элемент ij (ij) равен интенсивности непосредственного перехода
si sj;
2) элемент ij (ij) равен нулю, если непосредственный переход si sj
является невозможным;
3) диагональный элемент ii равен сумме недиагональных элементов i-й
строки матрицы , взятой со знаком минус: ii =
ijj
ij
,
.
Таким образом, сумма элементов любой строки матрицы интенсивностей
равна нулю:
j
ij
= 0.
Это свойство в матричном виде:
e
=
o
,
где
e
– столбец, все элементы которого равны 1;
o
– столбец, все элементы ко-
торого равны нулю (нулевой столбец).
Вероятности состояний однородного марковского процесса
В качестве вероятностной характеристики однородного марковского процесса вводится условная вероятность того, что в момент времени t система бу-
27
дет в состоянии sj при условии, что в момент времени t = 0 она находилась в
состоянии si для любых i и j :
pij (t) = p[S(t) = sj / S(0) = si].
Замечание. Эти вероятности называют иногда переходными вероятностями
марковского процесса.
Задача нахождения вероятностей pij(t) решается с помощью дифференциальных уравнений. Составим дифференциальные уравнения вероятностей состояний.
Имеются две взаимно исключающие (несовместные) возможности нахо-
диться в состоянии sj в момент времени t + dt:
1) в момент времени t система уже находится в состоянии sj и в течение
времени dt это состояние не изменится; соответствующая вероятность равна
pij(t)(1+ jjdt), где jj – интенсивность выхода из состояния sj, взятая со знаком
минус;
2) в момент времени t система находится в одном из состояний sk (k j) и за
время dt совершает переход sk sj; вероятность этого
pi1(t) 1j dt + pi2(t) 2j dt +… =
jkk
kjik
ttp
,
d)(
.
Рассмотренные события несовместны, поэтому вероятность состояния sj в момент времени t + dt:
pij (t + dt) = pij (t) (1 + jjdt) +
jkk
kjik
ttp
,
d)(
.
Преобразуем это равенство:
pij (t + dt) = pij (t) + pij (t) jjdt +
jkk
kjik
ttp
,
d)(
.
Внесем второе слагаемое в правой части под знак суммы:
pij (t + dt) = pij (t) +
k
kjik
ttp d)(
.
Преобразуем полученное равенство:
pij (t + dt) pij (t) = dt
k
kjik
tp )(
;
t
t p dt t p
ijij
d
)()(
k
kjik
tp )(
или p
ij
(t) =
k
kjik
tp )(
,
где p
ij
(t) – производная вероятности pij (t).
Уравнения вида
28
p
ij
(t) =
k
kjik
tp )(
называются уравнениями Колмогорова (или Колмогорова-Чепмена). Они
справедливы для любых i и j. Их можно составить для любой пары состояний si
и sj. Если множество состояний является конечным и число состояний равно m,
то можно составить m2 таких уравнений.
Смысл этого результата: получена система дифференциальных уравнений,
решение которых дает вероятности состояний однородного марковского процесса как функции времени при заданном начальном состоянии.
Замечания. 1. Еще раз отметим, что свойство отсутствия последействия од-
нородного марковского процесса проявляется в том, что вероятности
pij (to, to + t) = p[S(to + t) = sj / S(to) = si]
не зависят ни от начального момента времени to, ни от течения процесса до
момента времени to, то есть
pij (to, to + t) = pij (0, t to).
2. Марковским можно назвать случайный процесс, вероятности состояний
которого в любой момент времени в будущем определяются состоянием в
настоящий момент и не зависят от состояний в прошлом.
Если число состояний марковского процесса не велико, то система дифференциальных уравнений может быть составлена по специальному правилу. Для
формулирования этого правила в дифференциальных уравнениях Колмогорова
вынесем слагаемое pij(t) jj из-под знака суммы, обозначив jj = j:
p
ij
(t) =
jkk
kjik
tp
,
)(
pij (t) j,
где j – интенсивность выхода из состояния sj.
Специальное правило составления дифференциальных уравнений формулируется следующим образом: производная вероятности состояния равна сумме
произведений вероятностей других состояний, умноженных на интенсивности
переходов в это состояние, минус вероятность этого состояния, умноженная на
суммарную интенсивность выхода из него.
Замечания. 1. Систему дифференциальных уравнений можно составить при
условии, что каждое состояние является начальным.
2. При составлении и решении системы дифференциальных уравнений следует учитывать условия, которым удовлетворяет однородный марковский процесс:
29
а) pij(t) 0; б)
j
ij
tp )(
= 1.
Будем записывать вероятности состояний pij(t) в виде матрицы:
P(t) = pij(t). Тогда полученные ранее уравнения А.Н. Колмогорова можно за-
писать в матричном виде:
P(t) = P(t),
где P(t) – матрица, каждый элемент которой равен производной соответствующего элемента матрицы P(t).
В этом матричном уравнении для каждой i-й строки может быть написана
система дифференциальных уравнений при начальном состоянии si. Поэтому
данное матричное уравнение содержит столько начальных состояний, сколько
состояний имеет система.
Перейдем теперь к рассмотрению процесса при заданном распределении
начальных вероятностей состояний. Умножим полученное ранее матричное
уравнение на строку начальных вероятностей:
p
(0)P(t) = p(0)P(t).
В результате получим:
p
(t) = p(t), где p(t) – строка (распределение) вероят-
ностей состояний системы в момент времени t: p(t) = p1(t) p2(t) p3(t) …;
p
(t) – строка производных этих вероятностей.
Итак, для нахождения вероятностей состояний однородного марковского
процесса на некотором множестве состояний следует составить и решить систему дифференциальных уравнений А.Н. Колмогорова, которая может быть
записана в двух вариантах:
1) с помощью матрицы вероятностей состояний P(t) = P(t) при начальных
условиях P(0) = E, где E – единичная матрица;
2) с помощью строки вероятностей состояний
p
(t) = p(t) при начальном
условии p(0).
Различие между этими двумя видами матричных уравнений заключается в
том, что в первом случае решение находится в виде матрицы P(t), в котором
любое состояние может быть начальным, а во втором случае решение находит-
ся в виде строки p(t) с начальными условиями, заданными начальным распределением p(0).
Правило составления уравнений Колмогорова в матричной форме:
1. Составить матрицу интенсивностей .
2. Записать матричное дифференциальное уравнение P(t) = P(t) или
p
(t) = p(t).
30
Одним из возможных путей решения матричных дифференциальных урав-
нений является применение преобразования Лапласа, то есть решение уравнений операторным методом. Применим к полученным матричным дифференци-
альным уравнениям преобразование Лапласа, имея в виду, что x(s) x(t) и
sx(s) x(0) x(t), где s – комплексная переменная преобразования Лапласа.
Исходное дифференциальное
уравнение
P(t) = P(t)
p
(t) = p(t)
Преобразование Лапласа
s P(s) E = P(s)
sp(s) p(0) = p(s)
Решение уравнения относительно P(s) или p(s)
P(s) = (sE )1
p
(s) = p(0) (sE )1
Нахождение вероятностей
состояний с помощью обратного
преобразования Лапласа
P(t) P(s)
p
(t) p(s)
Система дифференциальных уравнений А.Н. Колмогорова имеет единственное решение при заданных начальных условиях.
Оба вида матричной системы дифференциальных уравнений могут быть использованы для нахождения вероятностей состояний как на множестве существенных, так и как на множестве несущественных состояний. При стохастиче-
ском начальном распределении p(0) для множества существенных состояний
матрица P(t) и строка p(t) также являются стохастическими (обладают свой-
ствами неотрицательности и нормированности), а для множества несущественных состояний их стохастичность нарушается.
Выводы. 1. Вероятности состояний однородного марковского процесса яв-
ляются решениями системы обыкновенных линейных однородных дифференциальных уравнений.
2. Система дифференциальных уравнений А.Н. Колмогорова может быть составлена по графу состояний в соответствии с приведенным правилом при заданном начальном состоянии.
3. При решении матричного дифференциального уравнения операторным
методом нужно выполнять обращение функциональной матрицы (sE ) и
пользоваться формулами обратного преобразования Лапласа.
Предельные вероятности эргодического марковского процесса
Эргодический марковский процесс – это такой марковский процесс, мно-
жество состояний которого образует одно эргодическое множество.
Понятие эргодического марковского процесса связано с предельными веро-
ятностями состояний. Предельной вероятностью j состояния sj эргодическо-
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]