11.5. Непрерывный марковский процесс. Уравнения Колмогорова
Рассмотрим систему
,
в которой происходит марковский СП с
дискретными состояниями
.
Если переходы системы
из состояния в состояние происходит не
в фиксированные моменты
а в случайные моменты времени (что чаще
встречается в реальных задачах), то
такой процесс называется марковским
процессом с дискретными состояниями и
непрерывным временем.
Марковские СП данного
типа применяются при исследовании
(моделировании) реальных СМО. Состояние
системы будем характеризовать числом
требований (заявок) на обслуживание,
находящихся в системе. Предположим, что
переходы системы из состояния
в состояние
осуществляется под воздействием
пуассоновского потока с интенсивностью
.
Граф состояний системы с проставленными у стрелок интенсивностями называется размеченным (см. рис. 11.4).
Рис. 11.4. Размеченный граф СМО с четырьмя состояниями
Вероятностью
i – го состояния
называется вероятность
того, что в момент
система будет находиться в состоянии
.
Очевидно, что для любого момента
сумма вероятностей всех состояний
системы равна единице:
. (11.28)
Для нахождения этих
вероятностей,
– вероятностей состояниия системы
нужно решить систему обыкновенных
дифференциальных уравнений – уравнений
Колмогорова:
(11.29)
с начальными условиями
и условием нормировки (11.28).
Правила составления уравнений Колмогорова:
В левой части каждого уравнения стоит производная вероятности i – го состояния.
В правой части – сумма произведений вероятностей всех состояний (из которых направлены стрелки в данное состояние) на интенсивности соответствующих потоков событий минус суммарная интенсивность всех потоков, выводящих систему из данного состояния (стрелки потоков выходят из i – го состояния), умноженная на вероятность данного состояния.
Учитывая (11.29), или, что эквивалентно, выше сформулированные правила, запишем систему уравнений для СМО (рис.11.4):
(11.30)
В системе (11.30) независимых
уравнений на единицу меньше общего
числа уравнений. Поэтому для решения
системы необходимо добавить уравнение
(11.28). Естественно предположить, что в
начальный момент времени СМО находится
в состоянии
,
то есть начальные условия равны:
Уравнения Колмогорова
дают возможность найти все вероятности
как функции времени. Однако особый
интерес представляют вероятности
системы
в предельном стационарном режиме,
то есть при
,
которые называются предельными
(финальными) вероятностями состояний.
Показано, что если число состояний системы конечно и из каждого из них можно (за конечное число шагов) перейти в любое другое состояние, то предельные состояния существуют.
Предельная вероятность
состояния
имеет четкий смысл: она равна среднему
относительному времени пребывания
системы в этом состоянии. Например,
если предельная вероятность состояния
равна 0.5 (
),
то это значит, что в среднем 50% времени
система находится в состоянии
.
Так как предельные вероятности постоянны, то заменяя в уравнениях Колмогорова (11.29) их производные нулевыми значениями, получим систему линейных алгебраических уравнений (СЛАУ), описывающих стационарный режим. Для СМО, граф состояний которой представлен на рис.11.4, СЛАУ примет вид:
(11.31)
ПРИМЕР 7: Найти
предельные вероятности для системы
,
граф состояний которой представлен на
рис. 11.4 при следующих интенсивностях
потоков:
РЕШЕНИЕ: СЛАУ, описывающих стационарный режим для данной системы (11.31) с учетом значений интенсивностей потоков можно представить:
(11.32)
Здесь вместо одного "лишнего" уравнения системы (11.31) учли условие нормировки (11.28).
Решив систему (11.32), получим:
