4. Элементы теории случайных процессов

4.1 Понятие случайного процесса. Марковские случайные процессы.

Определение. Случайным процессом (или случайной функцией) называется соответствие, при котором каждому значению аргумента (в данном случае – моменту из промежутка времени проводимого опыта) ставится в соответствие случайная величина (в данном случае – состояние СМО).

Поэтому для решения задач теории массового обслуживания необходимо изучить случайный процесс, протекающий в СМО, т. е. необходимо построить и проанализировать его математическую модель. Математический анализ работы СМО существенно упрощается, если этот случайный процесс является Марковским, то есть удовлетворяет определенным требованиям.

Определение. Случайный процесс, протекающий в какой – либо системе S

называется Марковским, если он обладает следующим свойством: для любого момента времени вероятность любого состояния системы в будущем ( при ) не зависит от того, когда и каким образом система S пришла в это состояние.

Классификация Марковских случайных процессов производится в зависимости от непрерывности и дискретности множества значений функции Х(t) и параметра t.

Различают следующие основные виды Марковских случайных процессов:

- с дискретными состояниями и дискретным временем (цепи Маркова);

- с непрерывными состояниями и дискретным временем (Марковские последовательности);

- с дискретными состояниями и непрерывным временем (непрерывная цепь

Маркова);

- с непрерывным состоянием и непрерывным временем.

Далее рассмотрим Марковские процессы с дискретными состояниями и дискретным временем (цепи Маркова), а также Марковские процессы с дискретными состояниями и непрерывным временем (непрерывная цепь Маркова).

Если все потоки событий, переводящие систему S из состояния в состояние, − простейшие, то процесс, протекающий в системе, будет Марковским. Это и естественно, так как простейший поток не обладает последействием: в нем «будущее» не зависит от «прошлого».

4. 2 Цепи Маркова

(Андрей Андреевич Марков (1856-1922) – русский математик, академик)

Определение. Цепью Маркова называется последовательность испытаний, в каждом из которых появляется только одно из k несовместных событий A_i из полной группы. При этом условная вероятность p_ij(s) того, что в s –ом испытании наступит событие A_j при условии, что в (s – 1) – ом испытании наступило событие A_i, не зависит от результатов предшествующих испытаний.

Независимые испытания являются частным случаем цепи Маркова. События называются состояниями системы, а испытания – изменениями состояний системы.

Определение. Однородной называется цепь Маркова, если условная вероятность p_ij перехода системы из состояния i в состояние j не зависит от номера испытания. Вероятность p_ij называется переходной вероятностью.

Допустим, число состояний конечно и равно k.

Тогда матрица, составленная из условных вероятностей перехода будет иметь вид:

.

Эта матрица называется матрицей перехода системы.

Так как в каждой строке содержаться вероятности событий, которые образуют полную группу, то, очевидно, что сумма элементов каждой строки матрицы равна единице.

На основе матрицы перехода системы можно построить так называемый граф состояний системы, его еще называют размеченный граф состояний. Это удобно для наглядного представления цепи. Порядок построения граф рассмотрим на примере.

Пример. По заданной матрице перехода построить граф состояний:

.

Решение.

Данная матрица четвертого порядка, поэтому система имеет 4 возможных состояния.

S₁

0,2 0,7

S₂ 0,4 S₄

0,6 0,5

0,1 S₃ 0,5

На графе не отмечаются вероятности перехода системы из одного состояния в то же самое. При рассмотрении конкретных систем удобно сначала построить граф состояний, затем определить вероятность переходов системы из одного состояния в то же самое (исходя из требования равенства единице суммы элементов строк матрицы), а затем составить матрицу переходов системы.

Пусть P_ij(n) – вероятность того, что в результате n испытаний система перейдет из состояния i в состояние j, r – некоторое промежуточное состояние между состояниями i и j, p_ij(1) = − вероятность перехода системы за один шаг.

Тогда вероятность P_ij(n) может быть найдена по формуле, называемой равенством Маркова:

.

Здесь т – число шагов (испытаний), за которое система перешла из состояния i в состояние r.

В принципе, равенство Маркова есть видоизменая формула полной вероятности.

Зная переходные вероятности (т.е. зная матрицу перехода Р₁), можно найти вероятности перехода из состояния в состояние за два шага P_ij(2), т.е. матрицу Р₂, зная ее – найти матрицу Р₃, и т.д.

Непосредственное применение полученной выше формулы не очень удобно, поэтому, можно воспользоваться приемами матричного исчисления (ведь эта формула по сути – не что иное как формула перемножения двух матриц).

Тогда в общем виде можно записать: .

Пример. Задана матрица переходов Р₁. Найти матрицу Р₃.

,

,

.

Определение. Матрицы, суммы элементов всех строк которых равны единице, называются стохастическими. Если при некотором п все элементы матрицы Р^п не равны нулю, то такая матрица переходов называется регулярной.

Другими словами, регулярные матрицы переходов задают цепь Маркова, в которой каждое состояние может быть достигнуто через п шагов из любого состояния. Такие цепи Маркова также называются регулярными.

Теорема. (теорема о предельных вероятностях) Пусть дана регулярная цепь Маркова с п состояниями и Р – ее матрица вероятностей перехода. Тогда существует предел и матрица Р^(¥) имеет вид:

Т.е. матрица состоит из одинаковых строк.

Числа u₁, u₂, …, u_n называются предельными вероятностями. Эти вероятности не зависят от исходного состояния системы и являются компонентами собственного вектора матрицы Р^Т (транспонированной к матрице Р).

Этот вектор полностью определяется из условий:

Пример. Найдем предельные вероятности для рассмотренного выше примера.

.

C учетом того, что u₁ + u₂ = 1, получаем:

Получаем: .

4.3 Непрерывные цепи Маркова. Уравнения Колмогорова.

Рассмотрим математическое описание Марковского случайного процесса с дискрет­ными состояниями и непрерывным временем на следующем примере.

Пример. Техническое устройство S состоит из двух узлов, каждый из которых в слу­чайный момент времени может выйти из строя (отказать), после чего мгновенно начинается ремонт узла, продолжающийся заранее неизвестное случайное время.

Возможные состояния системы можно перечислить: S₀ - оба узла исправны; S_] -первый узел ремонтируется, второй исправен; S₂ - второй узел ремонтируется, первый ис­правен; S₃ - оба узла ремонтируются.

Будем полагать, что все переходы системы из состояния в происходят

под воз­действием простейших потоков событий с интенсивностями

так, переход системы из состояния S₀ в S₁ будет происходить под воздействием потока отказов первого узла, а обратный переход из состояния S₁ в S₀ - под воздействием потока «окончаний ре­монтов» первого узла и т.п. Граф состояний системы с проставленными у стрелок интенсивностями называют размеченным (рис. 2).

Рис. 2.

На графе отсутствуют стрелки из S₀ в S₃ и из S₁ в S₂. Это объясняется тем, что вы­ходы узлов из строя предполагаются независимыми друг от друга и, например, вероятностью одновременного выхода из строя двух узлов (переход из S₀ в S₃) или одновременного окон­чания ремонтов двух узлов (переход из S₃ в S₀) можно пренебречь.

Пусть − вероятность того, что в момент t система будет находится в состоянии . При этом для любого t .

Рассмотрим систему в момент t и, задав малый промежуток , найдем вероятность p₀(t + t) того, что система в момент t + t будет находиться в состоянии S₀. Это дости­гается разными способами: 1) система в момент t с вероятностью p (t) находилась в состоянии S_0, а за время t не вышла из него; 2) система в момент t с вероятностями p₁(t) (или p₂(t) находилась в состоянии S₁ или S₂ и за время перешла в состояние S _.

1) Найдем вероятность первого варианта. Вывести систему из состояния S (см. рис.2) можно суммарным простейшим потоком (при наложении двух простейших потоков, как уже отмечалось, получается опять простейший поток) с интенсивностью , т.е. с вероятностью, приближенно равной ( ) . А вероятность того, что система не выйдет из состояния S₀, равна 1 —( ) . . Вероятность того, что сис­тема будет находиться в состоянии S₀ и не выйдет из него за время (т.е. вероятность первого варианта), равна по теореме умножения вероятностей:

2) Найдем вероятность второго варианта. Под действием потока интенсивностью (или ) (см. рис. 2) система перейдет в состояние S₀ с вероятностью, приближенно равной . Вероятность того, что система будет находиться в состоянии S₀ по этому способу равна (или ).

Применяя теорему сложения вероятностей (для попарно несовместимых событий), получим:

откуда

Переходя к пределу при (приближенные равенства перейдут в точные), получим левой части уравнения производную

(обозначим ее для простоты ):

.

Получено дифференциальное уравнение первого порядка. Рассуждая аналогично для других состояний системы S ,можно получить систему дифференциальных уравнений Колмогарова для вероятностей состояний:

(1)

Сформулируем правило составления уравнений Колмогорова. В левой части каждого из них стоит производная вероятности i-го состояния. В правой части – сумма произведений вероятностей всех состояний, из которых идут стрелки в данное состояние ,умноженные на интенсивности соответствующих потоков событий ,минус суммарная интенсивность всех потоков выводящих систему из данного состояния, умноженная на вероятность данного (i-го) состояния.

Дифференциальные уравнения Калмогорова можно составить по матрице плотностей вероятностей переходов. Для составления дифференциального уравнения Колмогорова для функции p_i(t), i=1,2, … ,n необходимо в левой части уравнения записать производную функции p_i(t), а в правой части уравнения – произведение суммы элементов i-ой строки матрицы плотностей вероятностей на вероятность p_i(t) состояния Si (номер которой совпадает с номером взятой строки) со знаком минус, плюс сумму произведений элементов i-ого столбца на соответствующие им вероятности p_i(t). Система дифференциальных уравнений Колмогорова составленная, например, по матрице плотностей вероятностей переходов имеет

следующий вид:

Итак, составлять систему дифференциальных уравнений Колмогорова можно либо по размеченному графу состояний, либо по матрице плотностей вероятностей переходов.

В системе (1) независимых уравнений на единицу меньше общего числа уравнений. Поэтому для решения системы необходимо добавить уравнение

Уравнения Колмогорова дают возможность найти все вероятности состояний как функции времени.

Особый интерес представляют вероятность системы в предельном стационаром режиме, т.е. при , которые называются предельными (финальными) вероятностями состояний.

В теории случайных процессов доказывается, что если число состояний системы конечно и из каждого из них можно (за конечное число шагов) перейти в любое другое состояние, то предельные вероятности существуют.

Предельная вероятность состояний S_i имеет четкий смысл: она показывает среднее относительное время пребывания системы в этом состоянии. Например, если предельная вероятность состояния S₀, т.е =0,5, то это означает, что в среднем половину времени система находится в состоянии S_0.

Так как предельные вероятности постоянны, то, заменяя в уравнениях Колмогорова их производные нулевыми значениями, получим систему линейных алгебраических уравнений, описывающих стационарный режим. Для системы S с графом состояния на рис.2, такая система уравнений имеет вид:

(2)

Систему можно составить непосредственно по размеченному графу состояний, если руководствоваться правилом, согласно которому слева в уравнениях стоит предельная вероятность данного , умноженная на суммарную интенсивность всех потоков, ведущих из данного состояния ,а справа – сумма произведений интенсивностей всех потоков, входящих в i−ое состояние , на вероятностей тех состояний, из которых эти потоки исходят.

Эту систему из четырех уравнений с четырьмя неизвестными , , , , казалось бы, вполне можно решить. Но вот беда: уравнения (2) однородны ( не имеют свободного члена) и, значит, определяют неизвестные только с точностью до произвольного множителя. К счастью, мы можем воспользоваться нормировочным условием и с его помощью решить систему. При этом одно (любое) из уравнений можно отбросить (оно вытекает как следствие из остальных).

Пример1. Найти предельные вероятности для системы S при

Решение. Система алгебраических уравнений, описывающих стационарный режим для данной СМО, имеет вид (2) или

(3)

(Здесь вместо одного «лишнего» уравнения системы (2) записали нормировочное условие). Решив систему (3), получим , , , , т.е. в предельном стационарном режиме система S в среднем 40% времени будет находиться в состоянии S₀ (оба узла исправны), 20% - в состоянии (первый узел ремонтируется, второй работает), 27% - в состоянии (второй узел ремонтируется, первый работает) и 13% времени – в состоянии (оба узла ремонтируются).

Пример 2. Найти средний чистый доход от эксплуатации в стационарном режиме системы S в условиях предыдущего примера, если известно ,что в единицу времени исправная работа первого и второго узлов приносит доход соответственно в 10 и 6 ден.ед ., а их ремонт требует затрат соответственно в 4 и 2 ден.ед. Оценить экономическую эффективность имеющейся возможности уменьшения вдвое среднего времени ремонта каждого из двух узлов, если при этом придется вдвое увеличить затраты на ремонт каждого узла(в единицу времени).

Решение. Из предыдущего примера следует, что в среднем первый узел исправно работает долю времени, равную ,а второй узел - . В то же время первый узел находится в ремонте в среднем долю времени, равную ,а второй узел - . Поэтому средний чистый доход за единицу времени от эксплуатации системы, т.е. разность между доходами и затратами, равен

ден.ед.

Уменьшение вдвое среднего времени ремонта каждого из узлов будет означать увеличение вдвое интенсивностей потока «окончаний ремонтов» каждого узла. Это следует из равенства для показательного распределения (потоков) с параметром , о котором упоминалось ранее. Напомним, что а – это математическое ожидание случайной величины Т – промежутка времени между произвольными двумя соседними событиями в простейшем потоке. Таким образом, теперь интенсивности потоков событий будут равны: , , , (остальные остались прежними).

При этом система линейных алгебраических уравнений примет вид:

Решив систему, получим, , , , .

Учитывая, что

а затраты на ремонт первого и второго узлов составляют теперь соответственно 8 и 4 ден.ед., вычислим средний чистый доход в единицу времени:

ден.ед.

Так как Д больше Д примерно на 21% ( ), то экономическая целесообразность ускорения ремонтов узлов очевидна.