4.4. Марковский случайный процесс

Основными математическими методами анализа функционирования систем являются марковские процессы.

Марковские процессы могут быть процессами, как с дискретным, так и с непрерывным временем.

Важным частным случаем марковского процесса является процесс Пуассона.

Основные виды марковских процессов:

– марковская цепь (дискретный марковский процесс с дискретным временем);

– марковская последовательность (непрерывный марковский процесс с дискретным временем;

– разрывной марковский процесс (дискретный марковский процесс с непрерывным временем);

– непрерывный марковский процесс (непрерывный марковский процесс с непрерывным временем);

– дискретный марковский процесс (дискретно-непрерывный марковский процесс).

Среди марковских процессов выделяются процессы, которые получили название «процессы гибели и размножения».

Марковский случайный процесс – это процесс, у которого в каждый момент времени вероятность любого состояния объекта в будущем зависит только от его состояния в настоящий момент времени и не зависит от того, каким образом объект пришел в это состояние. Следовательно, вероятность будущего состояния объекта не зависит от вероятности прошлого состояния, а только от вероятности настоящего состояния, состояния в данный момент времени. Таким образом, марковский процесс – это случайный процесс без последействия.

Рассмотрим систему, которая может находиться в трех состояниях (рис. 4.6). Это марковский процесс с дискретными состояниями и непрерывным временем.

L(t)

α₁

α₂

α₃

t₁ t₂ t

Рисунок 4.6.

Процесс L(t) может принимать только дискретные значения α₁, α₂, α₃. Моменты времени t₁, t₂ – моменты переходов из одного состояния в другое. Переход из одного состояния в другое происходит за время Δt. Не может быть перехода из одного крайнего состояния в другое.

Наиболее подходящим способом представления процесса перехода системы в различные состояния является граф переходов (состояний) (рис. 4.7), в котором вершины (узлы) соответствуют состояниям системы, а дуги указывают все возможные переходы системы из одного состояния в другое.

Рисунок 4.7.

На рисунке обозначены:

–вероятности переходов из одного состояния в другое за время Δt;

–вероятность сохранения i-го состояния за время Δt;

–интенсивности прямого и обратного переходов из одного состояния в другое за время Δt.

Вероятность перехода – это важнейшая характеристика марковского процесса.

Возможно представление вероятностного процесса, описываемого графом переходов, матрицей вероятностей переходов (или просто переходов)

Состояние системы в момент времени t определяется вектором с составляющимиP₀, P₁, и P₂ – вероятности состояний:

Для момента времени t +Δt состояние системы будет определяться вектором с такими же составляющими:

Переход из состояния системы для момента времени t в состояние для момента t +Δt осуществляется преобразованием вектора в векторс помощью транспонированной матрицы переходов:

Академик А.Н. Колмогоров предложил систему дифференциальных уравнений для определения вероятностей каждого из состояний системы (дифференциальные уравнения типа массового обслуживания). Рассмотрим получение дифференциальных уравнений Колмогорова на примере системы, которая может находиться в двух состояниях. Граф переходов (состояний) будет иметь вид (рис. 4.8).

Рисунок 4.8.

Матрица переходов

Определим компоненты вектора :

Так как , то получаем уравнения для определения вероятностей состояний системы

Данную систему уравнений можно записывать по графу переходов по следующему правилу (без предыдущих преобразований).

Вероятность того, что система в момент времени t +Δt будет находиться в 0-м состоянии равна вероятности того, что система в момент времени t находилась в 0-м состоянии и не перейдет из него за время Δt в первое состояние плюс вероятность того, что система в момент времени t находилась в первом состоянии и за время Δt перейдет из него в 0-е состояние (сумма вероятностей ситуаций).

Вероятность 1-й ситуации определяется произведением , вероятность 2-й ситуации определяется произведением.

Для второго уравнения аналогично.

Вероятности переходов с достаточной точностью можно выразить через интенсивности переходов:

Тогда уравнения состояний примут вид:

В каждом уравнении переносим в левую часть, получаеми уравнения можно записать:

Разделив левую и правую части уравнений на Δt и устремляя Δt к 0, имеем в левой части уравнений .

Дифференциальные уравнения Колмогорова для однородного марковского процесса принимают вид:

Эту систему дифференциальных уравнений решают при начальных условиях, задающих вероятности состояний в начальный момент времени при t = 0

Р₀(0), Р₁(0),

причем для любого момента времени выполняется нормировочное условие

при t ≥0.

Марковский процесс называется однородным, если закономерности его поведения на любом интервале времени t₂ – t₁, не зависят от расположения этого интервала на оси времени.

Дифференциальные уравнения можно составлять непосредственно по графу переходов по следующему правилу.

В левой части каждого уравнения записывается , а в правой части столько членов сколько стрелок связано с данным состоянием. Каждый член равен произведению интенсивности перехода (или), переводящей систему по данной стрелке, на вероятность того состояния, из которого исходит стрелка. Знак перед каждым членом зависит от направления перехода: если стрелка направлена в данное состояние (стрелка входит), то ставится знак плюс, если из данного состояния (стрелка выходит), то минус.

Можно пользоваться другим правилом: производная вероятности каждого состояния равна сумме всех потоков вероятности, идущих из другого состояния в данное, минус сумма всех потоков вероятности, идущих из данного состояния в другое

где n – количество вершин графа (состояний), из которых стрелки

(переходы) идут в данное (i) состояние;

m – количество вершин графа (состояний), в которые направлены стрелки (переходы) из данного (i) состояния;

Р_i(t) – вероятность данного i-го состояния;

Р_j(t) – вероятности состояний, из которых стрелки (переходы) идут

в данное (i) состояние.

Решение полученной системы уравнений, т.е. нахождение вероятностей состояний Р₀(t) и Р₁(t), производится с помощью преобразования Лапласа. При этом проводится замена

Р(t) → Р(z)

Если число уравнений больше двух – трех, то обычно их решают численно – вручную или на ЭВМ.

Решение существенно упрощается, если рассматриваемый процесс является марковским стационарным процессом, для которого , т.е. вероятности состояний становятся постояннымиР_i(t) = Р_i = const. В этом случае система дифференциальных уравнений становится системой алгебраических уравнений.

Отметим, что описание функционирования системы можно выполнять с помощью интегральных уравнений [36].