4. Анализ марковских процессов.

Пусть, есть СМО с состояниями S₀ , S₁ , S₂ , ... S_n .

S₀ – в СМО нет заявок ,

S₁ – в СМО находится одна заявка ,

S₂ – в СМО находится 2 заявки ,

и т.д.

Во времени СМО переходит из одного состояния в другое.

Типы марковских процессов:

а) с дискретным временем перехода (моменты перехода заранее четко определены)

б) с непрерывным временем перехода (переход не определен, случаен).

Отметим, что марковские процессы обладают свойством безпоследействия.

4.1. Марковские процессы с дискретными состояниями и дискретным временем перехода

Пусть, система находится в состоянии S_i , где i = 1, 2, ..., n.

Для задания марковского процесса необходимо определить матрицу вероятностей перехода из одного состояния в другое.

Пример матрицы переходов:

S₀ S₁

S₀ 0,3 0,7

S₁ 0,5 0,5

Для заданной матрицы граф переходов имеет вид:

Т.к. на каждом следующем шаге система переходит в другое состояние, поэтому

= 1

Пусть задан вектор вероятностей в первый момент времени:

.

Какова вероятность нахождения системы в состоянии i после первого перехода?

, i=1,2 ... n (4)

В векторном виде (4):

На k-ом шаге получим уравнение:

При устремлении k к бесконечности получим вектор предельных вероятностей:

Вектор предельных вероятностей находится из уравнения:

4.2. Марковские процессы с дискретными состояниями и непрерывным временем перехода

Пусть, система имеет S_i (i=0,1,...n) состояний.

Моменты перехода - случайная величина, матрица интенсивностей перехода.

За время вероятность перехода равна.

Рассмотрим случай с двумя состояниями.

Составим конечно-разностное уравнение для определения .

Для первого состояния:

(5)

(6)

Из (5) получим:

(7)

Из (6) получим

(8)

Следует иметь в виду, что в любой момент :

Примем за начальное состояние системы , тогда решением дифференциального уравнения (7) будет:

(9)

(10)

Графически (9) и (10) представлен на рис. 2.

Рис.2. Решение системы уравнений марковского процесса.

При стремлении к бесконечности получим предельные вероятности:

Для определения и приравняем производные из системы к нулю:

Получим:

Рассмотрим общий строй для четырех состояний. Для простоты изображения размеченного графа будем опускать.

Рис.3. Размеченный граф.

Система дифференциальных уравнений для данного графа приведена ниже.

В общем виде, когда число состояний S_i (i=1, ... n) система уравнений примет вид:

Эту систему уравнений по имени автора называют системой уравнений Колмогорова.

Для случая предельных вероятностей , получим:

,

для i=1,2,... n.