2.3. Непрерывные цепи Маркова

Марковский случайный процесс с дискретными состояниями и непрерывным временем называется непрерывной цепью Маркова при условии, что переход системы из состояния в состояние про­исходит не в фиксированные, а в случайные моменты времени.

В экономике часто встречаются ситуации, которые указать за­ранее невозможно. Например, любая деталь или агрегат автомоби­ля могут выйти из строя в любой, непредсказуемый заранее мо­мент времени. Для описания таких систем в отдельных случаях можно использовать математический аппарат непрерывной цепи Маркова.

Пусть система характеризуется п состояниями S₀, S_1, S_2,..., S_n, а переход из состояния в состояние может осуществляться в любой момент времени. Обозначим по-прежнему через P_i (t) вероятность того, что в момент времени t система S будет находиться в состоянии S_i. Требуется определить для любого t вероятности P₀ (t), P₁ (t),... P_n (t).

Для процесса с непрерывным временем вместо переходных ве­роятностей p_ij рассматриваются плотности вероятностей перехода _, представляющие собой предел отношения вероятности перехо­да системы за время из состоянияS_i в S_j:_.

_.

Если = const, то процесс называетсяоднородным, если плот­ность вероятности зависит от времени =(t),то процесс – не­однородный.

При рассмотрении непрерывных марковских процессов приня­то представлять переходы системы S из состояния в состояние как происходящие под влиянием некоторых потоков событий. Потоком событий называется последовательность однородных событий, следующих одно за другим через какие-то, вообще говоря, случайные интервалы времени. Плотность вероятности перехода интерпретируется как интенсивность соответствующих потоков. Если все потоки пуассоновские, то процесс будет марковским.

При изучении марковских случайных процессов с дискретными состояниями и непрерывным временем в графе состояний над стрелками, ведущими из состояния S_i в S_j проставляют соответствующие интенсивности . Такой граф состояний называют размеченным.

Пусть система S имеет конечное число состояний S₀, S₁, ..., S_n. Случайный процесс, протекающий в этой системе, описывается вероятностями состояний Р₀ (t), P₁ (t), ... Р_n (t), при этом:

.

Вероятности состояний P_i (t) находятся путём решения системы дифференциальных уравнений Колмогорова, имеющих вид:

(2.3)

Уравнения составляют по размеченному графу состояний системы, пользуясь следующим мнемоническим правилом:

Производная вероятности каждого состояния равна сумме всех потоков ве­роятности, идущих из других состояний в данное состояние, минус сумма всех потоков вероятности, идущих из данного состояния в другие.

Например, для графа, изображённого на рис. 2.1, система уравнений Колмогорова имеет вид:

. (2.4)

Чтобы решить систему дифференциальных уравнений, нужно знать начальное распределение вероятностей. Обычно для решения таких систем применяют численные методы (Рунге-Кутта) и решают их в специальных программных средах, например Mathcad имеет функцию rkfixed, реализующую эту процедуру.