Цепи Маркова с непрерывным временем

Марковский случайный процесс называется цепью Маркова с непрерывным временем, если переходы системы из состояния в состояние происходят не в фиксированные, а в случайные моменты времени.

Время наступления событий часто предсказать заранее невозможно. Например, любая деталь устройства или агрегат могут выйти из строя в любой, непредсказуемый момент времени. Описание таких, и гораздо более сложных ситуаций возможно при использовании формализма непрерывных цепей Маркова.

Пусть система характеризуется состояниями , и переход из состояния в состояние может происходить в любой момент времени. Обозначим через вероятность того, что в момент времени система будет находиться в состоянии . Требуется определить для любого момента времени вероятности состояний . При этом, очевидно, должно выполняться условие нормировки:

.

Для процесса с непрерывным временем вместо переходных вероятностей рассматриваются плотности вероятностей перехода , представляющие собой предел отношения вероятности перехода системы за время из состояния в состояние к величине :

, (1)

где – вероятность того, что система, пребывавшая в момент в состоянии , за время перейдет из него в состояние ; при этом всегда .

Если , то процесс называется однородным, если же , то – неоднородным.

При рассмотрении непрерывных марковских процессов принято считать, что переходы системы происходят под влиянием некоторых потоков событий.

Потоком событий называется последовательность событий, следующих одно за другим через какие-то случайные интервалы времени. Плотность вероятности перехода интерпретируется, как интенсивность соответствующих потоков событий. Если все эти потоки пуассоновские, то процесс, протекающий в системе, является марковским.

Марковские процессы удобно иллюстрировать с помощью графа состояний (Рис. 1), где кружками обозначены состояния системы, а стрелками – возможные ее переходы. Задержки в прежнем состоянии изображают «петлей», т.е. стрелкой, направленной из данного состояния в него же. Число состояний системы может быть как конечным, так и бесконечным.

Как правило, в графе состояний над стрелками проставляют соответствующие переходам интенсивности . Такой граф называют размеченным.

Уравнения Колмогорова

Пусть система имеет конечное число состояний и случайный процесс, протекающий в ней, характеризуется некоторыми вероятностями нахождения системы в каждом из состояний.

В случае марковской системы с непрерывным временем и конечным числом состояний их вероятности могут быть найдены с помощью решения системы дифференциальных уравнений Колмогорова:

, (2)

где .

Величина называется потоком вероятности перехода из состояния в состояние .

Уравнения Колмогорова составляют по размеченному графу состояний системы, пользуясь следующим правилом: производная вероятности каждого состояния равна сумме всех потоков вероятности, идущих из других состояний в данное состояние, минус сумма всех потоков вероятности, идущих из данного состояния в другие.

Решение системы уравнений Колмогорова необходимо задать начальное распределение вероятностей . Как правило, за исключением особенно простых систем, решение возможно получить лишь численными методами.