1.4. Время перехода из одного состояния в другое для цепей Маркова с непрерывным временем

Пусть T_j(t) – длина интервала от текущего момента t до момента попадания цепи Маркова с непрерывным временем в j-е состояние.

Обозначим

.

Из определения (4) инфинитезимальных характеристик и по формуле полной вероятности, можно записать

,

откуда, выполнив несложные преобразования, получим равенство

, (12)

которое является неоднородной системой линейных алгебраических уравнений, определяющей среднее значение T_ij времени перехода из i-го состояния в состояние j.

Если i = j, то естественно T_ij = 0, поэтому при i = j определим T_jj(t) как длину интервала от текущего момента времени t, когда ξ(t) = j, до момента попадания цепи Маркова в состояние j после выхода цепи из этого состояния, тогда обозначив

,

по формуле полной вероятности, получим равенство

,

выполнив в котором несложные преобразования, запишем

. (13)

Здесь T_kj определяются системой (12), поэтому полученное равенство (13) однозначно определяет значение величины T_ij.

1.5. Статистический смысл финальных (стационарных) вероятностей

Уравнение (13) домножим на π_j, а уравнения системы (12) на π_i для всех i ≠ j и просуммируем полученные равенства, запишем

.

Полученное равенство, в силу (10), перепишем в виде

1+π_jq_jjT_jj=0.

Следовательно

. (14)

Здесь величина –1/q_jj > 0, её смысл определим ниже, а величина T_jj – среднее значение длины интервала от текущего момента времени, когда цепь Маркова находится в состоянии j до момента следующего её попадания в это состояние после выхода из него, следовательно T_jj равна сумме среднего значения остаточного времени пребывания цепи Маркова в j-ом состоянии и среднего значения T_j – длины интервала от момента выхода цепи Маркова из этого состояния до момента возвращения в это состояние.

1.6. Время пребывания цепи Маркова в j-ом состоянии

Пусть величина τ_j – остаточное время пребывания цепи Маркова в j-ом состоянии. Обозначим её закон распределения B_j(x)=P{τ_j ≥ x}, тогда, используя марковское свойство цепи, можно записать равенство

B_j(x+Δx) = p_jj(Δx)B_j(x) = {1 + q_jjΔx}B_j(x) + o(Δx) = B_j(x) +q_jj Δx B_j(x) + o(Δx),

выполнив в котором несложные преобразования, получим уравнение

,

определяющее вид функции B_j(x).

Из полученного дифференциального уравнения следует, что

B_j(x) = exp{q_jjx},

следовательно величина τ_j имеет экспоненциальное распределение с параметром –q_jj. В силу свойства отсутствия последействия экспоненциального распределения, полное (не остаточное) время пребывания цепи Маркова в j-ом состоянии также имеет экспоненциальное распределение с тем же параметром –q_jj. Среднее значение этого времени составляет –1/q_jj.

Таким образом равенство (14) можно переписать в виде

,

следовательно финальная (стационарная) вероятность π_j равна отношению среднего значения времени пребывания цепи Маркова в -ом состоянии к сумме этого значения и среднего значения T_j – времени возвращения в это состояние, то есть вероятность π_j имеет смысл доли времени проведённого цепью в состоянии j.