2.4. Марковський процес із дискретними станами і безупинним часом. Рівняння Колмогорова для ймовірностей станів системи

Раніше ми розглянули М.П. із дискретними станами і дискретним (фіксованим) часом переходу системи із стану в стан.

Але на практиці, звичайно, переходи системи зі стану в стан трапляються не у фіксовані, а у випадкові моменти часу. Наприклад, вихід з ладу (відмова) будь-якого елемента апаратури може відбутися в будь-який, не фіксований, момент часу.

Визначення. Марковський процес із дискретними станами і безперервним часом називається безперервним марковським ланцюгом.

Позначимо P_i(t) - ймовірність того, що в t момент часу система буде знаходитися у стані S_i (i = 1; ... ; n). Тоді P_i(t) = 1, так як події S_i - повна група несумісних подій. Визначимо P_i(t). Для цього треба знати характеристики процесу, аналогічні перехідним ймовірностям марковського ланцюга. У випадку Н.М.Л. P_ij(t)=0, також як і ймовірність будь-якого окремого значення безперервного випадкової величини. Тому замість P_ij(t) вводяться в розгляд щільності ймовірностей переходу _ij.

Визначення. Щільність ймовірності переходу _ij

(2.17 )

де P_ij ( t) - ймовірність переходу системи із S_i у S_j за час t , причому _ij визначається тільки при i = j

З (2.17) випливає, що при малому t

P_ij ( t) = _ij t (2.18)

Визначення Якщо _ij(t) = _ij, тобто не залежать від t, то М.П. однорідний, якщо _ij(t), тобто _ij функція часу, то М.П. неоднорідний.

Наведемо приклад розміченого графа станів системи із станами S₁, S₂, S₃, S₄, мал.7, якщо ймовірності переходу, з огляду на (18), задаються щільностями переходу _ij.

Мал. 7

Покажемо, як, знаючи ij, можна визначити ймовірності станів P1(t); P2(t); P3(t); P4(t). Виявляється, ці ймовірності задовольняють системі диференційованих рівнянь, що називається рівняннями Колмогорова. Вирішуючи ці рівняння і знаходять Pi(t)

Покажемо методику виводу цих рівнянь на розглянутому прикладі. Знайдемо P₁(t), тобто що система в момент t буде знаходитися в стані S₁. Додамо t мале збільшення t і знайдемо P₁(t + t), тобто, що система в момент t + t буде знаходитися в S₁. Тоді з урахуванням (18)

P₁ (t + t) = P₁(t) . P₁₁( t) + P₃(t) . P₃₁( t) (2.19)

P₁₁ ( t) = 1 - P₁₂( t) = 1 - ₁₂ t; P₃₁( t) =  ₃₁ t

і

P₁ (t + t) = P₁(t) (1 - ₁₂ t) + P₃(t) .  ₃₁ t (2.20)

Звідси

(2.21)

Аналогічно можна одержати диференційовані рівняння для інших P_i(t)

P₂(t) = -(₂₃ + ₂₄) P₂(t) + ₁₂P₁(t) +₄₂P₄(t)

P₃(t) = -( ₃₁ + ₃₄) P₃(t) + ₂₃P₃(t) (2.22)

P₄(t) = - ₄₂ . P₄(t) + ₂₄P₂(t) + ₃₄P₃(t)

Рівняння (2.21) - (2.22) для ймовірностей системи і називаються рівняннями Колмогорова.

Інтегрування цієї системи рівнянь і дає нам шукані P_i(t) з урахуванням початкових умов: у якому стані знаходилась система S у момент t=0. Наприклад, у S₁.

Тоді P₁(0) = 1; P₂(0) = P₃(0) = P₄(0) = 0

Зауваження 1. З огляду на те, що P_i(t) = 1, одне з рівнянь можна виключити із системи. Наприклад, P₄ = 1 - (P₁ + P₂ + P₃) підставити в систему.

Зауваження 2. Всі рівняння із системи (2.21) - (2.22) побудовані по загальному правилу, яке можна сформулювати так:

1) у лівій частині кожного рівняння знаходиться похідна P_i(t), i = 1, ..., n, а права частина містить стільки членів, скільки стрілок пов'язано із даним станом S_i;

2) якщо стрілка спрямована із стану, відповідний член має знак мінус, у стояння плюс;

3) кожний член дорівнює добутку щільності ймовірності переходу _ij, що відповідає даній стрілці, помноженій на ймовірність того стана, із якого виходить стрілка.

Це плавило загальне для будь-якого числа станів П. і справедливе для будь-якого Н.М.Л.