3.1.3 Формалізація марківського процесу з неперервним часом

Система характеризується n дискретними станами S₁ ,S₂,…,S_n, а перехід її із стану в стан може виконуватися в будь-який момент часу. Позначимо через P_i(t) ймовірність того, що в момент часу t система S буде знаходитись в стані S_i (i=1,2,…,n). Необхідно визначити для будь якого t імовірності станів p₁(t) , p₂(t) ,…, p_n(t).

Очевидно, що

.

Для процесу з неперервним часом замість перехідних імовірностей p_ij розглядається щільність імовірностей переходу _ij, яка являє собою границю відношення імовірності переходу системи за час t із стану S_i в стан S_j до довжини цього проміжку часу t.

_ij = , (3.4)

де P_ij(t) — імовірність переходу системи за час  t із стану S_і в стан S_j (причому ij ). При малій величині t : P_ij (t)=_ij .

Імовірності станів системи P₁(t), P₂(t),…, P_n(t) як функції від часу t можна визначити в результаті розв'язання системи диференційних рівнянь Колмогорова.

Для марківських процесів з дискретними станами i неперервним часом ці рівняння зручно складати, використовуючи розмічений граф станів, на якому стрілками зображують (рис.3.3) інтенсивність того потоку подій, який переводить систему із одного стану в другий.

Рисунок 3.3 – Розмічений граф з чотирма станами i відповідними щільностями імовірностей переходу

При складанні диференційних рівнянь станів системи застосовують так зване мнемонічне правило.

Число рівнянь в системі дорівнює числу можливих станів системи.

В лівій частині рівнянь проставляються перші похідні від імовірності перебування системи у відповідних станах за часом t. Права частина складає суму доданків, які дорівнюють числу стрілок, що з'єднують стан системи S_k з іншими станами системи, причому доданок беруть із знаком ''плюс'', коли стрілка спрямована у стан S_k , i знаком ''мiнус'', коли стрілка спрямована із стану S_k.

Кожний доданок дорівнює добутку ймовірності того стану, iз якого виходить стрілка, помноженій на інтенсивність або щільність імовірностей цих переходів.

Для зображеного на рисунку 3.3 розміченого графа станів система диференційних рівнянь Колмогорова, складених згідно з приведеними правилами, має вигляд:

(3.5)

Для стаціонарного сталого режиму система диференційних рівнянь перетворюється в систему лінійних алгебраїчних рівнянь:

(3.6)

Розв’язуючи цю систему рівнянь з урахуванням , одержимо всі граничні імовірності.

Математичний опис процесу граничного стану системи з допомогою систем диференційних рівнянь для будь-якого числа станів можна подати в математичній формі у вигляді

(3.7)

де P(S_i), P(S_j) – імовірність і-го й j-го станів системи;

k – число станів, в котрі може перейти система із даного стану;

sign – знакова функція “знак” (“+” або ”–”).

Викладена методика дослідження процесу функціонування системи може бути застосована в тих випадках, коли її функціонування можна розглядати як марківський випадковий процес.