2.3 Расчет вероятностей состояний цепи Маркова в стационарном режиме

(стационарных вероятностей)

р(t)

1

p₀(t)

p₁(t)

t

переходной стационарный

режим режим

Пусть система может находиться в состояниях S_0, S_1, ... S_n

Р- матрица одношаговых переходных вероятностей.

p₀ , p₁ , ... p_n - стационарные вероятности состояний.

т.к. вероятности во времени не меняются, то

, i=0,1,2 ... n

Получим систему из (n+1) уравнений и (n+1) переменных.

Эта однородная система, она всегда имеет тривиальное решение.

Здесь существует нормирующее условие.

2.4 Однородные дискретные мп с непрерывным временем

S₀ ,S₁, ... , S_n – состояние МП.

Время теперь непрерывное. Переход из состояния в состояние происходит в произвольные моменты времени.

p_ij(t)- вероятность перехода из i в j за время t.

20. непрерывная величина.

Т.к. МП однородный , то

p_{i j}(t₀ , t )=p_ij(t)

текущий интервал

момент времени

2.4.1 Интенсивность перехода из Si в Sj

₀₁

Интенсивность ₁₀

, т.е. _ij есть предел отношения ₀₂ ₂₁

p_ij(t) к t, при t0.

Интенсивность – среднее число переходов из i – го состояния в j-ое состояние за единицу времени. Единица измерения (1/ед.времени).

2.4.2 Система уравнений Колмогорова для вероятностей состояний Марковского процесса с непрерывным временем

Рассмотрим дискретный Марковский процесс на интервале t,t + (t – текущее время);

S₀ ,…,S_n - состояния МП

- элемент матрицы переходных вероятностей.

Левую и правую части делим на и переходим к пределу, при

, j = 0,1,2…,n;

_______________________________________________________________

Это система дифференциальных уравнений Колмогорова для вероятностей

состояний дискретного МП с непрерывным временем

Для решения (т.е. для нахождения нужно задать начальные условия