Балансовое уравнение

P_i ∙ P_ij – поток вероятностей, переводящий систему из состояния S_i в состояние S_j.

Полная вероятность перевода системы S из всех состояний i ( i ≠ j) в состояние j: , с другой стороны эта вероятность равна сумме вероятностей перехода из состояния j во все другие состояния:

i≠j

Правило балансового условия для S_j:

Для стационарного режима одинарный поток вероятностей, переводящий систему S в состояние S_j из других состояний равен суммарному потоку вероятностей, выводящему систему S из состояния S_j.

i≠j

Марковские процессы с непрерывным временем

Переход осуществляется под воздействием пуассоновского потока интенсивностью λ_ij(t). Если все потоки, переводящие систему из состояния в состояние пуассоновские, то процесс будет Марковским. Как только в системе произошло событие, то система переходит из одного состояния в другое.

Найдем вероятность того, что система за время Δt перейдет из состояния S_i в состояние S_j:

;

P(t, t + Δt) = λ_ij(t) Δt.

Найдем распределение вероятностей для состояний в любой момент времени t.

Зная все λ_ij(t) можно составить систему дифференциальных уравнений (система уравнений Маркова):

P_i(t) = P{S(t) = S_i}

Найдем P_i(t + Δt), вероятность того, что в момент времени t + Δt система находится в состоянии S_i, пусть это будет событие A = {S(t + Δt) = S_i},

Событие B – система была в состоянии S_i и осталась в нем;

Событие С – система была в состоянии S_j и за время t перешла в S_i.

А = В + С, Р(А) = Р(В) + Р(С).

P{S(t + Δt) = S_i / S(t) = S_i}– вероятность того, что за Δt система не выйдет из состояния i.

P(B) = P_i(t)∙P{S(t + Δt) = S_i / S(t) = S_i}

- вероятность того, что за Δt произошел какой-либо переход из состояния i в j

P(B) = P_i(t)∙(1 - )

С_j = P{S(t + Δt) = S_i / S(t) = S_j}

Р(А) = Р(В) + Р(С).

P_i(t + Δt) = P_i(t)∙(1 - ) +

уравнение Колмогорова

Чтобы решать задачу Коши для этой системы, зададим начальные условия.

Чтобы получить уравнения, пользуются размеченным графом состояний.

Вершины – состояния

Ребра – интенсивности потоков, переводящих систему из состояния в состояние.

Уравнение Колмогорова составляется по мнемоническому правилу:

Производная вероятности любого состояния равна сумме потоков вероятностей, переводящих систему в это состояние минус сумма потоков вероятностей, выводящих систему из этого состояния.

Если все интенсивности не зависят от времени λ_ij(t) = λ_ij, то Марковский процесс называется однородным, и для этого процесса в уравнениях Колмогорова все коэффициенты будут постоянными.

Пример. Система S представляет собой техническое устройство (ТУ), которое может находиться в одном из двух состояний:

S₁ – ТУ исправно (работает),

S₁ – ТУ неисправно (находится в ремонте).

На ТУ, находящееся в состоянии S₁, действует поток отказов с интенсивностью λ(t), переводящий ТУ в состояние S₂. На ТУ, находящееся в состоянии S₂, действует поток восстановлений с интенсивностью μ(t); оба потока – пуассоновские, независимые. Написать уравнение Колмогорова для вероятностей состояний и решить их, считая, что в начальный момент при t=0 ТУ исправно.

Начальные условия: P₁(0) = 1, P₂(0) = 0.

Решая это линейное дифференциальное уравнение, получим:

Рассмотрим частный случай, когда интенсивности λ(t), μ(t) не зависят от времени:

λ(t) = λ = const, μ(t) = μ = const.

, получим: откуда

при t→∞: .

, если выполняется это условие, то вероятности будут называться финальными или предельными, а процесс называется эргодическим марковским процессом. Для эргодического случайного марковского процесса вероятность того, что система будет находиться в i-м состоянии не зависит от того сколько времени прошло от начала процесса и не зависит от того в каком состоянии система находилась в начальный момент времени.

Теорема Маркова: Любой транзитивный однородный Марковский процесс с конечным числом состояний обладает эргодическим свойством.

Условия стационарности:

1. Множество состояний эргодично

2. Все потоки простейшие

3. Конечное число состояний.

Система, в которой протекает такой процесс, называется простейшей эргодической системой. В простейшей системе вероятности от времени не зависят: Уравнение Колмогорова примет следующий вид: .