4.2. Расчет марковской цепи с дискретным временем

Пусть имеется физическая система S с дискретными состояниями S₁, S₂, … S_n и дискретным временем t₁, t₂, … , t_k, … (шаги, этапы процесса, СП можно рассматривать как функцию аргумента (номера шага)). В общем случае СП состоит в том, что происходят переходы S_1 S_{1 } S_2 S_3 S_4 S_1 … в моменты t₁, t₂, t₃ ….

Будем обозначать событие, состоящее в том, что после k – шагов система находится в состоянии S_i. При любом k события образуют полную группу и несовместны. СП, происходящий в системе, можно представить как последовательность событий .

Такая случайная последовательность событий называется марковской цепью. Будем описывать марковскую цепь (МЦ) с помощью вероятностей состояний. Пусть – вероятность того, что после k - шагов система находится в состоянии S_i. Легко видеть, что k . Поставим задачу: найти вероятности состояний системы для любого k.

Для любого шага (момента времени t₁, t₂, … , t_k) существуют какие-то вероятности перехода системы из любого состояния в любое другое (некоторые из них равны нулю, если непосредственный переход за один шаг невозможен), а также вероятности задержки системы в одном состоянии. Будем их называть переходными вероятностями МЦ. Марковская цепь называется однородной, если переходные вероятности не зависят от номера шага, в противном случае - неоднородная МЦ. Рассмотрим однородную МЦ.

Пусть S= S₁, S₂, … S_n. Обозначим переходные вероятности через P_ij. Пусть известна матрица

.

Пользуюсь введенными выше событиями , переходные вероятности можно написать как условные вероятности: . Сумма членов в каждой строке матрицы должна быть равна 1. Вместо матрицы переходных вероятностей часто используют размеченный граф состояний (обозначают на дугах ненулевые вероятности переходов, вероятности задержки не требуются, поскольку они легко вычисляются, например P₁₁=1-(P₁₂+P₁₃)). Имея в распоряжении размеченный граф состояний (или матрицу переходных вероятностей) и зная начальное состояние системы, можно найти вероятности состояний p₁(k),p₂(k),…p_n(k) k.

Пусть начальное состояние системы S_m, тогда

p₁(0)=0 p₂(0)=0… p_m(0)=1… p_n(0)=0.

Первый шаг:

p₁(1)=P_m1, p₂(1)=P_m2,…p_m(1)=P_mm,… ,p_n(1)=P_mn.

После второго шага по формуле полной вероятности получим:

p₁(2)=p₁(1)P₁₁+p₂(1)P₂₁+…p_n(1)P_n1,

p_i(2)=p₁(1)P_1i+p₂(1)P_2i+…p_n(1)P_ni или .

Для произвольного шага k получаем:

(i=1,2,..n).

Для неоднородной МЦ переходные вероятности зависят от номера шага. Обозначим переходные вероятности для шага k через .

Тогда формула для расчета вероятностей состояний приобретает вид:

.

4.3. Марковские цепи с непрерывным временем

4.3.1. Уравнения Колмогорова

На практике значительно чаще встречаются ситуации, когда переходы системы из состояния в состояние происходит в случайные моменты времени, которые заранее указать невозможно: например, выход из строя любого элемента аппаратуры, окончание ремонта (восстановление) этого элемента. Для описания таких процессов в ряде случаев может быть с успехом применена схема марковского случайного процесса с дискретными состояниями и непрерывным временем – непрерывная цепь Маркова. Покажем, как выражаются вероятности состояний для такого процесса. Пусть S={S₁,S₂,…S_n}. Обозначим через p_i(t) - вероятность того, что в момент t система S будет находиться в состоянии ). Очевидно . Поставим задачу – определить для любого t p_i(t). Вместо переходных вероятностей P_ij введем в рассмотрение плотности вероятностей перехода

.

Если не зависит от t, говорят об однородной цепи, иначе - о неоднородной. Пусть нам известны для всех пар состояний (задан размеченный граф состояний). Оказывается, зная размеченный граф состояний можно определить p₁(t),p₂(t)..p_n(t) как функции времени. Эти вероятности удовлетворяют определенного вида дифференциальным уравнениям, (уравнения Колмогорова).

Рис. 4.2. Пример составления уравнений Колмогорова

Интегрирование этих уравнений при известном начальном состоянии системы даст искомые вероятности состояний как функции времени. Заметим, что p₁+p₂+p₃+p₄=1 и можно обойтись тремя уравнениями.

Правила составления уравнений Колмогорова. В левой части каждого уравнения стоит производная вероятности состояния, а правая часть содержит столько членов, сколько стрелок связано с данным состоянием. Если стрелка направлена из состояния, соответствующий член имеет знак минус, если в состояние - знак плюс. Каждый член равен произведению плотности вероятности перехода, соответствующего данной стрелке, умноженной на вероятность того состояния, из которого исходит стрелка.