1.2. Дифференциальные уравнения Колмогорова

1.2.1. Обратная система дифференциальных уравнений Колмогорова

Матрица Q(t) инфинитезимальных характеристик q_ij(t), i, j ϵ X позволяет найти вероятности p_ij(s,t) для любых s<t. Рассмотрим уравнение Чепмена-Колмогорова

.

Из обеих частей этого уравнения вычтем p_ij(s,t) и разделим на Δs, получим

Выполнив здесь предельный переход при Δs → 0, запишем

. (5)

Эта система уравнений называется обратной системой дифференциальных уравнений Колмогорова.

Для однородных цепей Маркова она примет вид

. (6)

Совместно с начальными условиями

(7)

система уравнений (6) однозначно определяет вероятности переходов однородной цепи Маркова.

Для неоднородных цепей Маркова краевые условия для системы (5) заданы на правой границе s=t области изменения переменной s и определяются условием стохастической непрерывности процесса аналогично (7) в виде

Обратная система уравнений применяется, главным образом, для нахождения значений функционалов от цепей Маркова следующего вида

.

Домножив уравнения системы (5) на f(j), и суммируя их по j, получим равенство

,

которое является системой дифференциальных уравнений относительно значений функционала u(i,s).

1.2.2. Прямая система дифференциальных уравнений Колмогорова

Обратимся вновь к уравнению Чепмена-Колмогорова

.

Выполнив преобразования аналогичные предыдущим, нетрудно получить систему

. (8)

которая называется прямой системой дифференциальных уравнений Колмогорова. Для однородных цепей Маркова прямая система уравнений имеет вид

. (9)

Если к этой системе добавить начальные условия (7), то переходные вероятности p_ij(t) определяются однозначно. Если число состояний системы конечно, то решение прямой и обратной систем уравнений совпадают.

Для неоднородных цепей Маркова для системы (8) краевые условия заданы на левой границе области изменения переменной t и определяются условием стохастической непрерывности цепи Маркова в виде

.

Прямую систему уравнений можно применять для нахождения распределения вероятностей P(j,t)=P{ξ(t)=j} состояний системы. Пусть

q(i,s)= P{ξ(s)=i}

начальное распределение вероятностей значений цепи Маркова в момент времени s, тогда по формуле полной вероятности запишем

,

поэтому, домножив уравнения системы (8) на q(i,s) и суммируя их по i, получим равенства

,

которые являются системой дифференциальных уравнений относительно вероятностей P_i(t) значений цепи Маркова. Для этой системы начальные условия, определяемые в момент времени s имеют вид

P_i(s) = q(i,s),

где q(i,s) – заданное распределение вероятностей.

1.3. Финальные вероятности

Можно показать, что для однородной неразложимой цепи Маркова с конечным числом состояний существует предел

,

не зависящий от i, который называется финальной вероятностью j-го состояния, а их совокупность финальным распределением.

Доказано, что в этих условиях существуют пределы

,

поэтому при t → ∞ систему (9) можно записать в виде

. (10)

Естественно, что финальное распределение удовлетворяет условию нормировки

. (11)

Если для однородной цепи Маркова для системы дифференциальных уравнений в качестве начального распределения q_i(s) выбрать финальное π_i, то решение P_i(t) этой системы совпадает с финальным распределением, то есть для любых t ≥ s выполняется равенство

P_i(t) ≡ π_i .