Уравнения Колмогорова для вероятностей состояния

Пусть рассматривается система S, имеющая п возможных состояний S₁, S₂, S₃,...S_п.

Вероятностью i - го состояния называется вероятность того, что в момент t система будет находится в состоянии S_i.

Обозначим: P_i(t).

Для любого момента времени .

Имея в своём распоряжении размеченный граф состояний, можно найти все вероятности P_i (t) как функции от времени. Для этого составляются и решаются уравнения Колмогорова - особого вида дифференциальные уравнения, в которых неизвестными функциями являются вероятности состояний [5].

Составим, например, уравнение Колмогорова для системы, размеченный граф состояний которой приведён на рисунке 19.

Рисунок 19

(24)

Сформулируем общее правило составления уравнений Колмогорова.

Производная вероятности каждого i-го состояния системы равна сумме произведений вероятностей всех состояний, из которых идут стрелки в данное (i-е) состояние, на интенсивности соответствующих потоков минус произведение вероятности i-го состояния на суммарную интенсивность всех потоков, выводящих систему из данного состояния.

Составим уравнение Колмогорова для системы S, размеченный граф состояний которой приведён на рисунке 18, (система; состоящая из двух узлов, см. пункт 3.1.2.)

. (25)

Чтобы решить уравнения Колмогорова и найти вероятности состояний, надо задать начальные условия.

Например, уравнения (25) естественно решить при начальных условиях Р₁(0)=1, Р₂ (0)=Р₃ (0 )=Р₄(0)=0 (т.е. считаем, что в начальный момент оба узла исправны).

Заметим, что одно из уравнений системы ( любое ) можно всегда отбросить, учитывая, что P₁+P₂+....+ Р_п= 1.

Как решать уравнения Колмогорова?

Если число уравнений невелико (не более трёх), то их можно решать аналитически, как нормальную систему дифференциальных уравнений; при большем количестве уравнений систему решают с помощью ЭВМ. Решение этих уравнений даёт возможность найти вероятности состояний системы как функции от времени.

Финальные вероятности состояний

Поставим вопрос: Что будет происходить с вероятностями состояний при t→0? Будут ли Р₁ (t), P₂ (t),... стремиться к каким-либо пределам?

Если эти пределы существуют и не зависят от начального состояния системы, то они называются финальными вероятностями состояний.

Достаточные условия существования финальных вероятностей: если число п состояний системы конечно и из них можно (за конечное число шагов) перейти в любое другое, то финальные вероятности существуют.

, очевидно, что .

Финальные вероятности понимаются следующим образом: при t —>∞ в системе S устанавливается предельный стационарный режим, в ходе которого система случайным образом меняет своё состояние, но вероятности этих состояний уже не зависят от времени.

Финальные вероятности состояния S_i можно рассматривать как среднее относительное время пребывания системы в этом состоянии [18].

Например, если система S имеет три состояния S₁, S₂ и S3 и их финальные вероятности равны 0,2; 0,3; 0,5, это значит, что в предельном стационарном режиме система в среднем две десятые времени пребывает в состоянии S₁, три десятые в состоянии S₂, и половину времени в состоянии времени в состоянии S₃.

Вычисление финальных вероятностей

Если вероятности P₁, Р₂, ... постоянны, то их производные равны нулю, поэтому уравнения Колмогорова преобразуются в систему линейных алгебраических уравнений.

Если перенести отрицательный член каждого уравнения из правой части в левую, то получим сразу систему уравнений, где слева финальная вероятность данного состояния P_i, умноженная на интенсивность всех потоков, ведущих из данного состояния, а справа сумма произведений интенсивностей всех потоков, входящих в i-e состоянии, на вероятности те состояний, из которых эти потоки исходят.

Пример 30. Записать линейные алгебраические уравнения для финальных вероятностей известной нам системы (рис.8). Решить систему при λ₁₂ =1, λ₁₃=2, λ₂₁=2, λ₃₁=3.

Решение.

;

Чтобы решить систему однозначно, воспользуемся нормированным условием:

P₁+P₂+Р₃+Р₄= 1.

Четвёртое уравнение исключим:

,

Исключив Р₁ получим:

Решая систему, найдем Р₂=0,2; P₃=0,27; P₄=0,13; P₁=0,4, т.е. в предельном стационарном режиме система S в среднем 40% времени будет проводить в состоянии S_1, 20% - в состоянии S₂, 27% - в S_3, 13%- в S₄.

Знание финальных вероятностей может помочь оценить среднюю эффективность работы системы.

Пусть система S в состоянии S₁ приносит в единицу времени доход 8 (усл. ед.), в состоянии S₂ - 3, в S₃- 5, в S₄ - 0. (дохода нет). Тогда в предельном стационарном режиме доход в единицу времени составит

W = 0,4·8+0,2·3+0,27·5= 5,15 (усл.ед.).