4.3.3. Пуассоновские потоки событий и непрерывные марковские цепи

Рассмотрим некоторую физическую систему S={S₁,S₂,…S_n}, которая переходит из состояния в состояние под влиянием каких-то случайных событий (вызовы, отказы, выстрелы). Будем себе это представлять так, будто события, переводящие систему из состояния в состояние, представляют собой какие-то потоки событий.

Пусть система S в момент времени t находится в состоянии S_i и может перейти из него в состояние S_j под влиянием какого-то пуассоновского потока событий с интенсивностью l_ij: как только появляется первое событие этого потока, система мгновенно переходит из S_i в S_j . Как мы знаем, вероятность этого перехода за элементарный промежуток времени (элемент вероятности перехода) равна , отсюда вытекает, что плотность вероятности перехода l_ij в непрерывной цепи Маркова представляет собой не что иное, как интенсивность потока событий, переводящих систему по соответствующей стрелке. Если все потоки событий, переводящие систему S из состояния в состояние пуассоновские, то процесс, протекающий в системе, будет марковским.

Проставим интенсивности пуассоновских потоков (плотности вероятностей переходов) на графе состояний системы у соответствующих стрелок. Получим размеченный граф состояний. На его основе можно написать уравнения Колмогорова и вычислить вероятности состояний.

Пример. Техническая система S состоит из двух узлов I и II, каждый из которых независимо от другого может отказывать. Поток отказов первого узла пуассоновский с интенсивностью l_I, второго также пуассоновский с интенсивностью l_II. Каждый узел сразу после отказа начинает ремонтироваться (восстанавливаться). Поток восстановлений (окончаний ремонта узла) для обоих узлов – пуассоновский с интенсивностью l. Составить граф состояний системы и написать уравнение Колмогорова. Состояния системы: S₁₁ - оба узла исправны; S₂₁ – первый узел ремонтируется, второй исправен; S_12, S₂₂.

4.3.4. Предельные вероятности состояний

Пусть имеется физическая система S={S₁,S₂,…S_n}, в которой протекает марковский случайный процесс с непрерывным временем (непрерывная цепь Маркова).

Предположим, что l_ij=const, т.е. все потоки событий простейшие (стационарные пуассоновские). Записав систему дифференциальных уравнений Колмогорова для вероятностей состояний и проинтегрировав эти уравнения при заданных начальных условиях, мы получим p₁(t), p₂(t),… p_n(t), при любом t.

Поставим следующий вопрос, что будет происходить с системой S при t®¥.

Будут ли функции p_i(t) стремиться к каким-то пределам?

Эти пределы, если они существуют, называются предельными вероятностями состояний.

Теорема: если число состояний S конечно и из каждого состояния можно перейти (за то или иное число шагов) в каждое другое, то предельные вероятности состояний существуют и не зависят от начального состояния системы.

Предположим, что поставленное условие выполнено и предельные вероятности существуют (i=1,2,…n), .

Таким образом, при t®¥ в системе S устанавливается некоторый предельный стационарный режим.

Смысл этой вероятности: она представляет собой не что иное, как среднее относительное время пребывания системы в данном состоянии.

Для вычисления p_i в системе уравнений Колмогорова, описывающих вероятности состояний, нужно положить все левые части (производные) равными 0.

Систему получающихся линейных алгебраических уравнений надо решать совместно с уравнением .