Уравнения Колмогорова для вероятностей состояний. Предельные вероятности состояний.

Рассмотрим марковский процесс с дискретными состояниями и непрерывным временем. Пример такого процесса: при работе электронного устройства возникают сбои. Если устройство дает сбой, то он немедленно обнаруживается, и обслуживающий персонал приступает к ремонту. Ремонт длится случайное время, затем электронное устройство снова в работе. Изобразим граф состояний:

S₀-электронное устройство функционирует,

S₁- ремонтируется

Переход системы из состояния S₀ в состояние S₁ будем представлять так: как только появится неисправность происходит мгновенный перескок системы из S₀ в S₁. Поток сбоев простейший с интенсивность 𝞴 сбоев в час.

После ремонта происходит мгновенный перескок системы из S₁ в S₀. Ремонт происходит с интенсивностью µ.

Назовём вероятностью j –го состояния вероятность P_j(t) того, что в момент t система будет находится в состоянии S_j. Очевидно, что для любого момента t сумма всех вероятностей состояний равна единице:

Имея в своём распоряжении граф, можно найти все вероятности состояний P_j(t) как функции времени. Для этого нужно составить уравнения Колмогорова.

Система S имеет два состояния. Рассмотрим состояние S₀. Определим вероятность P₀(t). Это вероятность того, что в момент t система будет в состоянии S₀. Придадим t малое приращение Δt и найдём P₀(t+Δt), т. е. в момент t+Δt система будет в состоянии S₀. Как это может произойти?

Очевидно, есть два варианта:

1) в момент t система была в состоянии S₀ и за время Δt не вышла из него;

2) в момент t система была в состоянии S₁, а за время Δt перешла в состояние S₀.

Первый вариант представляет произведение двух событий. Первое событие – в момент t система была в состоянии S₀, второе - за время Δt система не вышла из состояния S₀.Вероятность первого события P₀(t). Вероятность второго события вычислим через вероятность противоположного события: вероятность того, что за Δt система перейдёт в состояния S₁ равна 𝞴·Δt, вероятность того, что система за время Δt не выйдет из состояния S₀ равна 1-𝞴·Δt.

Тогда вероятность первого варианта равна произведению вероятностей этих событий, т. е. равна .

Второй вариант также представляет произведение двух событий: первое - в момент t система была в состоянии S₁, второе - за время Δt перешла в состояние S₀. Вероятность того, что - в момент t система была в состоянии S₁ равна ; вероятность того, что система перейдёт из S₁ в S₀ равна . Вероятность второго варианта равна .

Складывая вероятности обоих вариантов ( по правилу сложения вероятностей ), получим:

.

Преобразуем это равенство и разделим обе части его на , получим

.

Устремляя к нулю, в пределе получим

.

Рассуждая аналогично для второго состояния S₁ можно получить ещё дифференциальное уравнение

.

Итак, получили систему двух уравнений.

(6)

К этой системе дифференциальных уравнений добавим ещё одно уравнение

. (7)

Одно уравнение лишнее. Можно одно из уравнений исключить ( допустим второе уравнение в системе (6) ). Тогда получим систему:

Уравнения Колмогорова – линейные дифференциальные уравнения с постоянными коэффициентами, которые можно решить аналитически, задав начальные условия, к примеру: .

Сформулируем правило составления уравнений Колмогорова:

в левой части каждого из них стоит производная j – го состояния;

в правой части – сумма произведений вероятностей всех тех

состояний, из которых идут линии в данное j состояние, на интенсивность соответствующих потоков событий, минус суммарная интенсивность всех потоков, выводящих систему из данного состояния, умноженная на вероятность данного j – состояния.

Таким образом, уравнения Колмогорова дают возможность найти все вероятности состояний как функции времени.

Поставим теперь вопрос: что будет происходить с вероятностями состояний при ?

Предположим, что существуют пределы

где

Если пределы существуют, то их называют предельными вероятностями состояний.

В теории случайных процессов доказывается, что если число состояний n системы конечно и из каждого из них можно ( за конечное число шагов ) перейти в любое другое, то предельные вероятности существуют.

Предельную вероятность состояния S_j можно истолковывать как среднее относительное время пребывания системы в этом состоянии.

Например, система S имеет три состояния S₁, S₂, S₃ и их предельные вероятности равны , и . Это значит, что в предельном стационарном режиме система в среднем две десятых времени проводит в состоянии S₁ , три десятых – в состоянии S₂ и половину времени – в состоянии S₃.

Если вероятности , постоянны, то их производные равны нулю. Уравнения Колмогорова ( 6 ) превращаются в систему линейных алгебраических уравнений:

Уравнения совпали. Но у нас есть еще одно уравнение, из формулы (7) имеем .

Итак, предельные вероятности состояний данной системы

определяются из системы алгебраических уравнений

. (8)

Решаем систему:

, , отсюда , тогда .

Пример №2. При работе электронного технического устройства возникают неисправности (сбои). Поток сбоев считается простейшим с интенсивностью 𝞴=0,5 сбоев в час. Если устройство дает сбой, то он немедленно обнаруживается, и обслуживающий персонал приступает к устранению неисправности (ремонту). Время ремонта распределено по показательному закону. Среднее время ремонта составляет τ=20 минут.

В начальный момент времени устройство исправно. Найти: а) вероятность того, что через час устройство будет работать; б) вероятность того, что за последующие Т=6 часов устройство даст хотя бы один сбой; в) предельные вероятности состояний.

Решение. По условию задачи поток сбоев считается простейшим с интенсивностью 𝞴=0,5 сбоев в час и описывается законом Пуассона.

а) Найдем вероятность того, что через час устройство будет работать, то есть за время t=1 час не появилось ни одного сбоя. Согласно закону Пуассона имеем

, .

Итак, вероятность того, что через час устройство будет работать, равна

б) Найдем вероятность того, что за последующие Т=6 часов устройство даст хотя бы один сбой. Событие «даст хотя бы один сбой» означает, что произойдет один сбой, или два, или три и так далее ( в принципе неограниченное число сбоев).. Вычислим вероятность того, что за время Т=6 часам произойдет хотя бы один сбой в промежутке от 1 часа до 7 часов. Для этого воспользуемся формулой: .

Тогда =0,576.

Итак, вероятность того, что устройство даст хотя бы один сбой в промежутке от 1 часа до 7 часов, равна 0,95

в) Найдем предельные вероятности состояний.

Изобразим граф состояний электронного устройства: S₀-электронное устройство функционирует, S₁- электронное устройство ремонтируется.

Переход системы из состояния S₀ в состояние S₁ будем представлять так: как только появится сбой происходит мгновенный перескок системы из состояния S₀ в состояние S₁. Поток сбоев простейший с интенсивность 𝞴 сбоев в час.

После ремонта происходит мгновенный перескок системы из состояния S₁ в состояние S₀. Время ремонта распределено по показательному закону. Среднее время ремонта это математическое ожидание , для показательного закона , где µ - интенсивность (µ- среднее число ремонтов, приходящихся на единицу времени). По условию задачи М(Т)=τ=20 минутам= часа, тогда µ=3.

Система S имеет два состояния. Рассмотрим вероятности состояний. Вероятность того, что в момент t система будет в состоянии S₀, обозначим через P₀(t); а в состоянии S₁ - через P₁(t).

Используем правило составления уравнений Колмогорова:

в левой части каждого из них стоит производная j – го состояния;

в правой части – сумма произведений вероятностей всех тех состояний, из которых идут линии в данное j состояние, на интенсивность соответствующих потоков событий,

минус суммарная интенсивность всех потоков, выводящих систему из данного состояния в другие, умноженная на вероятность данного j – состояния.

Согласно этому правилу получим систему дифференциальных уравнений:

К этой системе дифференциальных уравнений добавим ещё одно уравнение

.

Одно уравнение лишнее. Нужно выбрать только два уравнения, проще такой:

Из второго уравнения , подставим в первое, получим:

.

Это линейное дифференциальное уравнение первого порядка. Решение будем искать в виде , подставим в уравнение

Преобразуем (⍟), полагаем .

Это дифференциальное уравнение с разделяющимися переменными.

; ; ; ; .

Вернемся к уравнению (⍟), =µ; ;

, где С – произвольная постоянная.

Итак, общее решение уравнения

.

Определим произвольную постоянную С из начального условия: в начальный момент времени устройство исправно, то есть вероятность того, что система находилась в состоянии S₀ , равна 1.

; ; .

Таким образом, .

Теперь вычислим вероятность второго состояния =

= .

Итак, решение системы

Что будет происходить с вероятностями состояний при ?

При выражение , следовательно, предельные вероятности существуют и равны , .

Теперь подставим данные задачи 𝞴=0,5 и µ=3, получим:

, .

Итак, предельные вероятности состояний , .

Пример № 2 решен.