Финальные вероятности состояний системы

Если процесс, протекающий в системе, длится достаточно долго, то имеет смысл говорить о предельном поведении вероятностей при . В некоторых случаях существуют финальные (предельные) вероятности состояний:

, .,

не зависящие от того, в каком состоянии система находилась в начальный момент. Говорят, что в системе устанавливается предельный стационарный режим, при котором она переходит из состояние в состояние, но вероятности состояний уже не меняются во времени. Система, для которой существуют финальные состояния, называется эргодической, а соответствующий случайный процесс – эргодическим.

Финальные вероятности системы могут быть получены путем решения системы линейных алгебраических уравнений, которые получаются из дифференциальных уравнений Колмогорова, если приравнять производные к нулю, а вероятностные функции состояний в правых частях уравнений Колмогорова заменить на неизвестные финальные вероятности

Таким образом, для системы с состояниями получается система линейных однородных алгебраических уравнений с неизвестными , которые можно найти с точностью до постоянного множителя. Для нахождения их точных значений к уравнениям добавляют нормировочное условие , пользуясь которым можно выразить любую из вероятностей через другие и отбросить одно из уравнений.

Рассмотрим следующий пример. Имеется размеченный граф состояний системы (рис. 2). Необходимо составить систему дифференциальных уравнений Колмогорова и записать начальные условия для решения этой системы, если известно, что в начальный момент система находилась в состоянии .

Рис. 2. Граф состояний системы из примера.

Решение. Согласно приведенному выше мнемоническому правилу, система дифференциальных уравнений Колмогорова имеет вид:

Начальные условия при : .

При функции стремятся к предельным (финальным) вероятностям состояний системы. Поскольку финальные вероятности не зависят от времени, в системе дифференциальных уравнений Колмогорова все левые части принимаем равными нулю. При этом система дифференциальных уравнений превратится в систему линейных алгебраических уравнений вида:

Решая ее с учетом условия , получим все предельные вероятности. Эти вероятности представляют собой среднее относительное время пребывания системы в каждом из состояний.

Финальные состояния марковской системы с непрерывным временем существуют при следующих условиях:

• плотности вероятности всех переходов не должны зависеть от времени ;

• из любого состояния системы возможен переход в любое другое состояние за конечное число шагов.

Например, для системы, изображенной на рис. 3, финальные вероятности не существуют

Рис. 3. Пример системы, для которой не существует финальных вероятностей.

В заключение рассмотрим одну из наиболее простых и часто встречающихся на практике разновидностей дискретных марковских цепей с непрерывным временем – так называемую схему гибели и размножения.

Схема гибели и размножения

Марковский процесс с дискретными состояниями называется процессом гибели и размножения, если все состояния можно вытянуть в цепочку, в которой каждое из промежуточных состояний может переходить только в соседние состояния, а крайние состояния переходят лишь в состояния и соответственно. Граф состояний такой системы приведен на рис. 4.

Рис. 4. Граф состояний для процесса гибели и размножения.

Название схемы взято из биологических задач, где состояние популяции означает наличие в ней особей.

На рис. 4 переход вправо соответствует увеличению популяции, влево – ее уменьшению. Таким образом можно определить как интенсивности размножения, а - как интенсивности гибели. Используется следующее соглашение: буквам и приписывается индекс того состояния, из которого выходит стрелка.

Процессом чистого размножения называется такой процесс, у которого интенсивности всех потоков гибели равны нулю; аналогично процессом чистой “гибели” называется процесс, у которого равны нулю интенсивности всех потоков размножения.

Предельные (финальные) вероятности состояний для простейшего эргодического процесса гибели и размножения, находящегося в стационарном режиме, определяются по следующим формулам:

В качестве примера решения системы уравнений схемы гибели и размножения рассмотрим эксплуатацию автомобилей в крупной транспортной фирме.

Интенсивность поступления автомобилей на предприятие равна . Каждый поступивший на предприятие автомобиль списывается через случайное время . Срок службы автомобиля распределен по показательному закону с параметром . Процесс эксплуатации автомобилей является случайным процессом. - число автомобилей данной марки, находящихся в эксплуатации в момент времени .

Рассмотрим два случая: 1) нет ограничений на число эксплуатируемых автомобилей, 2) на предприятии может эксплуатироваться не более автомобилей.

Если в начальный момент на предприятии не было ни одного автомобиля, то решать систему уравнений нужно при начальных условиях

.

Аналогично, если при эксплуатировалось автомобилей, то начальные условия имеют вид

Решение системы дифференциальных уравнений Колмогорова при произвольном виде функции не может быть найдено в аналитическом виде. Однако при постоянных интенсивностях потоков гибели и размножения и конечном числе состояний будет существовать стационарный режим. Система в этом случае является простейшей эргодической системой.

Если интенсивности потока поступления и списания автомобилей постоянны, то оказываются справедливы формулы:

1. Максимальное число автомобилей не ограничено

.

Математическое ожидание (среднее значение) числа эксплуатируемых автомобилей

;

2. При ограниченном

В этом случае математическое ожидание равно