Лабораторная работа №2 Размеченные графы состояний системы. Система уравнений а. Н. Колмогорова

Марковский случайный процесс с дискретным множеством состояний и непрерывным временем (непрерывная цепь Маркова)

Важнейшей вероятностной характеристикой этого процесса является интенсивность вероятности перехода , определяемая как предел отношения

Здесь – вероятность того, что в момент времени t система находится в состоянии , а за время переходит в состояние .

Если не зависит от t, то марковских процесс называется однородным.

Для анализа однородных марковских процессов удобно пользоваться размеченным графом состояний – геометрической схемой, где прямоугольниками изображаются возможные состояния системы, стрелками – возможные переходы из состояния в состояние, против каждой стрелки, ведущей из состояния в состояние, ставится интенсивность вероятности ,соответствующей стрелке перехода (рис.2.1).

Обозначим через вероятность того, что в момент времени t система будет находиться в состоянии (вероятность состояния системы). Имея размеченный граф состояний системы, для вероятностей состояний можно составить систему дифференциальных уравнений, пользуясь правилом Колмогорова: в левой части каждого уравнения стоит производная по времени от вероятности состояния системы в правой части уравнения столько членов, сколько стрелок связано непосредственно с данным состоянием. При этом, если стрелка ведет в данное состояние, член имеет знак плюс, если ведет из данного состояния, член имеет знак минус. Каждый член равен интенсивности вероятности перехода по данной стрелке, умноженной на вероятность того состояния, из которого стрелка исходит.

Если в начальный момент времени система находилась в состоянии , то систему уравнений Колмогорова следует решать при начальных условиях:

Число уравнений Колмогорова может быть уменьшено на единицу, если учесть, что в любой момент времени t выполняется условие

(5)

Если при определенных условиях существуют предельные (финальные) вероятности состояний

независящие от того, в каком состоянии система находилась в начальный момент времени, то это означает, что с течением времени в системе устанавливается предельный стационарный режим (t = const).

Система, для которой существуют предельные вероятности состояний, называется эргодической, а возникающий в ней случайный процесс – эргодическим.

Введем ряд понятий. Состояние называется существенным, если найдется такое состояние , что из состояния в состояние перейти можно, а из состояния в состояние можно вернуться. Состояние называется несущественным, если оно не является существенным. Два существенных состояния и называются сообщающимися, если из состояния можно перейти в состояние и из состояния можно вернутся в состояние .

λ₁₂₌₃

λ₂₁₌₄

λ₃₂₌₁

λ₃₂₌₂

Рис. 2.1. Размеченный граф состояний

На рис. 2.1 представлены несущественное состояние и существенные сообщающиеся состояния и .

Справедлива теорема: для того, чтобы Марковский процесс с дискретным множеством состояний и непрерывным временем имел предельное распределение вероятностей состояний, необходимо и достаточно, чтобы все существенные состояния сообщались между собой.

Система уравнений для предельных вероятностей состояний (предельный стационарный режим, т.е. t=const) может быть получена из системы уравнений Колмогорова, если приравнять нулю производные от вероятностей состояний , а вероятности заменить вероятностями . Кроме того, .

Можно составить эту систему уравнений по правилу: для каждого состояния сумма произведений для стрелок, выходящих из -го состояния, равна сумме произведений для стрелок, входящих в -ое состояние.

Пример 2 Найти предельные вероятности состояний для системы, размеченный граф состояний которой представлен на рис. 1.

Решение. Система уравнений Колмогорова для вероятностей состояний имеет вид:

Положив нулю производные вероятностей состояний (в системе существует предельный стационарный режим, при этом t=const):

и заменив вероятности состояний предельными вероятностями состояний , ( = ) получим систему уравнений для предельных вероятностей состояний

Решив эту систему, найдем .

Выводы. Полученный результат можно интерпретировать так: система в среднем времени проводит в состоянии , времени – в состоянии , из состояния система вышла и больше в него не вернулась, что очевидно, так как состояние несущественное.