Моделирование систем и процессов. Статистическое моделирование. Учебное пособие

Если стартовые состояния это E1 или E2, то, привлекая соображения симметрии, найдем

р11 р21 р12 р22 0,5; р13 р23 р14 р24 р15 р25 0.

Если стартовое состояние это E4 или E5, то

p44 p55 p45 p54 0.

Значения p41, p42, p43и p51, p52 , p53 предсказать труднее, для этого уже нужен расчет. Понятно только, что все они больше нуля и p41+ p42+ p43 1,

p51+ p52 + p53 1.

Предельные переходные вероятности в состояния E4 и E5 все равны 0. Это означает, что система обязательно рано или поздно эти состояния покинет навсегда, даже если они выступают в качестве исходных.

Такая же картина имеет место и в общем случае (А.113): предельные вероятности перехода в состояния группы GS+1 все равны 0. Состояния этой группы называют несущественными, а остальные – существенными.

Предельные вероятности перехода в существенные состояния все положительны и подобно тому, как это обнаружено в примере с матрицей P3, в общем случае зависят от исходного состояния (т. е. в принятых обозначениях – от i). Иными словами, система в конце концов оказывается в одном из состояний какой-либо из групп G1, G2, …, GS. Какая именно это группа – зависит от исходного состояния. Если система содержит единственную группу существенных состояний, т. е. s 1, то предельные переходные вероятности в состояния этой группы уже не зависят от исходных состояний

pij pj > 0, j G1, i 1, 2, …, n.

При этом для несущественных состояний

pij 0, j G2, i 1, 2, …, n.

Такая марковская цепь, составляющая частный случай правильных цепей, называется регулярной . В матрице P∞ регулярной цепи все строки одинаковы,

аэлементы каждого столбца равны между собой.

Разумеется, существует более строгое определение регулярных цепей, а также других не рассматриваемых здесь их типов. В наиболее строгой и завершенной форме классификацию марковских цепей осуществляют на основе характеристических чисел матрицы исходных вероятностей. Тем не менее, из соображений простоты ограничимся приведенными формулировками и примерами.

91

Если в матрице P регулярной цепи отсутствуют блоки U и V, то все состояния цепи являются существенными, т. е.

pij = p j > 0; i, j = 1, 2, …, n.

Регулярные цепи получили наибольшее распространение в прикладных задачах.

Наряду с переходными вероятностями вводят в рассмотрение абсолютные вероятности j(k) (j 1, 2, …, n) того, что система через k > 1 шагов после t0 окажется в состоянии Ej. Это безусловные вероятности в отличие от переходных вероятностей pij(q) за q шагов, которые по определению сопровождаются условием, что стартовым состоянием является Ei.

По формуле полной вероятности (А.15) имеем

i 1

Объединив абсолютные вероятности в столбец П(k)

вместо (А.115) можно с учетом обозначений (А.104), (А.108) и (А.116) записать матричное равенство

где символом Т обозначена операция транспонирования. Используя (А.109), а также перестановочность операций транспонирования и возведения матрицы в степень, получим

Эта формула и равносильная ей (А.117) являются одними из основных в теории цепей Маркова. Они позволяют по исходным данным (А.104) вычислить абсолютные вероятности всех состояний при любом числе шагов и для любой однородной цепи.

92

Введем предельные абсолютные вероятности π j :

Доказано, что эти пределы существуют при любых начальных вероятностях, если цепь правильная. Будем говорить, что в этом случае существует стационарный режим для цепи Маркова. При этом существует матрица P и, если она найдена, предельные абсолютные вероятности можно вычислить по формуле, получающейся предельным переходом при k из (А.117):

Для регулярной цепи все строки матрицы P , (а значит столбцы (P )Т) одинаковы. Вследствие этого при вычислениях в правой части (А.120) начальные вероятности 10, 20, …, n0 войдут только в виде их суммы, которая равна 1 в силу (А.107). В результате предельные абсолютные вероятности окажутся независимыми от начальных, а 1 , 2 , …, n будут просто равны элементам од-

ной из строк матрицы P .

Снова воспользуемся формулой полной вероятности и составим равен-

ство

93

Эти матричные уравнения эквивалентны системе однородных алгебраических уравнений относительно 1 , 2 , …, n . Как известно, решение такой системы либо нулевое (тривиальное), либо существует нетривиальное, но не единственное решение. Однако эту систему можно дополнить условием

аналогичным (А.107).

Доказано, что решение уравнений (А.124) совместно с условием (А.125) существует и единственно, если цепь регулярная. При практическом решении системы (А.124) достаточно заменить одно из ее однородных уравнений уравнением (А.125). Таким образом, любое из матричных уравнений (А.124) совместно с условием (А.125) позволяет однозначно определить предельные абсолютные вероятности регулярной цепи Маркова, которые в этом случае не зависят от начальных вероятностей.

Каждую из предельных абсолютных вероятностей j можно трактовать как среднюю долю времени, в течение которого система пребывает в состоянии Ej, находясь в стационарном режиме. Возможности анализа цепей Маркова можно расширить, если изначально исходить из понятия «доли времени пребывания в состоянии Ej». Присвоим ей наименование “средняя предельная абсо-

лютная вероятность” и обозначим πj .

Оказывается, что средние предельные абсолютные вероятности существуют для всех, а не только для правильных цепей. Если к тому же в форме (А.113) матрицы переходных вероятностей имеется единственный блок Q1 (s = 1), то эти вероятности определяются однозначно и не зависят от начальных. Уравнение

для Π

имеет в точности такой же вид, как (А.124)

и сопровождается таким же условием

Отметим снова, что и для этого понятия существует более строгое математическое определение.

94

Например, для матрицы P2 из группы (А.110) решение уравнений (А.127), (А.128) дает 1 2 3 1/3. Это означает, что система, циклически переходя через состояния E1, E2, E3, E1…, в среднем пребывает в каждом из них 1/3 времени.

Понятно, что в случае регулярной цепи П и Π совпадают.

95