24.3 Период марковской цепи

Возьмем некоторое состояние i. Егопериодомd(i) называется наибольший общий делитель техk, для которых.

Теорема. Еслиi↔j, тоd(i) =d(j).

Доказательство. Граф:

Очевидно, .идля некоторыхmиnв силу того, что состоянияiиjсообщаются. Перейдем изjвj; это можно сделать заm+s+nшагов (заmшагов попадаем изjвi, заs— изiвi, и, наконец, заn — изiвj. Однако ничто не мешает нам сделать два «круга» вiи попасть изjвjзаm+ 2s+nшагов. И еще круг, и еще…

Тогда . Значит,. Отсюда. А число шаговsмы выбирали произвольно. Раз, то и. Стало быть,. Аналогичным образом можно показать, что. Вывод:d(i) =d(j).

Если цепь имеет период 1, ее называют неприводимой.

Выберем теперь произвольное состояние j₀и рассмотрим всеклассысостояний вида

.

Можно показать, что полученные классы образуют дизъюнктное множество (объединение дает всю цепь, а пересечение ). Легко видеть, что путешествие по цепи идет так:

,

причем внутри каждого класса цепь неприводима.

Примеры

1. Дана последовательность случайных величин, имеющих распределение Бернулли (равных 1 с вероятностью pи 0 с вероятностьюq). Является ли эта последовательность цепью Маркова?

Ответ: да, является. Действительно, возьмеми получим матрицу переходных вероятностей

.

2. Дана последовательность сумм величин с распределением Бернулли:

.

Доказать, что эта последовательность является цепью Маркова.

Доказательство.

24.4 Предельная теорема для переходных вероятностей марковских цепей

Формулировка. Пусть число состояний цепи Маркова конечно. Тогда цепь неприводима в том и только в том случае, когда

.

Предельноераспределениеназываютстационарным, поскольку для цепи, изначально находящейся в этом состоянии, распределениенаm-м шаге не зависит отm.

Эту теорему можно переформулироватьследующим образом: при любом начальном распределениипри. (То есть, цепь рано или поздно приходит в стационарное состояние).

Доказательство. Запишем формулу Чепмена–Колмогорова приr= 1:

.

Введем последовательность — «приближение снизу» к. Ясно, что, то есть {L_j} — возрастающая последовательность. Аналогично введем— убывающую последовательность, «приближение сверху» к. Тогда

.

Последовательности {L_j} и {M_j} ограничены и монотонны, следовательно, имеют пределы. Покажем, что эти пределы равны. Рассмотрим разность

где знак ∑⁺отвечает суммированию величин с положительными разностями, а ∑⁻— с отрицательными. Заметим, что

так как . С другой стороны,

.

Отсюда

.

Тогда разность (*) запишется в виде

.

Получили: выражение (*) верно при любых i(мы начали преобразования с такого выражения). Тогда

Повторяя рассуждения, получим

То есть, разность M_jиL_jограничена произвольным малым числомh. Отсюда, предел разности равен нулю, и, по принципу двух милиционеров,имеет конечный предел > 0, равныйp_j. Поскольку, равенство сохраняется и для предельного распределения:. Покажем, что полученное предельное распределение — стационарное. Выпишем формулу Чепмена–Колмогорова:

.

стремится кp_j, а— кp_rприn→ ∞. Тогда в пределе равенство имеет вид

.

Полученное выражение есть условие стационарности. Как известно, последующее распределение π₁определяется как. Для стационарного распределения.

А мы получили (в матричной форме): . Вывод: распределение стационарное.