44. Возвратность цепей Маркова

Пусть — цепь Маркова с, вообще говоря, счетным числом состояний. Говорят, что состояниеiвозвратно, если вероятность когда-либо вернуться вi-е состояние при условии, что в нулевой момент времени цепь была вi-м состоянии, равна единице. Запишем это более формально.

Обозначим через f_nвероятность вернуться в состояниеiнаn-м шаге при условии, что на предыдущих шагах возврата не произошло:

.

Тогда для возвратного состояния iсправедливо

.

Введем u_n — вероятность находиться вi-м состоянии наn-м шаге:

.

Запишем производящие функции

.

Если , оба ряда сходятся, т.к.f_n,u_n≤ 1.

Заметим, что для возвратного состояния

Легко проверить следующий факт:

.

(он вытекает из формулы полной вероятности. Вероятность вернуться в i-е состояние наn-м шаге равна вероятности впервые вернуться (заnшагов), либо вернуться заn−1 шагов и один шаг находиться вi-м состоянии и т.д.)

Отсюда следует (по формуле умножения рядов), что

т.е. .

Следовательно,

Теперь устремим z→ 1. Если цепь возвратна, тоF(z) → 1, аU(z) → ∞. Но приz→1U(z) имеет вид. И наоборот, если ряд изu_nрасходится, то знаменатель 1 –F(z) равен нулю, и цепь возвратна.

Доказанное нами условие носит название критерия возвратностицепей Маркова.

Следствие1˚. Два сообщающихся состояния возвратны или невозвратны одновременно.

Доказательство. Граф:

Легко видеть, что , гдеu_r(p) — вероятность находиться в состоянииpна шагеr. Просуммировав поn, получим

44..

Тогда если ряд израсходится, то ряд израсходится, и, следовательно, ряд изu_n(i) расходится. То есть, еслиiвозвратное, то иjвозвратное (и наоборот) для любыхi,j.

Вывод: свойство возвратности — свойство не одного состояния, а класса сообщающихся состояний.

Можно доказать, что если состояние возвратно, то цепь посещает его бесконечное число раз за бесконечное время.

Следствие2˚. Если цепь состоит из конечного числа сообщающихся состояний, она обязательно возвратна.

Примеры

1. Рассмотрим следующую марковскую цепь. Имеется стопка из Nкниг. Читатель случайным образом выбирает книгу из стопки, читает ее и кладет на самый верх. Состояние цепи — номер книги, лежащей сверху. Время меняется в тот момент, когда читатель кладет книгу. Возвратна ли эта цепь?

Ответ: да, т.к. она содержит конечное число сообщающихся состояний.

2. Рассмотрим случайное блуждание на отрезке (0, n). С вероятностьюpмы «идем» влево, с вероятностьюq — вправо. Если дошли до «стенки» — происходит отражение с вероятностью 1. Возвратна ли цепь Маркова, соответствующая этому процессу?

Ответ: да, и по той же причине, что в примере 1).

3. Рассмотрим случайное блуждание на отрезке (0, n) с зацикливанием: все то же самое, что в примере 2), но дойдя до «стенки», мы с вероятностью 1 остаемся на месте. Возвратна ли такая цепь?

Ответ: нет, поскольку существуют поглощающие состояния (0 иnсоответственно).

4. Рассмотрим случайное блуждание на отрезке (0, ∞). В момент времени nвероятность перейти на единицу вправо равнаp_n, а перейти в начало координат —q_n. При какихp_nиq_nцепь возвратна?

Решение. Критерием возвратности здесь пользоваться неудобно. Согласно же интуитивным соображениям, невозвратности соответствует ситуация, когда начиная с некоторого места совершаются шаги только направо. То есть невозвратность эквивалентна равенству

.

Соответственно, для возвратной цепи произведение p_n< 1.