Упражнения

33. Доказать, что в неразложимой конечной цепи Маркова не может быть нулевых состояний.

34. Доказать, что в неразложимой конечной цепи Маркова не может быть невозвратных состояний.

35. Могут ли все состояния цепи Маркова со счетным числом состояний быть невозвратными?

36. Доказать, что для конечной цепи Маркова состояние возвратно тогда и только тогда, когда оно существенно.

37. Доказать, что, если в цепи Маркова состояние ε_j возвратно, то система с вероятностью 1 за бесконечное число шагов бесконечно много раз возвратится в ε_j. Если состояние ε_j невозвратно, то система с вероятностью 1 за бесконечное число шагов лишь конечное число раз возвратится в ε_j. Другими словами, после некоторого конечного числа шагов система никогда больше не возвратится в ε_j.

38. Пусть ξ_t – номер состояния в цепи Маркова в момент времени t; P(ξ₀ = 1) = 1,

матрица переходных вероятностей имеет вид .

Положим

Показать, что последовательность η_t является цепью Маркова, найти ее матрицу вероятностей перехода.

39 – 41. Пусть ξ₁, ξ_2,… – независимые случайные величины, P(ξ_t = 1) = 1 – P(ξ_t = –1) = p.

Является ли цепью Маркова последовательность η_t, если :

39. η_t = ξ_t∙ ξ_t+1.

40. η_t = ξ₁∙ ξ₂∙… ∙ξ_t.

41. η_t = φ(ξ_t,ξ_t+1), где φ(–1, –1) = 1, φ(–1, 1) = 2, φ(1, –1) = 3, φ(1, 1) = 4.

6. Эргодичность и стационарные распределения

Определение 11. Состояние ε_j, для которого существует , не зависящий от i, называется эргодическим.

Замечание. Позднее будет показано, что не зависящий от i существует для любого возвратного состояния ε_j, не являющегося ни нулевым, ни периодическим. Таким образом, термин «эргодическое состояние» – это синоним для «возвратное, не нулевое, не периодическое состояние».

Смысл эргодичности. Существуют вероятности попадания системы в состояние ε_j через большой промежуток времени, причем они не зависят от начального состояния системы.

Определение 12. Цепь Маркова называется эргодической, если для любых i, j существует (все состояния эргодические).

Определение 13. Распределение вероятностей {a_k} называется стационарным распределением цепи Маркова, если для любого n справедливо: (n).

Пример 4. Пусть дана однородная цепь Маркова с матрицей переходных вероятностей P= Стационарным распределением для него является (a₁, a₂) = (2/3, 1/3). Проверим, что (1).

(2/3, 1/3) ∙

Это верно и для n = 2, 3, 4:

P² =

(2/3, 1/3) ∙ =

P³ =

(2/3, 1/3) ∙ =

P⁴ =

(2/3, 1/3) ∙ =

Упражнение. Найдите общий вид матрицы P(n) = Pⁿ = и убедитесь в стационарности распределения. Найдите пределы элементов матрицы Pⁿ и убедитесь, что

Замечание. Если для однородной цепи Маркова справедливо: , то {a_k} – стационарное распределение.

Пример 5. Пусть дана однородная эргодическая цепь Маркова с матрицей переходных вероятностей

P=

Найти стационарное распределение.

Решение. Ищем решение уравнения (a₁, a₂)∙P = (a₁, a₂).

(a₁, a₂)∙ (a₁, a₂),

1/3a₁ + 1/4 a₂ = a₁, 2/3a₁ + 3/4 a₂ = a₂, а также a₁ + a₂ = 1.

Решая систему, находим: a₁ = 3/11, a₂ = 8/11.

Выясним общие условия существования стационарного распределения.

Теорема 5. Неразложимая непериодическая цепь Маркова принадлежит одному из следующих классов:

а) или все состояния невозвратные, или все нулевые. В этом случае и не существует стационарного распределения;

б) или все состояния эргодические, т.е., . В этом случае {U_k}– стационарное распределение, и не существует никаких других стационарных распределений.

Доказательство: Рассмотрим случай б). Заметим, что поэтому «обрезанная» сумма не превышает 1, и это верно и в пределе. Так как , N получаем, что U₁+…+U_N ≤ 1.

Далее, для любых j, k, m, n справедливо: . Положим n = 1: . Если мы сужаем множество индексов в правой части, то справедливо неравенство:

, где А = {1, 2,…, N}. Пусть теперь m → ∞. По теореме о мажорируемой сходимости можно переходить к пределу. Поскольку , , то , что верно для любого А, то есть, для любого N, и в пределе при N→ ∞ получим .

Докажем, что имеет место равенство.

Если для каких–то k , то, просуммировав, получим: , однако они равны, так как состоят из одних и тех же слагаемых. Т.о.,

Следовательно, это стационарное распределение.

Докажем единственность. Пусть {V_k} удовлетворяет (*), . Умножим на p_kj = p_kj(1).: , просуммируем по k. . Но =V_j, а . Получили: . Опять умножим обе части на p_jk= p_jk(1), , просуммируем по j. , (3) и т.д. по индукции. Пусть покажем, что , просуммируем по k. Заменим индекс j на k, получим:

Пусть n → ∞, с учетом того, что в пределе получаем V_k = (V₁+…)U_k = U_k (так как сумма вероятностей стационарного распределения равна единице).

Таким образом, стационарное распределение {V_k} совпадает с {U_k}, то есть, стационарное распределение единственно.

В случае а), если все состояния или невозвратные, или нулевые, предположим, что распределение {V_k} стационарно. Тогда, как показано выше, имеет место уравнение . Но противоречие. Поэтому стационарное распределение для неразложимой цепи может существовать только в эргодическом случае.