3. Классификация состояний в неразложимой цепи Маркова

Введём обозначения: f_j(n) = p(X_n = j, X_n–1 ≠ j,…, X₁ ≠ j / X₀ = j). (Условная вероятность f_j(n) есть вероятность того, что система, выйдя из j–го состояния, впервые вернётся в него через n шагов).

F_j= . (F_j есть вероятность того, что система, выйдя из j–го состояния, вновь когда–нибудь в него вернётся).

Определение 8. Состояние ε_j называется возвратным, если F_j = 1 и невозвратным, если F_j < 1.

Определение 9. Состояние ε_j называется нулевым, если

и ненулевым, если

Определение 10. Состояние ε_j называется периодическим с периодом d_j, если возвращение в ε_j возможно только за число шагов, кратное d_j > 1 и d_j есть наибольшее число, обладающее этим свойством. Другими словами,

d_j = НОД(n: P_jj(n) > 0).

Замечание. Если n ≠ 0(mod d_j), то Р_jj(n) = 0 и f_j(n) = 0.

Пример 8. Блуждание по одномерной целочисленной решётке. Точка движется по целым точкам прямой и за один шаг может равновероятно или сместиться на единицу вправо, или остаться на месте.

Р_j,j+1 = ; Р_j,j = ; f_j(1) = p(x₁ = j / x₀ = j) = ; f_j(2) = p(x₂ = j, x₁ ≠ j / x₀ = j) = 0.

Для n > 2 также f_j(n) = 0. Таким образом, F _j = все состояния невозвратны.

все состояния нулевые.

Пример 9. Пусть Р_j,j+1 = ; Р_j,j–1 = (точка движется или влево или вправо на единицу).

P_jj(2k+1) = 0 цепь периодична с периодом d_j = 2.

Возвращения в состояние

Рассмотрим производящую функцию числовой последовательности {a_n}, n = 0,1,…

a(z) = z – комплексное, │z│<1.

Если │а_n│≤ с, то а(z) сходится и является аналитической функцией.

Обозначим Р_j = .

Теорема 1. Состояние ε_j возвратно тогда и только тогда, когда Р_j = . Если состояние ε_j невозвратно, то F_j = .

Доказательство. Напомним, что F_j = .

По формуле полной вероятности

P_jj(n) = f_j(1) P_jj(n–1) + f_j(2) P_jj(n–2) +…+ f_j(n) P_jj(0). (*)

Рассмотрим производящие функции последовательностей {p_jj(n)} и {f_j(n)}.

Р_j(z) = и

F_j(z) = .

P_jj и f_j – вероятности, следовательно, они ограничены, значит, оба ряда сходятся. Умножим (*) на zⁿ и просуммируем по n от 0 до ∞, полученную функцию обозначим P_j(z).

P_jj(1) = f_j(1) |∙z

P_jj(2) = f_j(1) P_jj(1) + f_j(2) |∙z² +

P_jj(3) = f_j(1) P_jj(2) + f_j(2) P_jj(1) + f_j(3) |∙z³

………………………………………

P_j(z) = = f_j(1)z(1+z P_jj(1) + z²P_jj(2) +…) + f_j(2) z² (1+P_jj(1)z +… ) +…= (f_j(1)z+f_j(2)z²+…+ f_j(n)zⁿ +…)(1+ ) = ∙∙(1+ )=F_j(z) ∙ (1+P_j(z)), т.о.

P_j(z) = F_j(z)(1+P_j(z)).

Отсюда F_j(z) = ; P_j(z) = ;

P_j = ; F_j =

Пусть F_j = 1. Тогда F_j(z)↑1 => P_j(z)→ и P_j = . Пусть P_j = . Тогда P_j(z)↑ и F_j(z)→1 => F_j = 1. Если же F_j < 1, то F_j =

Замечание. P_j = можно рассматривать как среднее число попаданий в состояние ε_j.

= I_n(j). (I_n(j) – индикатор события {X_n = j}).

Следствие. Невозвратное состояние всегда является нулевым. Состояние является невозвратным тогда и только тогда, когда P_j < . Поскольку P_j = < , общий член ряда , т.е. невозвратное состояние является нулевым, ненулевое состояние является возвратным.

Классификация состояний в неразложимой цепи