Алгебраический метод нахождения стационарного распределения

Рассмотрим конечную цепь Маркова с n состояниями, и пусть P – матрица переходных вероятностей, а E – единичная матрица размерности n.

Определение 14. Матрица λE – P называется характеристической матрицей данной цепи Маркова, а корни уравнения det(λE – P) = |λE – P| = 0 называются характеристическими числами матрицы.

Замечание. Из теории решения систем линейных уравнений известно, что для стохастической матрицы одно из характеристических чисел всегда равно 1, а остальные по модулю не превосходят 1.

Если цепь Маркова эргодична (существуют пределы элементов), то все остальные характеристические числа по модулю строго меньше 1.

Главные миноры P_jj матрицы λE – P при λ = 1 строго положительны.

Тогда предельные вероятности вычисляются по формулам:

Пример 6. P=

λE – P = = |λE – P| = (λ – 0,7) ∙ (λ – 0,6) – 0,12 = λ² – 1,3 λ + 0,3 = 0.

λ₁ = 1, λ₂ = 0,3.

P₁₁(1) = 1 – 0,6 = 0,4, P₂₂(1) = 1 – 0,7 = 0,3.

Упражнения

42. Доказать, что если цепь Маркова имеет, по крайней мере, одно несущественное состояние, то она не является эргодической.

43. Пусть цепь Маркова имеет, по крайней мере, 2 несообщающихся состояния. Доказать, что она не является эргодической.

В задачах 44–49 найти стационарное распределение, или доказать, что его не существует.

44.

45.

46.

47.

48. .

49. .

50. Эргодическая цепь Маркова имеет два состояния, известны предельные вероятности p и q. Найти матрицу вероятностей перехода за один шаг.

51. Показать, что у неэргодической марковской цепи может существовать стационарное распределение, причем единственное.

52. Доказать, что для конечной цепи Маркова всегда существует стационарное распределение.

53. Вероятность того, что будет дождь, если дождь был вчера, равна 0,7. Вероятность того, что будет дождь, если дождя вчера не было, равна 0,4. Найти предельную вероятность того, что будет дождь.

54. Два шахматиста, А и B, играют в турнире. Шахматист A выигрывает с вероятностью 0,3, проигрывает с вероятностью 0,2, делает ничью с вероятностью 0,5 независимо от результатов предыдущих игр. Для шахматиста B эти вероятности зависят от предшествующей игры. Если он выиграл предыдущую игру, то он выигрывает с вероятностью 0,4, а проигрывает с вероятностью 0,1. Если же он проиграл в предыдущей игре, то он выигрывает с вероятностью 0,2, а проигрывает с вероятностью 0,3. Если в прошлой игре была ничья, то вероятности у него такие же, как у А.

Кто из игроков наберет больше очков при длительной игре?

Дополнение (без доказательства)

Теорема 1. Эргодическая теорема (критерий эргодичности).

Для эргодичности марковской цепи необходимо и достаточно выполнение двух условий:

1. цепь неразложима и непериодична;

2. существует состояние ε₀ такое, что время ξ возвращения в ε₀ имеет конечное математическое Eξ.

Теорема 2. Эргодическая теорема Маркова.

Достаточное условие эргодичности однородной цепи с матрицей переходных вероятностей P: существует n, при котором все элементы матрицы Рⁿ строго положительны.

Теорема 3. Неразложимая и непериодическая цепь Маркова с конечным числом состояний эргодична.

Теорема 4.

Если то при

где – число возвращений системы в фиксированное состояние за время n.

Следствие. Среднее время возвращения в состояние j в дискретные моменты t = 0, 1, 2, …равно T_j = 1/ p_j, где p_j предельная вероятность.

Напоминание.

Если цепь эргодична, то набор предельных вероятностей {p_j} задает стационарное распределение и является (единственным) решением системы уравнений:

Смысл эргодичности: существуют вероятности попадания системы в состояние ε_j через большой промежуток времени, причем они не зависят от начального состояния системы.