Семинар 5

Цепи Маркова 2

Пусть _t (t=0, 1, 2,…) состояние однородной цепи Маркова в момент t. Положим p_ij(t)=P{_t = j| ₀ =i}. Тогда (системы уравнений Колмогорова)

.

Обозначим P(t) матрицу вероятностей перехода p_ij(t):

.

Тогда P(t+s)=P(t) P(s), P(t)=P^t, где P=P(1) – матрица вероятностей перехода за один шаг.

Теорема. Если при некотором t₀>0 все элементы матрицы положительны, то существуют положительные пределы

и не зависят от начального состояния. Предельные вероятности удовлетворяют системе уравнений

Распределение ₁,…, _n называется стационарным распределением.

Обозначим _j(t) время пребывания, или число попаданий в состояние j, цепи Маркова за время t. Будем говорить, что частота _j(t)/t попадания в состояние j удовлетворяет закону больших чисел, если для любого >0 при t

.

При изучении величины _j(t) часто оказывается полезным ее представление в виде суммы:

_j(t)= _j(1)+ _j(2)+…+  _j(t),

где  _j(s)=1, если в момент s (s=) состоянием цепи было j, и  _j(s)=0 в противном случае.

Задачи

1.В цепи Маркова с двумя состояниями 1 и 2 начальными состоянием является 1. Найти вероятности переходов за два шага, если p₁₂=1/3, p₂₁=1/4. Ответ: p₁₁(2)=19/36, p₁₂(2)=17/36, p₂₁(2)=17/48, p₂₂(2)=31/48.

2. Проверить, что последовательность независимых случайных величин ₀, ₁,…, образует цепь Маркова. Найти в ней вероятности переходов за t шагов.

3. Найти вероятности переходов за t шагов в цепи Маркова с двумя состояниями, если p₁₂=, p₂₁=, 0<, <1.

Ответ: .

4. Найти стационарное распределение вероятностей цепи Маркова, определенной в задаче 1. Ответ: ₁=3/7.

5. Показать, что цепь Маркова с двумя состояниями и матрицей вероятностей перехода

не имеет предельного распределения.

6. Найти стационарное распределение вероятностей для цепи Маркова с матрицей вероятностей переходов

.

Ответ: ₁=0, ₂=1/2, ₃=1/2.

7. Выразить через вероятности перехода p_ki(s) математическое ожидание и дисперсию числа _j(t) попаданий в состояние j цепи Маркова за время t, если начальным состоянием цепочки было k. Указание: воспользоваться индикаторами.

Ответ: , .

8. Для цепи Маркова _t задачи 3 при ₀=1 найти

a) E₁(t); b) ; c) .

Ответ: , где ; ; .