Семинар 4

Цепи Маркова. Определение. Марковское свойство.

Цепь Маркова является моделью зависимых испытаний, в которых исход в данном испытание зависит лишь от последнего известного исхода и не зависит от более далекого прошлого. Обычно исходы в цепях Маркова называются состояниями цепи Маркова.

Будем считать, что n состояний цепи Маркова занумерованы числами 1, 2,…,n. Элементарным событием в m испытаниях цепи Маркова является цепочки состояний, или исходов, длины m+1, описывающие начальное состояние и результаты m испытаний: (i₀, i₁,…, i_m). Здесь исход i_t может при любом t (t= ) может принимать любое значение 1, 2,…,n. Таким образом, множество элементарных событий

_m={ (i₀, i₁,…, i_m): i_t =, t= }.

Если обозначить A_t исход в испытании t цепи Маркова, то условие независимости от более далекого прошлого можно записать в виде

P(A_t+1| A₀…A_t)= P(A_t+1| A_t), t= . (1)

Иногда номер испытания называют моментом времени.

Мы будем предполагать, что цепь Маркова однородна во времени. Пусть событием A_t является наступление исхода i в t-м испытании, а A_t+1 является наступление исхода j в (t+1)-м испытании. В этом случае P(A_t+1| A_t)=p_ij, t=. Вероятность p_ij является условной вероятностью того, что в испытании t+1 состоянием цепи Маркова было j, если в момент t состоянием i. Эти вероятности называются вероятностями перехода или переходными вероятностями.

Если задать вероятности q₀,…, q_n начальных состояний (состояний перед началом испытаний) цепи Маркова и переходные вероятности p_ij(i,j= ), то

P(i₀, i₁,…, i_m)= .

Для задания вероятностей достаточно задать матрицу вероятностей перехода

, p_ij0, , (i,j= )

и вектор начальных состояний (q₀,…, q_n), q_j0, j= ,.

Задачи

1. В цепи Маркова с двумя состояниями 1 и 2 начальными состоянием является 1. Найти вероятности цепочек состояний 111, 122, 121, если p₁₂=1/3, p₂₁=1/4. Ответ (4/9; 1/4; 1/12)

2. В цепи Маркова с двумя состояниями 1 и 2 найти вероятности цепочек состояний 121, 111, 222, если q₁=1/3, p₁₁=6/7, p₂₁=4/5. Ответ ( 4/ 375, 36/ 377, 2/ 355 ).

3. Для цепи Маркова, определенной в задаче 1, найти вероятность того, что цепочка длины 3 начинается и кончается единицей. Указание. Событие состоит из элементарных событий 111, 121. Ответ: 19/36.

4. Для цепи Маркова, определенной в задаче 2, найти вероятность событий:

A={ в цепочке длины 3 состояния чередуются},

В={ в цепочке длины 3 все состояния одинаковые}.

Указание. A={121, 212}, В={222}. Ответ: P(A)=4/35, P(B)=998/3675.

5. В цепи Маркова с тремя состояниями 1, 2 и 3 начальными состоянием является 1. Найти вероятность того, что в цепочке длины 3 не появится состояние 2, если p₁₁=1/5, p₁₂=2/5, p₂₁=1/3, p₂₂=2/3, p₃₁=1/7, p₃₂=2/7. Ответ 71/175.

6. Пусть частица движется по прямой единичным шагом. Каждый шаг направлен вправо с вероятностью p и влево с вероятностью q. Частица движется, пока не достигнет одной из двух точек, которые называются «граничными точками». Состояния цепи– возможные положения частицы. Пусть всего 5 состояний. Состояния s₁, s₅ будут граничными, s₂, s₃, s₄ – внутренними: s₁– s₂– s₃– s₄– s₅. Найти матрицу вероятностей перехода для следующих случаев:

а) Частица, достигнув s₁, s₅, остается там навсегда.

б) Частица, достигнув граничной точки, отражается и возвращается в состояние, из которого она пришла.

в) Частица, достигнув граничной точки, непосредственно направляется в состояние s₃.

г) Частица, достигнув граничной точки, с вероятностью 1/2 в нем остается и с вероятностью 1/2 переходит в другое граничное состояние.

д) Частица, достигнув одной из граничной точки, переходит в другое граничное состояние.

7. Рассмотрим последовательность цифр, появляющихся случайно. Состояние s₁={появился 0}, s₂={появились 1 или 2}, s₃={появились 3, 4, 5 или 6}, s₄={появились 7 или 8}, s₅={появилась 9}. Найти матрицу вероятностей перехода.

8. В стране Оз никогда не бывает подряд двух ясных дней. Если сегодня ясно, то завтра будет плохая погода (снег или дождь с равной вероятностью). Если сегодня снег (или дождь), то погода на следующей день не измениться с вероятностью 1/2. Если все-таки она измениться, то лишь в половине случаев будет ясно. Образуем цепь Маркова с тремя состояниями 1 (дождь), 2 (ясно), 3 (снег). Найти матрицу вероятностей перехода.

9. В урне содержатся два неокрашенных шара. В последовательные моменты времени случайно извлекается шар, окрашивается в красный или черный цвет и возвращается назад. Если шар не был окрашен, то выбор цвета случаен, если он был окрашен, то цвет меняется. Образуем цепь Маркова, приняв за состояние тройку чисел (x, y, z), где x– число неокрашенных шаров, y– число красных шаров и z– число черных шаров. Найти матрицу вероятностей перехода.

10. Идет сражение между тремя танками. Танк А поражает свою цель с вероятностью 2/3, танк В – с вероятностью 1/2, танк C – с вероятностью 1/3. Выстрелы производятся одновременно; если танк поражен, то он выбывает из сражения. Каждый танк стреляет в своего самого сильного противника. Состоянием считается множество танков, которые еще действуют, т.е. {E (нет танков), A, B, C, AC, BC, ABC}. Найти матрицу вероятностей перехода.

11. Модифицировать переходную матрицу задачи 10, предполагая, что когда все танки действуют, то А стреляет в В, В в С и С в А.