27

Федеральное агентство по образованию

Сибирский Федеральный университет

Факультет математики и информатики

Случайные процессы

Учебное пособие

Часть I

Красноярск 2014

© Т.В. Крупкина

Марковские цепи

1. Основные понятия

Одним из наиболее важных обобщений последовательностей независимых случайных величин являются последовательности случайных величин, связанных в цепь Маркова.

Определение 1. Пусть дана последовательность случайных величин {ξ_n}, определенных на одном вероятностном пространстве и принимающих не более чем счетное множество значений. Последовательность случайных величин {ξ_n} образует цепь Маркова (связана в цепь Маркова), если для любого n и любой последовательности значений

ε_0, ε₁, ε₂, … имеет место равенство

P(ξ_n = ε _j / ξ₀ = ε_i0,…, ξ_n–2 = ε_n–2, ξ_n–1 = ε_n-1) = P(ξ_n = ε _j / ξ_n–1 = ε_n-1) (марковское свойство).

Случайную величину ξ_n можно интерпретировать как состояние цепи Маркова на n-м шаге. Соответственно цепь Маркова можно представить как некоторую систему с возможными состояниями {ε₀, ε₁, ε₂,…}, которая меняет свое состояние в целочисленные моменты времени, новое состояние зависит только от предыдущего (при фиксированном настоящем будущее не зависит от прошлого).

Пример 1. Состояние системы:

0 – не учится в колледже

1 – учится на первом курсе

2 – учится на втором курсе

3 – закончил колледж.

Во многих задачах, связанных с изучением цепей Маркова, множество значений случайных величин (ε _i, i = 0, 1, ...), можно отождествить с подмножеством множества натуральных чисел (номерами состояний цепи).

Пусть в результате эксперимента может наступить какое–либо из не более, чем счетного множества исходов (ε₀, ε₁, …). Исход n–го эксперимента обозначим X_n. Если в n испытании осуществится исход ε_j, будем записывать это так: X_n = j.

Тогда определение (1) примет вид:

последовательность целочисленных случайных величин {X_n} образует цепь Маркова, если P(X_n = j / X₀ = i₀,…, X_n–2 = i_n–2, X_n–1 = i) = P(X_n = j / X_n–1 = i) = P .

(Вероятность P -- это вероятность перехода из состояния с номером «i» в состояние с номером «j» на n-м шаге.)

Определение 2. Матрица Р⁽ⁿ⁾ с элементами P называется матрицей вероятностей перехода на n-м шаге.

Итак, для цепи Маркова используются интерпретации:

• система с возможными состояниями

• последовательность зависимых случайных величин

• последовательность зависимых испытаний.

Определение 3. Марковская цепь {X_n} называется однородной, если вероятности P не зависят от n.

(P – вероятность перехода из ε_i в ε_j на n–ом шаге).

В этом случае матрица Р⁽ⁿ⁾ ≡ P и называется матрицей переходных вероятностей.

В матрице переходных вероятностей P любой элемент р_ij ≥ 0, = 1 i. Такие матрицы называются стохастическими.

Пример 2. Блуждание с поглощением.

Рассмотрим блуждание частицы по целым точкам отрезка [0, а], а > 1. Если 0 < k < a, то из точки (k) с вероятностью p = можно перейти в (k–1) или (k+1). Если k = 0 или k = а, то система остается в этом состоянии с вероятностью 1.

Р =

Пример 3. Блуждание с отражением.

Рассмотрим блуждание частицы по целым точкам отрезка [0, а], а > 1. Если 0 < k < a, то из точки k с p = можно перейти в (k–1) или (k+1). Из точки k=0 система с р=1 переходит в точку а, а из точки k = a с р = 1 в точку 0.

Пример 4. (По условиям примера 1.) Пусть студента в конце года могут исключить с вероятностью r, оставить на второй год с вероятностью s, перевести на следующий курс с вероятностью р; вероятность поступления q, вероятность выпуска р. Тогда матрица переходных вероятностей имеет вид

Р =

Пример 5. Задача о наилучшем выборе.

Предположим, имеется совокупность из m предметов, и задача состоит в том, чтобы выбрать наилучший. Но, осмотрев и отвергнув неподходящий предмет, к нему нельзя больше возвращаться (ситуация «разборчивой невесты»).

Будем фиксировать номера предметов, которые лучше всех осмотренных ранее. Получим цепочку номеров, например, такую

Введём состояние ε_i, которое означает, что i–й по счёту предмет лучше всех предыдущих. Состояние ε_m+1 означает, что найден лучший среди всех предмет.

В рассмотренном примере последовательность состояний:

ε₁→ ε₄→ ε₆→ ε₁₀→ ε₁₃

Найдём p_ij. Очевидно, р_ij = 0 при i ≥ j, p_m+1,m+1 = 1.

Надо найти р_ij при i < j ≤ m

Рассчитаем вероятности для m=3.

p₁₂ = p₁₃ = p₁₄ = p₂₃ = p₂₄ = p₃₄ =

Вероятности переходов задаются таблицей:

Переходы за k шагов

Рассмотрим изменение состояния системы за k шагов. Введем обозначение

p_ij(k) = p(x_k = j/x₀ = i). При k > 1 по формуле полной вероятности получаем

p_ij(k) = (1)

Рассмотрим матрицу Р(k) = (p_ij(k)). Тогда равенство (1) можно записать как

Р(k) = P(k–1)∙P. Отсюда Р(2) = Р²,...,Р(3) = Р³,…,Р(k) = Р^k.

Пример 6. Рассмотрим последовательность независимых целочисленных величин. Они образуют цепь Маркова. При этом

P²=

Очевидно, и Р^k = Р, то есть матрица переходных вероятностей за k шагов совпадает с матрицей P.

Упражнения

1. Точки A₁,…,A_n представляют собой вершины правильного n–угольника. Некоторая частица совершает случайное блуждание по точкам A₁,…,A_n. Определить, является ли последовательность положений частицы цепью Маркова, если

а) частица совершает детерминированное движение по часовой стрелке;

б) частица в начальный момент случайно выбирает направление по или против часовой стрелки и далее постоянно движется в выбранном направлении;

в) из любой точки A_i (i не равно 1), частица с вероятностью р сдвигается по часовой стрелке, а с вероятностью q = 1 – p — против часовой стрелки в соседнюю точку. Попадая в точку A₁, частица возвращается в ту точку, из которой она пришла в А₁.

2. Частица совершает случайное блуждание в плоскости по целочисленным неотрицательным точкам (i, j), таким, что i, j не больше n. Из любой внутренней точки указанного квадрата частица с равными вероятностями, независимо от ее предыдущего движения, переходит в одну из соседних (по вертикали или горизонтали) точек. При выходе на границу квадрата частица далее:

а) движется по границе квадрата детерминированно по часовой стрелке;

б) возвращается в ту точку, из которой она вышла на границу;

в) выбирает случайным образом направление по границе и движется по границе в выбранном направлении.

Для каждого из указанных случаев определить, будет ли последовательность положений, занимаемых частицей, цепью Маркова.

3. В условиях предыдущей задачи частица из каждой внутренней точки с равной вероятностью может переходить в одну из соседних (по горизонтали, вертикали или диагонали). Будет ли последовательность положений частицы цепью Маркова для каждого из трех указанных в предыдущей задаче условий движения после выхода на границу?

4. В начальный момент времени в урне n белых и m черных шаров. Через каждую единицу времени из урны по схеме выбора без возвращения извлекается один шар. Пусть n_k — число белых, а m_k — число черных шаров в урне в момент времени k. Какие из указанных ниже последовательностей образуют цепь Маркова, а какие нет:

а) n_k, б) n_k– m_k , в) n_k + m_k, г) пара (n_k, m_k),

д) n_k –m_k +1/(n_k + m_k + 2)?

5. В урне содержится 5 шаров, белые и черные. Испытание состоит в том, что каждый раз из урны случайно вынимается один шар и взамен в урну возвращается шар, но другого цвета (вместо белого — черный и наоборот). Найти матрицу переходных вероятностей для цепи Маркова, состояниями которой является количество белых шаров в урне.

6. В условиях предыдущей задачи найти вероятности перехода за два шага.

7. Всякая ли стохастическая матрица может быть матрицей вероятностей перехода за два шага некоторой однородной цепи Маркова?

8. Известно, что однородная цепь Маркова полностью определяется начальным распределением и матрицей вероятностей перехода за один шаг. Определяется ли цепь Маркова начальным распределением и матрицей вероятностей перехода за два шага?

9. Определить, при каких значениях с и d однородная цепь Маркова определяется однозначно начальным распределением и матрицей вероятностей перехода за два шага:

10. Доказать, что стохастическая матрица второго порядка является матрицей вероятностей перехода за два шага некоторой однородной цепи Маркова тогда и только тогда, когда сумма ее диагональных элементов больше или равна единице.