Упражнения

28. Шары.

N черных и N белых шаров размещены в двух урнах по N шаров в каждой. Число черных шаров в первой урне определяет состояние системы. На каждом шагу случайно выбирается по одному шару из каждой урны, и эти выбранные шары меняются местами.

а) найти все вероятности перехода за один шаг,

б) классифицировать состояния.

29. Прямая.

Точка движется по прямой и в течение каждой очередной секунды движения может или сместиться на единицу расстояния или остаться на месте. Даны: 1) вероятность p смещения для первой секунды; 2) вероятность а (а = const) смещения для любой рассматриваемой секунды, если известно, что в течение предыдущей секунды точка смещалась, 3) вероятность b (b = const) смещения для любой рассматриваемой секунды, если известно, что в течение предыдущей секунды точка оставалась на месте. Найти вероятность смещения точки в течение (n+1)–й секунды.

30. Плоскость.

Точка движется по плоскости и в течение секунды может сместиться или на единицу расстояния по горизонтали, и на единицу расстояния по вертикали, или пройти диагональ единичного квадрата (смещение на единицу по горизонтали и единицу по вертикали), или остаться на месте. Вероятность горизонтального и вертикального смещений одинакова и для любой секунды (кроме первой) равна: 1) а, если в предыдущую секунду произошли оба смещения; 2) b, если в предыдущую секунду произошло только одно смещение по горизонтали или по вертикали: 3) c, если в предыдущую секунду точка оставалась на месте. Составить уравнение цепи Маркова для определения вероятностей горизонтального (вертикального) смещения точки в течение (n+1)–й секунды.

31. Серия успехов.

Пусть имеется последовательность независимых испытаний, в каждом из которых вероятность появления события А равна p, (0<p <1), непоявление события А обозначим через В (В = не А). Под изучаемой системой будем понимать всевозможные комбинации из А и B в сериях последовательных испытаний. Будем считать, что система в момент t находится в состоянии E_k (k = 0, 1, 2, ...), если в испытаниях с номерами t, t –1,t – 2, ..., t –k+1 появилось А, а в испытании с номером t – k появилось В. Система в данный момент t находится в состоянии Е₀, если исходом испытания с номером t является В.

В начальный момент 0 система находилась в состоянии Е₀.

Написать матрицу переходных вероятностей, вычислить матрицу перехода через n шагов.

32. Частицы.

В некоторой области пространства имеются однородные частицы. Состояние изучаемой системы определяется числом частиц в данной области. В течение промежутка времени длиной 1 каждая частица независимо от других может покинуть эту область с постоянной вероятностью q. Кроме того, в области может появиться в течение единицы времени r

новых частиц (r = 0, 1, 2,,,,) с вероятностью, определяемой законом Пуассона с параметром λ.

Найти матрицу переходных вероятностей.

5. Теорема солидарности

Теорема 3. В неразложимой Марковской цепи все состояния принадлежат одному типу: если хоть одно возвратно, то и все возвратны; если хоть одно нулевое, то и все нулевые; если хоть одно периодическое с периодом d, то и все периодичны с периодом d.

Доказательство: Пусть _k, _j – два разных состояния. Существуют такие числа s, t, что P_kj(s) > 0, P_jk(t) > 0. По формуле полной вероятности

P_kk(s + t + n) = P_kk(s+n+t) =

P_kk(s + t + n) ≥ P_kj(s)P_jj(n)P_jk(t) (1)

Аналогично, P_jj (s + t + n) = P_jj(t + n + s) ≥ P_jk(t)P_kk(n)P_kj(s) (2)

Обозначим P_kj(s) = A, P_jk(t) = B. Тогда

P_kk(s + t + n) ≥ ABP_jj(n) (1^/)

P_jj(t + n + s) ≥ ABP_kk(n) (2^/)

P_jj(n) ≤ P_kk(s + t + n) (1^//).

Обозначим s+t+n = u, тогда n = u–s–t.

P_jj(u) ≥ ABP_kk(u – s – t) (2^//)

Равенство (2^//) справедливо для любых u, не меньших n, поэтому справедливо и для n:

P_jj(n) ≥ ABP_kk(n – s – t) (2^///)

Объединим (1^//) и (2^///):

ABP_kk(n–s–t) ≤ P_jj(n) ≤ P_kk(n+s+t).

ABP_kk(n – s – t) ≤ P_jj(n) ≤ P_kk(n + s + t).

1. Пусть _k– нулевое, тогда , но тогда и , следовательно, _j – нулевое.

2. Пусть _k– возвратное, т.е.

_j – возвратное.

3) Пусть _k – периодичное состояние с периодом d_k, т.е. P_kk(u) > 0, следовательно, существует такое b, что u = bd_k.

P_kk(t + s)  P_kj(s)P_jk(t) = AB > 0  t + s = ad_k.

Рассмотрим _j. Если для некоторого n P_jj(n) > 0, то P_kk(n + t + s) > 0  n + t + s = cd_k.

n + ad_k = cd_k  n = (c – a)d_k  цепь периодическая с периодом d_j, где d_j ≥ d_k. Аналогично можно показать, что d_k ≥ d_j  d_k = d_j 

Если состояния цепи Маркова периодичны с периодом d > 1, то цепь называется периодической. Изучение периодических цепей в значимой мере может быть сведено к изучению непериодических.

Теорема 4. Если цепь Маркова периодическая с периодом d, то множество состояний разбивается на d подклассов ₀, ₁,..., _d–1 таких, что с вероятностью 1 за один шаг система переходит из класса _n в _n+1, из класса _d–1 система переходит в ₀.

Доказательство: Выберем любое состояние, например ₁. Построим с помощью этого состояния подклассы ₀, ₁,..., _d–1 следующим образом: _i  _, 0 ≤  ≤ d–1, если существует целое число k > 0 такое, что P_1i(kd + ) >0. Покажем, что никакое состояние не может принадлежать сразу двум подклассам. Для этого достаточно доказать, что если _i  _ и для некоторого s P_1i(s) > 0, то s = (mod d). Действительно, существует

t₁ > 0 такое, что P_i1(t₁) > 0. Тогда P₁₁(kd +  + t₁)  P_1i(kd+)P_i1(t₁) > 0. Кроме этого, P₁₁(s + t₁)  P_1i(s)P_i1(t₁) > 0. Значит, kd +  + t₁ = ad и s + t₁ = bd 

kd +  + bd – s = ad;  = s + d(a – b – k)   = s(mod d).

Т.к. из состояния ₁ можно с положительной вероятностью попасть в любое

_i , то содержит все множество состояний. Докажем теперь, что система из _ за один шаг с вероятностью 1 переходит в _+1 (+1 понимается по mod d). Для этого надо показать, что для _I  _ . Достаточно получить, что P_ij = 0, если _i_, _j_+1. От противного, пусть _i_, _j_+1 , Pij > 0. Тогда P_1j(kd++1)  P_1i(kd+)P_ij(1) > 0, так как P_ij(1) = P_ij, но тогда _j_+1 – противоречие. 

Из теоремы видно, что матрица периодической цепи будет иметь вид

Из периодической цепи Маркова с периодом d можно образовать d новых цепей Маркова. Состояниями –ой цепи будут состояния из подкласса _ . Вероятности перехода задаются равенствами . В силу только что доказанной теоремы . Новая цепь уже не будет иметь подклассов.