I Марковские процессы с дискретным временем.

§1 Основные понятия.

В этой главе мы будем рассматривать случайные процессы ξ(t), гдеtє {0, 1, 2,…}. Это случай дискретного времени.

В данном случае наблюдения над процессом начинается в момент t= 0. Мы будем считать, что рассматривается некоторая система, которая может находиться в одном из состоянийS₁,S₂, …,S_k. В каждый момент времени она переходит, возможно, в другое состояние иφ(t) - это номер другого состояния, в котором система находится в моментt.

Пример. Рассмотрим состояния:

S₀- студент учится и не получает стипендию;

S₁- студент учится и получает стипендию;

S₂- студент уходит в академ.

t= 1, 2 , 3 (здесьt- номер семестра)

Рассмотрим вероятность: P{ξ(t₁) =i₁,ξ(t₂) =i₂,…,ξ(t_r) =i_r }

Определение.Случайный процесс называется однородным (стационарным) или стандартным, если для любыхt₁,t₂… иT>=0 выполняется равенство:

(1) P{ξ(t₁) = i₁ ,…, ξ(t_r) = i_r } = P{ ξ(t₁ + T) = i₁ ,…, ξ(t_r + T) = i_r}

Стандартным процессом можно считать колебания курсов валют на небольшом отрезке времени.

В дальнейшем мы будем изучать только однородные(стационарные) процессы.

Для стандартного процесса обозначим через:

(2) P_{i j}(t) =P{ξ(t) =j/ξ(0) =i}

Физический смысл:Вероятность перейти изiвjзаtшагов.

По определению:

(3) P_ij=P_ij (1)

Рассмотрим матрицы:

(4)

(5)

I-ая матрица перехода заnшагов.

II-ая матрица перехода за один шаг. Она играет центральную роль в этой главе.

Определим также распределение вероятностей в начальный момент времени:

(6) P_i⁰=P{ξ(0) =i}

Определение(Марковской цепи с дискретным временем). Однородный процесс с дискретным временем называется Марковским или Марковской цепью с дискретным временем, если выполняется равенство:

(7) P(ξ(0) =i₀, ξ(1) =i₁, … ,ξ(t) =i_t}=

Утверждение (Марковское свойство).Пусть дана Марковская цепь с дискретным временем, тогда справедливо равенство:

(8) P{ξ(t) = i_t / ξ(t-1) = i_t-1,ξ(t-2) = i_t-2 ,…, ξ(0) = i₀} = P{ξ(t) = i_t / ξ(t-1) = i_t-1}

Физический смысл: P(Б/НП) =P{Б/Н}, где Б =t, Н =t– 1, П =t– 2 … 0

Доказательство:используем формулу:

(*)

P{ξ/t) =i_t/ξ(t-1) =i_t-1, ξ(t-2) =i_t-2,…,ξ(0) =i₀} = (*) =

= P{ξ(t) =i_t/ξ(t-1) =i_t-1}

Доказательство: рассмотрим пример:

В примере с "карьерой" студента из многолетнего опыта известно, что матрица переходов за один шаг такова:

Пусть начальное распределение:

Задача: Найти вероятность того, что студент получает стипендию в течении 2-xпервых семестров.

Надо найти: Pξ(1) = 1,ξ(2) = 1} = {7} =P₁¹*P₁₁= 0,4 * 0,79

Основное свойство матрицы перехода дискретной цепи Маркова.

Нам понадобится следующее утверждение:

Утверждение.Пусть дана Марковская цепь с дискретным временем с состояниямиS₁…S_k, тогда справедливо равенство:

(9)

Доказательство: Введем дополнительное событие.

A- система перешла изiвjза (S+t) шагов

H₁- изiвjзаSшагов.

:

H_r- изiвjзаSшагов.

(*) P(A) = P_{i j}(S + t)

(* *) P(H_r) = P_{i r}(S)

(* * *)P(A/H_r) =P_{r j}(t)

Запишем формулу полной вероятности:

получили (9)

Теорема (Основное свойства Марковских цепей с дискретным временем)

P(n) =Pⁿ, где слева матрица перехода заnшагов, справа - матрица перехода за 1 шаг.

Доказательство: Пустьn= 2

P_{i j}(2) - элемент матрицыP(2) (i- строка;j- столбец)

Вспомним определение умножения матриц:

Мы видим, что действительно P²=P(2). Доказательство дляn= 3 аналогично.

Надо представить в виде:

и воспользоваться тем, что для n= 2 доказано.

Пример:На некотором острове в Северном море 30% женщин - рыжие, а остальные - обычные. Известно, что у рыжих женщин с вероятностью 0,6 дочь рыжая, а у обычных с вероятностью 0,2 дочь рыжая. Найти вероятность того, что у обычной бабушки внучка рыжая.

Опишем процесс наследования цвета при помощи Марковской цепи. Составим матрицу переходов за 1 шаг, введя состояния.

S₁- рыжая

S₂- обычная, тогда

Начальное распределение имеет вид: P₁⁰= 0,3;P₂⁰= 0,7

Надо найти P_{2 1}(2).

Можно использовать теорему или (9)

=> P₂₁= 0,28

В условиях этой же задачи найдем долю рыжих внучек ныне живущих женщин на этом острове.

P{рыжая внучка}= {H₁– рыжая,H₂- обычная} =P(H₁) *P₁₁(2) +P(H₂) *P₂₁(2) =

= 0,3 * 0,44 + 0,7 * 0,28 = 0,132 + 0,196 = 0,328