3. Марковские процессы с дискретным временем.

Как было определено ранее, для случайных процессов с дискретным временем изменения состояний возможны только в определенные моменты времени, и эти моменты обозначим через t₀,t₁,t₂, … . В случае дискретной цепи Маркова для описания переходов между состояниями используютсявероятностипереходов, определяемые как

p

(4)

_ij(t_k)=Pr{g(t_k+1)=E_j|g(t_k)=E_i},i,j=0,n.

Вероятность перехода (за один шаг) p_ij(t_k) задет вероятность того, что случайный процесс на следующем (k+1)-ом шаге перехода (в момент времениt_k+1) окажется в состоянииE_jпри условии, что на текущемk-ом шаге (в момент времениt_k) он находится в состоянииE_i.

Если вероятности переходов p_ij(t_k) не зависят от момента времениt_k, т.е. p_ij(t_k)=p_ij, то цепь Маркова называетсяоднородной, в противном случае -неоднородной. Далее будем рассматривать только однородные цепи Маркова.

Вероятности переходовp_ij,i,j=0,n, обычно задаются в виде квадратной матрицыT размерности (n+1)(n+1):

э

(5)

лементы которой удовлетворяются условиям:

,i=0,n;

(6)

, i,j=0,n.

Условие (5) означает, что в любой момент времени t₀, t₁,t₂, … процесс обязательно (с вероятностью 1) перейдет из состоянияE_iв какое-либо другое состояниеE₀, E₁,, E_n, причем не исключается возможность перехода в то же самое состояние.

Матрица, удовлетворяющая условиям (5) и (6), называется стохастической. Поскольку элементами стохастической матрицы Тявляются вероятности переходовp_ij, то эта матрица называется матрицей вероятностей переходов.

Наряду с вероятностями переходов p_ijза один шаг, определим вероятности переходов заmшагов в виде

,m=1,2, …

Здесь задет вероятность того, что черезmпереходов случайный процесс окажется в состоянииE_jпри условии, что на текущем шаге он находится в состоянииE_i. В силу однородности марковской цепи вероятности ,i,j=0,n,не зависят от текущего времениt_k.

Используя марковское свойство, легко вывести следующую формулу для вычисления вероятностей :

(7)

,m=2,3, …

Это равенство означает, что для попадания из состояния E_i в состояниеE_jзаmшагов необходимо сначала попасть из состоянияE_iв некоторое состояниеE_kзаm-1 шагов, а затем за один шаг перейти изE_kвE_j. Вероятность этих двух независимых событий (они независимы в силу марковского свойства) равна произведению вероятностей каждого из них, и, если просуммировать эти произведения по всем возможным промежуточным состояниямE_k, то получится вероятность .

Цепь Маркова называется неприводимой, если каждое ее состояние может быть достигнуто из любого другого состояния, т.е. для каждой пары состоянийE_iиE_jсуществует целое числоm₀такое, что . СостояниеE_iназываетсяпоглощающим, если процесс достигнув это состояние, не покидает его. Очевидно, для поглощающего состоянияp_ii=1. СостояниеE_iназываетсяневозвратным, если случайный процесс после какого-то числа переходов непременно покидает его.

Вернемся к вопросу определения вероятностей состоянийP_i(t_k),i=0,n, предполагая, что начальные вероятностиP_i(t₀),i=0,n, приt₀=0 известны.

Используя доводы, аналогичные тем, что были приведены для обоснования равенства (7), легко определить, что искомые вероятности после первого шага, т.е. на момент времени t₁

,i=0,n.

Вероятности состояний после второго шага на момент времени t₂определяются аналогично:

,i=0,n.

В общем случае после k-го шага на момент времениt_k, k=1, 2,..., вероятности состояний будут равны

(8)

,i=0,n.

В

(9)

векторной форме равенства (8) имеют вид:

P(t_k)=P(t_k-1)T.

Если случайный процесс обладает эргодическим свойством, т.е. существуют пределы ,i=0,n, то соответствующие предельные значения вероятностей состоянийP_i, i=0,n, для стационарного режима определяются из решения системы уравнений:

,i=0,n

и

(10)

ли в векторном виде

P=PT

с

(11)

.

нормировочным условием

В системе (10) уравнения являются линейно зависимыми и любое из них можно исключить из нее, а недостающее при этом (для однозначного определения n+1 неизвестных) уравнение составляет условие (11).

Сформулируем теперь правило составления уравнений для стационарных вероятностей состояний марковского процесса с дискретным временем по графу переходов. Для каждого состояния уравнение составляется следующим образом. В левой части уравнения записывается стационарная вероятность рассматриваемого состояния. Правая часть представляет собой сумму членов, число которых равно числу дуг, входящих в рассматриваемое состояние. Каждый член представляет собой произведение вероятности перехода, соответствующей данной дуге, на вероятность состояния, из которого исходит эта дуга. Сформулированное правило позволяет чисто механически записывать уравнения для стационарных вероятностей состояний непосредственно по графу переходов.

Пример. Рассмотрим систему, которая состоит из двух устройствy₁иy₂, каждое из которых может находиться в одном из двух состояний: не работает (обозначим это состояние через 0) и работает (состояние 1). В определенные моменты времени может включиться или выключиться только одно устройство. Пусть процесс функционирования такой системы описывается процессом с дискретным временем. Выделим возможные состояния процесса (системы):

E_i

yi E0 E1 E2 E3
y1	0	0	1	1
y2	0	1	0	1

Предположим, что известны вероятности переходов, представленные в виде матрицы

и начальные вероятности P₀(0)=0,7,P₁(0)=P₂(0)=P₃(0)=0,1. Граф переходов для этого процесса имеет вид, показанный на рис. 2.

Рис. 2. Граф переходов.

Определим вероятности состояний на различные моменты времени. Согласно формуле (8) вероятности состояний на момент времени t₁:

P₀ (t₁) =P₀ (0) p₀₀ + P₁ (0) p₁₀ +P₂ (0) p₂₀ + P₃ (0) p₃₀ =0.1;

P₁ (t₁) =P₀ (0) p₀₁ + P₁ (0) p₁₁ +P₂ (0) p₂₁ + P₃ (0) p₃₁ =0.18;

P₂ (t₁) =P₀ (0) p₀₂ + P₁ (0) p₁₂ +P₂ (0) p₂₂ + P₃ (0) p₃₂ =0.62;

P₃ (t₁) =P₀ (0) p₀₃+ P₁ (0) p₁₃ +P₂ (0) p₂₃ + P₃ (0) p₃₃ =0.1;

на момент времени t₂:

P₀ (t₂) =P₀ (t₁)p₀₀+P₁ (t₁)p₁₀+P₂(t₁)p₂₀+P₃(t₁)p₃₀ =0.4;

P₁(t₂) =P₀ (t₁)p₀₁+P₁(t₁)p₁₁+P₂(t₁)p₂₁+P₃(t₁)p₃₁ =0.06;

P₂(t₂) =P₀ (t₁)p₀₂+P₁(t₁)p₁₂ +P₂(t₁)p₂₂+P₃ (t₁)p₃₂=0.14;

P₃(t₂) =P₀ (t₁)p₀₃+P₁(t₁)p₁₃+P₂(t₁)p₂₃+P₃ (t₁)p₃₃ =0.4;

и т.д.

Предполагая, что рассматриваемый случайный процесс обладает эргодическим свойством, что соответствует действительности, определим вероятности состояний для стационарного режима. Искомые вероятности P₀,P₁,P₂,P₃могут быть найдены, согласно равенствам (10) и (11), из системы уравнений:

P₀ = 0.5P₁ +0.5P₂

P₁ = 0.2P₀ +0.4P₃

P₂ = 0.8P₀ +0.6P₃

P₃ = 0.5P₁ +0.5P₂

P₀ +P₁+P₂ +P₃ =1.

Легко проверить, что такую же систему мы получим, если воспользуемся приведенным выше правилом составления уравнений для стационарных вероятностей по графу переходов.

Решив систему уравнений, получим: P₀ =0.25;P₁ =0.15;P₂ =0.35;P₃ =0.25.

В заключении вернемся к вопросу о свойстве отсутствия последействия для марковских цепей с дискретным временем и докажем, что время пребывания в данном состоянии имеет геометрическое распределение.

Предположим, что процесс только что перешел в состояние E_i. Он останется в этом состоянии на следующем шаге с вероятностьюp_iiи с вероятностью 1-p_ii уйдет из этого состояния. Если процесс действительно останется в этом состоянии, то вероятность того, что на следующем, втором, шаге он останется в данном состоянии, по-прежнему равнаp_ii, а вероятность того, что процесс перейдет в другое состояние, останется равной 1-p_ii. И так далее. Более того, благодаря марковскому свойству тот факт, что процесс пребывал в данном состоянии известное число шагов, никак не сказывается на вероятности остаться на следующем шаге в этом же состоянии или перейти в некоторое другое состояние. Так как эти события независимы, то вероятность того, что процесс находился в состоянииE_iточноmшагов и затем сразу перешел в другое состояние, равна (1-p_ii), что и задает геометрическое распределение.