3. Классификация состояний марковских цепей

Определение: марковская цепь считается неприводимой, если любое состояние E_j может быть достигнуто из любого другого состояния E_j за конечное число переходов, то есть при i ¹ j:

> 0 при 1£ n £ ¥.

При этом все состояния цепи называются сообщающимися.

Определение: множество С состояний в марковской цепи называется замкнутым, если система, однажды оказавшаяся в одном из состо-яний этого множества, будет находится в нем в течении бесконечного интервала времени.

Частным случаем замкнутого множества является единственное состояние E_j с переходной вероятностью p_ij = 1. Такое состояние E_j называется поглощающим.

Пример. Рассмотрим следующую марковскую цепь, заданную графом состояний:

1

1/4

1/2

2

1/3

1/4

1

1 3 4

1/3

1/3

Тогда соответствующая матрица переходных вероятностей имеет вид:

.

Здесь состояние 4 - поглощающее и образует замкнутое множество. Цепь не является неприводимой.

Пусть система находится в состоянии E_j . Число шагов, за которое система возвращается в состояние E_j называется первым временем возвращения. Обозначим через вероятность того, что первое время возвращения соответствует n-му шагу. Тогда при заданной матрице переходных вероятностей P = {p_ij } формулы для вычисления определяется так:

или

По индукции можно доказать, что:

Тогда

.

Вероятность по крайней мере одного возвращения в состояние E_j:

.

Система обязательно вернется в состояние E_j , если f_jj = 1.

Обозначим через m_jj среднее время возвращения, тогда по определению математического ожидания:

.

Если f_jj < 1, то неизвестно, вернется ли система в состояние E_j, значит m_jj = ¥.

Вводится следующая классификация состояний марковской цепи:

1. состояние является невозвратным, если f_jj < 1, то есть m_jj = ¥;

2. состояние возвратно , если f_jj = 1;

3. возвратное состояние является нулевым, если m_jj = ¥ и ненулевым, когда m_jj < ¥ (то есть конечно);

4. состояние называется периодичным с периодом t, если возвращение в него возможно только через число шагов t, 2t, … . Это значит, что если n не делится на t без остатка, то ;

5. возвратное состояние называется эргодическим, если оно ненулевое и апериодичное.

Любая неприводимая цепь Маркова является эргодической, если все её состояния - эргодические. В этом случае распределение полных вероятностей всегда однозначно сходится к предельному (финальному) распределению при n ® ¥, которое не зависит от исходных вероятностей .

Имеет место следующая теорема. Все состояния в неприводимой бесконечной марковской цепи могут принадлежать к одному из следующих трех классов: невозвратных, возвратных нулевых или возвратных ненулевых состояний. Во всех случаях все состояния являются сообщающимися и имеют один и тот же период. В частном случае цепи с конечным числом состояний она не может содержать только невозвратные состояния или нулевые состояния.

Ранее указывалось, что при числе переходов n ® ¥, полные вероятности системы перестают зависеть от .

Имеет место теорема: если в неприводимой апериодической марковской цепи:

1. все состояния - невозвратные или нулевые, то p_jj ® 0 при n ® ¥ для всех i и j и предельное распределение не существует;

2. все состояния эргодические, то

где b_j - предельное (установившееся) распределение. Вероятности b_j существуют однозначно и не зависят от . Величинs b_j определяются из уравнений:

Одно из этих уравнений является избыточным.

Среднее время возвращения в состояние j при этом определяется формулой:

.

Пример.

Рассмотрим марковский процесс со следующей матрицей переходных вероятностей:

.

Определим предельные вероятности из следующей системы уравнений:

Любое из первых двух уравнений системы может быть отброшено. После этого получаем систему двух уравнений относительно двух неизвестных. Решение системы имеет вид:

b₁ = 0.4286 , b₁ = 0.5714 .

Тогда .

Если цепь Маркова имеет матрицу переходных вероятностей Р такую, что:

,

то матрица Р называется дважды стохастической. Для дважды стохастической матрицы имеет место соотношение:

для всех j,

где S - размер матрицы { p_ij }.

Пример.

Цепь Маркова имеет следующую матрицу переходных вероятностей:

и является дважды стохастической. Так как S = 3, то: , j = 1, 2, ... .