2.3. Классификация цепей Маркова.

Множество всех состояний цепи Марковаможет быть разбито на непересекающиеся подмножества, или классы: невозвратные и эргодические. Если процесс покидает класс невозвратных состояний, он никогда в него не возвращается. Если процесс попал в класс состояний второго типа, то он его никогда не покидает. Невозвратное множество будем обозначать как T, а эргодическое как E. При этом, T  E = S, T  E = . Если эргодическое множество содержит только одно состояние, то это состояние называется поглощающим. Для такого состояния S_i элемент переходной матрицы p_ij должен быть равен 1, следовательно, все остальные элементы соответствующей строки равны 0. Цепь, все эргодические состояния которой являются поглощающими, называется поглощающей цепью.

Для цепи Маркова с N состояниями, в которой имеются как невозвратные, так и эргодические множества, структура матрицы вероятностей переходов (возможно, после перенумерации состояний) имеет канонический вид:

где s – количество состояний в невозвратном множестве; n–s количество состояний в эргодическом множестве.

Матрица S размерности (n-s) x (n-s) определяет динамику эргодических состояний. Поскольку из множества T’ невозможно выйти, то матрица  размерности (n-s) x s состоит из нулей. Матрица Q размерности s x s определяет поведение процесса до выхода из множества невозвратных состояний. Матраца R размерности s x (n-s) определяет вероятности перехода из невозвратных в эргодические состояния.

При возведении матрицы P в степень перемножаются блоки матрицы, и произвольная степень канонической матрицы имеет вид

где R(k)=f(R,S,Q,k) – матричное выражение размерности s x (n-s), вид которого нам не важен.

Если цепь Маркова поглощающая, то S = I – единичная матрица размерности n-s, и все ее степени также единичная матрица той же размерности. Моделируя поведение программы ПЦМ, мы сопоставляем поглощающие вершины завершению программы. Поэтому наибольший интерес представляет подматрица Q, описывающая процесс выполнения программы.

Матрица P называется редуцируемой, если имеет вид

где A и B – квадратные матрицы. Цепь Маркова, определяемая такой матрицей, фактически распадается на две независимые цепи Маркова, задаваемые соответственно матрицами A и B.

Матрица P называется периодической, если она имеет вид

где нулевые матрицы – квадратные. Здесь также присутствуют два множества состояний, и на каждом шаге процесс переходит из одного множества состояний в другое.

4. Анализ поглощающих цепей Маркова. Фундаментальная матрица.

В [1] приведена теорема, утверждающая, что для любой ПЦМ матрица (I-Q) обратима, причем

( I - Q )^-1 = I+Q+Q²+Q³+… (2.10)

Для анализа моделей программ большое значение имеет так называемая фундаментальная матрица ПЦМ Ф, определяемая выражением

Ф = ( I - Q )^-1 (2.11)

Обозначим через n_j общее число моментов времени, проводимых процессом в j-м состоянии (эта величина определена только для невозвратных состояний). Другая теорема [1] относительно матрицы Ф гласит, что

{M_i[n_j]}=Ф, где s_i и s_j – невозвратные состояния (2.12)

То есть по фундаментальной матрице (ФМ) ПЦМ можно судить, сколько раз в среднем процесс находился в состоянии s_j, начавшись из состояния s_i.

Тогда, имея вектор нагрузки L = ( L₁, ..., L_n ), определяющий потребление ресурсов в каждом из состояний s_j , и соответствующую ему диагональную матрицу L_diag, на главной диагонали которой находятся элементы из L, а остальные элементы нулевые, мы можем найти значения математического ожидания и дисперсии потребления ресурса

{ M_i (t_j) } = Ф * L_diag (2.13)

{ D_i (t_j) } = Ф * ( 2*L_diag * Ф * L - L_sq ) - (Ф * L)_sq (2.14)

где индексом sq обозначены вектора, состоящие из квадратов элементов исходных векторов.