Марковские процессы

Рассматриваются процессы с дискретными состояниями.

S_j

S_i

W – все возможные состояния системы

V – подмножество состояний системы

Подмножество V называется замкнутым, если система S, попав в это состояние, не может выйти из него:

Связное состояние – из любого состояния подмножества можно попасть в любое другое состояние подмножества:

Подмножество называется транзитивным, если система может попасть в подмножество и выйти из него за конечное число шагов :

Обозначения:

S(t) – состояние системы в момент времени t

P_i(t) = P {S(t) = S_i} – система в момент времени t будет находиться в состоянии S_i

Случайный процесс, протекающий в системе S с дискретными состояниями S₁,S₂,… ,S_i,… , называется Марковским, если для любого момента времени t_0, вероятность каждого из состояний системы в будущем, (при t > t₀) зависит только от её состояния в настоящем (при t = t₀) и не зависит от того, когда и как она пришла в это состояние; т.е. не зависит от ее поведения в прошлом (при t < t₀).

Из определения Марковской цепи следует, что для нее вероятность перехода системы S в состояние S_j на (k+1)-м шаге зависит только от того, в каком состоянии S_i находилась система на предыдущем k-м шаге и не зависит от того, как она вела себя до этого k-шага.

P_ij(k) = P {S(k) = S_j / S(k-1) = S_i } – условная вероятность перехода

P_ij – вероятность переходов

P_jj – задержка

Марковская цепь называется однородной, если вероятности переходов не зависят от шага.

, 0 ≤ P_ij(k) ≤ 1

Чтобы найти вероятности P_i(k), недостаточно знать матрицу переходов вероятностей, нужно ещё знать начальное распределение вероятностей:

P₁(0), P₂(0), …. , P_i(0), …, P_n(0).

Найдем распределение вероятностей на k шаге:

В момент времени k = 0 система находится в i состоянии

H_i : P_i(0) = P{S(0) = S_i}, тогда P_ij = P{S(1) = S_j / S(0) = S_i}

По формуле полной вероятности получим:

В момент времени k = 1 система находится в i состоянии

H_i : P_i(1) = P{S(1) = S_i}, тогда P_ij = P{S(2) = S_j / S(1) = S_i}

По формуле полной вероятности получим:

Таким образом мы выразили распределение вероятностей на втором шаге через распределение на первом шаге и матрицу || P_ij||. Переходя таким же образом от k=2, k=3, … , получим рекуррентную формулу:

P₁(1), P₂(1), …, P_n(1) = (P₁(0), P₂(0), …, P_n(0)) || P_ij||;

P₁(2), P₂(2), …, P_n(2) = (P₁(0), P₂(0), …, P_n(0)) || P_ij||²;

…………………………………..

P₁(k), P₂(k), …, P_n(k) = (P₁(0), P₂(0), …, P_n(0)) || P_ij||^k.

Стационарный режим Марковской цепи

При некоторых условиях в Марковской цепи устанавливается стационарный режим для больших k, в котором система продолжает блуждать по состояниям, но вероятности этих состояний уже от номера шага не зависят. Эти вероятности можно трактовать как среднюю долю времени, которую система проводит в каждом из состояний.

, если предел существует, то вероятности называются финальными или предельными, а Марковская цепь называется эргодической.

Отсутствие 0 и 1 в матрице состояний является достаточным условием для существования финальных вероятностей.

Другое условие стационарного режима для системы S с конечным числом состояний:

1. Множество всех состояний W системы S должно быть эргодическим;

2. Цепь Маркова должна быть однородной;

3. В Марковской цепи не должно быть циклов.

Пример цикла, которого быть не должно:

В общем случае не будет стационарного режима и у системы, размеченный граф которой показан на рисунке, несмотря на то, что первые два условия выполняются:

P₁(0) + P₂(0) = 1, то при k нечетном система S будет находиться в подмножестве состояний {S₃, S₄}, а при k четном – в подмножестве состояния {S₁, S₂}:

P₁(k) + P₂(k) = 0, P₃(k) + P₄(k) = 1 при k нечетном,

P₁(k) + P₂(k) = 1, P₃(k) + P₄(k) = 0 при k четном.

Матрица переходных вероятностей, соответствующая графу, изображенному на рисунке имеет вид:

Будем считать, что условия существования финальных вероятностей выполнены, и пределы

существуют и не зависят от начальных условий. В установившемся режиме мы можем составить систему уравнений для нахождения финальных вероятностей.

Вероятности не зависят от номера шага.

Решение этой системы будет тривиальным (нулевым), поэтому добавим нормировочное условие, исключив одно из n уравнений: