3. Классификация состояний марковских цепей

Введем следующие определения.

Определение 2.3.

Состояние s_n достижимо из состояния , если существует такое n ≥ 0, что

, т.е. если вероятность попасть из состояния в состояние K – неотрицательное.

Определение 2.4.

Множество состояний С называется замкнутым, если любое состояние вне С не может быть достигнуто из С.

Определение 2.5.

Цепь называется неприводимой, если в ней нет никаких замкнутых множеств, кроме множества всех состояний, или, иными словами: цепь является неприводимой тогда и только тогда, когда любое ее состояние может быть достигнуто из любого другого состояния.

Рассмотрим теперь произвольное, но фиксированное состояние и предположим, что в момент О система находится в . Всякий раз, когда система возвращается в состояние , восстанавливается первоначальное положение. Время возвращения является, очевидно, случайной величиной. Каждое состояние характеризуется своим распределением времени первого возвращения { }.

Величины можно вычислить, зная и используя следующие соотношения:

(2.9)

Сумма представляет собой вероятность того, что, исходя из , система когда-нибудь вернется в .

Определение 2.6.

Состояние называется возвратимым, если = 1. Среднее время возвращения равно

Состояние называется нулевым состоянием, если

Если в начальный момент система находится в состоянии , то время ожидания первого достижения имеет распределение

где

Состояние невозвратимо, если <1. В случае если = 1, но среднее время возвращения бесконечно, состояние называется возвратным нулевым состоянием.

Определение 2.7.

Состояние называется периодическим с периодом t > 1, если = 0 для любого n некратного t и t - наименьшее целое число, обладающее этим свойством.

Определение 2.8.

Возвратное состояние, не являющееся ни нулевым, ни периодическим, будет называться эргодическим.

Для марковских цепей справедлива следующая теорема, касающаяся ее состояний, которую мы приведем без доказательства.

В неприводимой цепи Маркова все состояния принадлежат к одному и тому же типу: или они все невозвратные, или все возвратные нулевые, или все возвратные ненулевые.

Конечная цепь Маркова не содержит нулевых состояний и не может состоять только из невозвратных состояний [ 5 ].

2.4. Эргодические свойства непериодических цепей. Стационарное распределение.

Рассмотрим марковскую непериодическую цепь с конечным числом состояний.

Определение 2.9.

Распределение вероятностей { Р_κ} называется стационарным, если

( 2.10)

Иными словами, стационарным распределением Р_κ называется распределение инвариантное относительно матрицы преобразований .

Если начальное распределение {а _κ } стационарно, то абсолютные вероятности { } не зависят от времени , т.е. = .

Неприводимая цепь Маркова принадлежит к одному из следующих двух классов:

а) или все состояния невозвратные, или все состояния нулевые. В этом случае при n → для любой пары индексов , и не существует стационарного распределения;

б) или все состояния эргодические, т.е.

(2.11)

где u _к- величина, обратная среднему времени возвращения в состояние R.

В этом случае { u _к } – стационарное распределение и не существует никаких других стационарных распределений.

Докажем теорему о стационарных распределениях марковских цепей.

Теорема 2.3. Если для марковской цепи существует стационарное распределение, то оно единственно и для любого начального распределения

{ } справедливо:

(2.12)

в противном случае → 0 при n → .

Для доказательства заметим, что ∑ ≤ 1. Это следует непосредственно из того, что при фиксированных j и n величины:

, к = 1, 2,… в сумме равны единице, так что u ₁+ u ₂ +…+ u _N ≤ 1 при любых N. Вероятность перехода , как это было показано в п. 2.2.1, равняется . Если n = 1 и m → ∞, то стремится к , а слагаемые правой части стремятся к . Сложив произвольное количество членов, убеждаемся, что ≥ . Суммируя эти неравенства по всем R, мы получаем в каждой из частей неравенства конечную величину ∑ _. Это показывает, что знак неравенства невозможен и, таким образом, = ∑ Р_{j k} . Положив , видим, что распределение { } стационарно и, значит, по крайней мере, одно такое распределение существует.

Пусть теперь { } – произвольное распределение, удовлетворяющее (2.10). Умножая это соотношение на и суммируя по всем j , получим по индукции, что при любом n . Устремив n к бесконечности, в пределе получим , т.е. распределение { } единственно.

Если все состояния или невозвратные, или нулевые, а распределение { } стационарно, то уравнение по - прежнему имеет место. В то же время → 0, что, очевидно, невозможно. Поэтому стационарное распределение может существовать только в эргодическом случае, и теорема доказана полностью.