§24 Цепи Маркова

24.1 Основные определения. Формула Чепмена–Колмогорова

Говорят, что последовательность случайных величин обладаетМарковским свойством(являетсяцепью Маркова с дискретным временем), если

.

То есть, условное распределение последующего состояния цепи зависит только от текущего состояния и не зависит от всех предыдущих состояний.

Мы будем исследовать однородныецепи Маркова — такие, для которых условное распределение последующего состояния не зависит от момента времениn:

.

При дальнейшем исследовании конкретные значения, принимаемые случайной величины, будут нам неинтересно; поэтому вместо них вводят состояния, нумеруемые целыми числами. Переход из одного состояния в другое (не обязательно от него отличающееся) происходит затакт(момент времени).

Тогда говорят о вероятности переходаиз состоянияiв состояниеj:

.

Из {p_ij} очевидным образом можно составитьматрицу переходных вероятностей:

.

Эта матрица обладает следующими свойствами:

1. (вероятности — величины неотрицательные),

2. (если мы вышли из состоянияi, то обязательно за один такт перейдем в некоторое состояниеj ).

Матрицы с такими свойствами называют стохастическими(случайными).

Матрице переходных вероятностей можно рассматривать как матрицу смежности некоторого взвешенного ориентированного графа — это повышает наглядность. Например, пусть

.

Тогда соответствующий граф имеет вид

Уточним определение. Вообще говоря,

.

Важной характеристикой цепи Маркова является следующая: «При известном настоящем прошлое и будущее независимы» (то есть, цепь симметрично «повернута» к прошлому и к будущему): . Докажем это утверждение для частного случая.

Доказательство.

Введем матрицу переходных вероятностей за m шагов:

Как связаны между собой Pи? Покажем, что

.

Действительно, пусть цепь вышла в некоторый момент времени из состоянияi. Введем гипотезуH_k= {X_r=k} («в момент времениrцепь находится в состоянииk»). Тогда всевозможныеH_kобразуют полную группу событий (поскольку в любой момент времени цепь находится в одном из возможных состояний). Значит, по ф. полной вероятности

Полученная нами формула носит название формулы Чепмена–Колмогорова. Ее можно записать в матричной форме:

.

Отсюда следует тогда, что

.

Таким образом, с вероятностной точки зрения цепь Маркова задается матрицей переходных вероятностей Pиначальным распределением

.

Из формулы полной вероятности видно, что

,

или, что то же самое,

.

Это утверждение является формулой Чепмена–Колмогорова для распределения (а не для условного распределения).

24.2 Классификация состояний

Говорят, что состояние jдостижимоиз состоянияi, и записываютi→j, если. Если одновременно с этимj→i, состоянияiиjназываютсообщающимися, и записываютi↔j.

Если i↔j,j↔k, то иi↔k(то есть отношение ↔ транзитивно). Действительно, см. граф:

Возьмем некоторое состояние i₁, и образуемклассI₁состояний, сообщающихся с ним. Затем возьмем состояниеi₂, и образуем классI₂состояний, сообщающихся с ним и не входящих в классI₁и т.д. Образованные таким образом классы {I_k} не пересекаются. В самом деле, пустьiI₁I₂. Тогдаi₁↔i,i₂↔i. По транзитивности получимi₁↔i₂, а, значит, по построениюi₁иi₂принадлежат одному классу состояний. То есть,I₁=I₂.

Кроме сообщающихся состояний в цепи могут существовать поглощающие(в них можно войти, но нельзя выйти), выделяемые в классI₀, инесущественные(из них можно выйти, но нельзя войти), выделяемые в классI ^*.

Пример

В цепи, изображенной на рисунке, состояние 0 — несущественное, 1 — поглощающее, 2 и 3 — сообщающиеся состояния.

Обычно интересуются предельными свойствами цепей Маркова. Поэтому отбрасывают несущественные состояния (мы выходим из них за конечное число шагов) и поглощающие состояния (мы входим в них в конце и выйти уже не можем). Таким образом, изучаются лишь сообщающиеся состояния. Кроме того, в полученной цепи без несущественных и поглощающих состояний нет смысла рассматривать несколько классов сообщающихся состояний — они все «сливаются» в один.