Определение

Последовательность дискретных случайных величин   называется простой цепью Маркова (с дискретным временем), если

.

Таким образом, в простейшем случае условное распределение последующего состояния цепи Маркова зависит только от текущего состояния и не зависит от всех предыдущих состояний (в отличие от цепей Маркова высших порядков).

Область значений случайных величин   называется простра́нством состоя́ний цепи, а номер   — номером шага.

[Править]Переходная матрица и однородные цепи

Матрица  , где

называется ма́трицей перехо́дных вероя́тностей на  -м шаге, а вектор  , где

— нача́льным распределе́нием цепи Маркова.

Очевидно, матрица переходных вероятностей является стохастической, то есть

.

Цепь Маркова называется одноро́дной, если матрица переходных вероятностей не зависит от номера шага, то есть

.

В противном случае цепь Маркова называется неоднородной. В дальнейшем будем предполагать, что имеем дело с однородными цепями Маркова.

[Править]Конечномерные распределения и матрица перехода за n шагов

Из свойств условной вероятности и определения однородной цепи Маркова получаем:

,

откуда вытекает специальный случай уравнения Колмогорова — Чепмена:

,

то есть матрица переходных вероятностей за   шагов однородной цепи Маркова есть  -я степень матрицы переходных вероятностей за 1 шаг. Наконец,

.

Обозначим через   вероятность того, что в результате n шагов (испытаний) система перейдет из состояния   в состояние  . Например,  – вероятность перехода за 10 шагов из третьего состояния в шестое. Отметим, что при n=1 эта вероятность сводится просто к переходной вероятности  .

Возникает вопрос, как, зная переходные вероятности  , найти вероятности перехода состояния   в состояние   за n шагов. С этой целью вводится в рассмотрение промежуточное (между   и  ) состояние r. Другими словами, полагают, что из первоначального состояния   за m шагов система перейдет в промежуточное состояние r с вероятностью  , после чего за оставшиеся n–m шагов из промежуточного состояния r она перейдет в конечное состояние   с вероятностью  . Используя формулу полной вероятности, можно показать, что справедлива формула:

.

Эту формулу называют равенством Маркова.

Зная все переходные вероятности  , т.е. зная матрицу перехода   из состояния в состояние за один шаг, можно найти вероятности   перехода из состояния в состояние за два шага, а значит, и саму матрицу перехода  , далее – по известной матрице   – найти   и т.д.

1