2.2. Цепи Маркова

В примере 2 мы встретились с марковским процессом, пространство состояний которого является дискретным. Рассмотрим такие процессы подробнее.

Определение 2.1.

Марковский случайный процесс называется марковской цепью {x _n}, если множество значений X является конечным или счетным, а аргумент T принимает значения { 0 , ±1_, ±2, …, ± n }.

Пространство состояний процесса удобно отождествлять с множеством неотрицательных целых чисел ( 0, 1, 2, …) и считать, что находится в состоянии i , если .

Вероятность случайной величины x _n+1 оказаться в состоянии j , если известно, что обозначается формулой

Эта вероятность называется переходной вероятностью за один шаг.

Если переходные вероятности не зависят от k = 0, ±1, ±2 … , то говорят, что марковский процесс обладает стационарными переходными вероятностями.

Пользуясь дискретностью множества Х и независимостью от времени, можно записать в виде квадратной матрицы вероятности переходов

Определение 2.2

Матрица Р называется матрицей переходных вероятностей марковской цепи. Каждая строка этой матрицы представляет собой условное распределение случайной величины x _n+1 при условии, что , !!= 0, 1, 2,…. .

Очевидно, что элементы и строки матрицы обладают свойствами

Обычно в вероятностных задачах анализа АСУ множество значений Х конечно и тогда матрица Р – конечная квадратная матрица.

Для стационарной марковской цепи выборочная траектория {x _n } представляет собой последовательность номеров ( или каких либо символов ), соответствующих состояниям, в которых процесс находится в моменты времени n = 1, 2, .….

Как правило, марковскую цепь рассматривают, начиная с некоторого момента времени t, причем полагая : t = 0. Обозначим - безусловную вероятность того, что в момент времени n = 0 процесс находится в состоянии . Тогда

Для стационарных марковских процессов справедлива следующая теорема.

Теорема 2.1. Для стационарной марковской цепи вероятность

(2.2) Для доказательства заметим, что по определению условной вероятности имеем

(2.3)

Но по определению марковского процесса

(2.4)

Подставляя (2.3) в (2.4), получим :

Продолжая по индукции, получим равенство (2.2).

2.2.2. Матрица вероятностей перехода за n шагов.

Одной из важнейших характеристик марковской цепи является матрица переходных вероятностей за n шагов , каждый элемент которой обозначает вероятность того, что процесс перейдет из состояния в состояние за n шагов.

Независимость поведения от предыстории позволяет выразить вероятность через , как это видно из следующей теоремы.

Теорема 2.2. Если - матрица одношаговых переходных вероятностей марковской цепи, то

(2.5)

Для любой фиксированной пары неотрицательных чисел

Для доказательства рассмотрим событие, состоящее в переходе из состояния в состояние за два шага ( n = 2 ). Это событие может произойти любым из следующих взаимно исключающих друг друга путей: на первом шаге – переход в некоторое промежуточное состояние k (k= 0, 1, 2 ….), затем на втором шаге, переход из состояния k в состояние . Так как процесс марковский, то вероятность второго перехода равна , а первого . Отсюда в силу формулы полной вероятности получим

Для случая n > 2, повторяя рассуждения, приходим к такому же выводу. Формуле ( 2.5 ) можно придать рекуррентный вид.

Другой удобной формой для представления является формула

(2.6)

где - вероятность перехода из в точно за m шагов ( т.е. без попадания в до m – го шага). Величина равняется, очевидно,

(2.7)

Обозначим - вероятность (полную) оказаться в момент времени n в состоянии с номером K. Тогда, как это видно из (2.5),

(2.8)

Важнейшей задачей анализа марковских цепей является исследование асимптотического поведения вероятностей при n → .

Для проведения такого исследования введем классификацию состояний марковских цепей.