6.2. Марковские цепи с дискретным временем

Начнем с примера. Система - морская эскадра, состоящая из n кораблей, время от времени подвергается атакам противника. После каждой атаки система может оказаться в одном из следующих состояний:

- все корабли на плаву (ни один корабль не потоплен),

s₁ - один корабль потоплен, остальные на плаву,

s₂- два корабля потоплены,

......

s_m - все n потоплены (m = n + 1).

Вероятность того, что во время атаки любой корабль будет потоплен, равна p (независимо от состояния остальных кораблей). Граф состояний для n=3 и p=0,4 изображен на рис.6.2.

Обозначим последовательные состояния системы символами

Эта последовательность и называется марковской цепью. В качестве аргумента дискретной случайной функции можно рассматривать не времяt, а номер k очередного “шага” системы, то есть порядковый номер изменения состояния системы. При этом цепь Маркова запишется в виде

Рис. 6.2.

Эту случайную функцию (точнее ее реализацию) можно изобразить графически как, например, на рис.6.3, если обозначить X(k) номер состояния, в котором система находится в момент времени t.

Рассмотрим одномерный закон распределения случайной функции X(k). Обозначимвероятность того, что послеk-ого шага система S будет находится в состоянии (i=0,1,...,m). Вероятности называются вероятностями состояний цепи Маркова. Очевидно, что для любогоk сумма всех равна 1. Дляk = 0 распределение называется начальным. В частности, если начальное состояние системы известно точно, то соответствующая начальная вероятность равна 1, а вероятности всех остальных состояний равны 0.

Теперь рассмотрим условную вероятность того, что система S после k-ого шага окажется в состоянии , при условии, что непосредственно перед этим (послеk-1 шагов) она находилась в состоянии :

Эта вероятность называется переходной.

Переходные веро

5

3

1

ятности образуют квадратную матрицу размерностиm*m:

Сумма переходных вероятностей в каждой строке равна 1. Матрицы, обладающие этим свойством, называются стохастическими.

Если переходные вероятности не зависят от номера шага, то марковская цепь называется однородной.

Переходные вероятности для рассмотренного в начале параграфа примера с эскадрой равны

Смысл этой формулы сводится к следующему. При i=j вероятность равна вероятности того, что при данном шаге ни один изm-i кораблей эскадры не будет потоплен. При i < j вероятность переходаравна вероятности того, что изn - i кораблей j - i будут потоплены. Эта вероятность определяется биномиальным распределением. В итоге матрица переходных вероятностей равна

Состояниеявляется поглощающим. Сумма переходных вероятностей в любой строке равна единице.

Используя основное свойство марковских цепей, для вероятностей состояний системы после k-ого шага может быть легко построена рекуррентная формула:

(6.1)

В рассматриваемом примере начальное распределение вероятностей состояний естественно принять таким

Вероятности состояний после первого шага:

Вероятности состояний после второго шага:

и т.д.

Из вероятностей состояний после k-ого шага можно образовать вектор

Это вектор вероятностей состояний. Теперь формулу (6,1) можно переписать в виде

(6.2)

Это уравнение называется уравнением Колмогорова - Чепмена. Для первого шага

Для второго шага (матрица Q однородная)

Для k-ого шага

(6.3)