2.7.4. Марковские цепи

Положим, случайный процесс в дискретные моменты времени может принимать дискретные значения из некоторого конечного множества с числом элементов, равным . Припишем номер каждому состоянию . Состояние в момент будем считать начальным состоянием процесса, описываемое распределением вероятностей . Условные вероятности (вероятности перехода)

(2.62)

показывают вероятность перехода из состояния в момент времени в состояние за шагов ( ). Если вероятности перехода (2.62) не зависит от момента времени , а зависит только от ,то такая марковская цепь называется однородной. Вероятности перехода однородной цепи Маркова образуют матрицу :

.

Вероятности перехода удовлетворяют условию нормировки .

Для условных вероятностей (2.62) справедливо уравнение Маркова

, (2.63)

или в матричной форме

, (2.64)

которое называется также уравнением Колмогорова-Чепмена.

Уравнение Маркова позволяет вычислить условные вероятности перехода в состояния за испытаний.

Вероятность того, что случайный процесс будет находиться в состоянии через испытаний равна

, (2.65)

которое также называется уравнением Маркова [11].

В частности, если , получим

, (2.66)

т.е. зная распределение вероятности состояния случайного процесса в момент времени и вероятности перехода , можно найти распределение вероятности состояния случайного процесса в момент времени .

Рассмотрим более подробно (2.64). Положим . Тогда имеем

;

;

Продолжая эту процедуру, определим для произвольного матрицу вероятности переходов за испытаний как степень матрицы вероятности переходов за одно испытание

. (2.67)

Перепишем формулу (2.66), используя (2.67) в матричной форме

,

где - транспонированный вектор распределения вероятности состояния случайного процесса в момент времени .

Если за конечное число шагов процесс из состояния может попасть в состояние с вероятностью , то состояние достижимо из состояния .

Два состояния и называются сообщающимися, если они достижимы друг из друга. Если два состояния не сообщаются, то либо , либо , либо оба условия выполняются одновременно [3].

Исходя из этих определений, все состояния можно разбить на классы эквивалентности по принадлежности к сообщающимся состояниям. Например, пусть процесс может находиться в пяти состояниях, и матрица переходных вероятностей имеет вид

.

Матрица распадается на два класса состояний: {1, 2} и {3, 4, 5}.Внутри класса состояния сообщающиеся, но классы между собой не сообщаются. В зависимости от реализации начального состояния переходные вероятности случайного процесса описываются либо подматрицей , либо подматрицей .

Цепь Маркова называется возвратной, если случайный процесс, выходящий из некоторого состояния , с вероятностью 1 возвращается в это же состояние когда-нибудь. В противном случае цепь называется невозвратной [4].

Множество возвратных сообщающихся состояний называется эргодическим. Если цепь состоит из единственного эргодического множества, она называется эргодической. При увеличении числа шагов большего, чем , может случиться, что переходные вероятности не будут зависеть от начального состояния, т.е.

.

Цепь, удовлетворяющая этим условиям, называется регулярной эргодической цепью или стационарной цепью.

Распределение находится как решение системы линейных уравнений [3]

для некоторого .

Полученное распределение вероятности говорит о том, что распределение не зависит от начальных условий и исследуемая система переходит в стационарный режим

Если в матрице переходных вероятностей через шагов содержится элемент, удовлетворяющий условию , где - символ Кронекера, то состояние называется поглощающим.

Марковские процессы используются при решении практических задач, таких как, обнаружение сигналов, исследовании модели процесса рождения и гибели, в теории очередей, теории массового обслуживания.