2.7.4. Марковские цепи

Положим, случайный процесс в дискретные моменты времениможет принимать дискретные значенияиз некоторого конечного множествас числом элементов, равным. Припишем номер каждому состоянию. Состояниев моментбудем считать начальным состоянием процесса, описываемое распределением вероятностей. Условные вероятности (вероятности перехода)

(2.62)

показывают вероятность перехода из состояния в момент временив состояниезашагов (). Если вероятности перехода (2.62) не зависит от момента времени, а зависит только от,то такая марковская цепь называетсяоднородной. Вероятности перехода однородной цепи Маркова образуют матрицу :

.

Вероятности перехода удовлетворяют условию нормировки .

Для условных вероятностей (2.62) справедливо уравнение Маркова

, (2.63)

или в матричной форме

, (2.64)

которое называется также уравнением Колмогорова-Чепмена.

Уравнение Маркова позволяет вычислить условные вероятности перехода в состояниязаиспытаний.

Вероятность того, что случайный процесс будет находиться в состоянии черезиспытаний равна

, (2.65)

которое также называется уравнением Маркова [11].

В частности, если , получим

, (2.66)

т.е. зная распределение вероятности состояния случайного процесса в момент времении вероятности перехода, можно найти распределение вероятности состояния случайного процесса в момент времени.

Рассмотрим более подробно (2.64). Положим . Тогда имеем

;

;

Продолжая эту процедуру, определим для произвольного матрицу вероятности переходов заиспытаний как степень матрицы вероятности переходов за одно испытание

. (2.67)

Перепишем формулу (2.66), используя (2.67) в матричной форме

,

где - транспонированный вектор распределения вероятности состояния случайного процесса в момент времени.

Если за конечное число шагов процесс из состоянияможет попасть в состояниес вероятностью, то состояниедостижимо из состояния .

Два состояния иназываютсясообщающимися, если они достижимы друг из друга. Если два состояния не сообщаются, то либо , либо, либо оба условия выполняются одновременно [3].

Исходя из этих определений, все состояния можно разбить на классы эквивалентности по принадлежности к сообщающимся состояниям. Например, пусть процесс может находиться в пяти состояниях, и матрица переходных вероятностей имеет вид

.

Матрица распадается на два класса состояний: {1, 2} и {3, 4, 5}.Внутри класса состояния сообщающиеся, но классы между собой не сообщаются. В зависимости от реализации начального состояния переходные вероятности случайного процесса описываются либо подматрицей, либо подматрицей.

Цепь Маркова называется возвратной, если случайный процесс, выходящий из некоторого состояния , с вероятностью 1 возвращается в это же состояниекогда-нибудь. В противном случае цепь называетсяневозвратной [4].

Множество возвратных сообщающихся состояний называется эргодическим. Если цепь состоит из единственного эргодического множества, она называется эргодической. При увеличении числа шагов большего, чем, может случиться, что переходные вероятностине будут зависеть от начального состояния, т.е.

.

Цепь, удовлетворяющая этим условиям, называется регулярной эргодической цепью или стационарной цепью.

Распределение находится как решение системы линейных уравнений[3]

для некоторого .

Полученное распределение вероятности говорит о том, что распределение не зависит от начальных условий и исследуемая система переходит в стационарный режим

Если в матрице переходных вероятностей через шагов содержится элемент, удовлетворяющий условию, где- символ Кронекера, то состояниеназываетсяпоглощающим.

Марковские процессы используются при решении практических задач, таких как, обнаружение сигналов, исследовании модели процесса рождения и гибели, в теории очередей, теории массового обслуживания.