1.1.Марковский процесс с дискретным временем

Итак, модель Марковского процесса представим в виде графа, в котором состояния (вершины) связаны между собой связями (переходами из i-го состояния в j-е состояние), как показано на рис. 6.

Рис. 6. Пример графа переходов

Каждый переход характеризуется вероятностью переходаP_ij. Вероятность P_ij показывает, как часто после попадания в i-е состояние осуществляется затем переход в j-е состояние. Конечно, такие переходы происходят случайно, но если измерить частоту переходов за достаточно большое время, то окажется, что эта частота будет совпадать с заданной вероятностью перехода [21].

Ясно, что у каждого состояния сумма вероятностей всех переходов (исходящих стрелок) из него в другие состояния должна быть всегда равна 1, как показано на рис. 7) .

Рис. 7. Фрагмент графа переходов (переходы из i-го состояния являются полной группой случайных событий)

Реализация Марковского процесса (процесс его моделирования) представляет собой вычисление последовательности (цепи) переходов из состояния в состояние, как показано на рис. 8. Данный граф является примером Марковской цепи, смоделированной по Марковскому графу, изображенному на рис. 7. Данная цепь является случайной последовательностью и может иметь также и другие варианты реализации.

Рис. 8. Пример Марковской цепи

Основным математическим соотношением для ДМЦ является уравнение, с помощью которого определяется состояние системы на любом ее k-м шаге. Это уравнение имеет вид:

и называется уравнением Колмогорова-Чепмена.

Уравнение Колмогорова-Чепмена относится к классу рекуррентных соотношений, позволяющих вычислить вероятность состояний Марковского случайного процесса на любом шаге (этапе) при наличии информации о предшествующих состояниях.

1.2.Однородная цепь Маркова. Переходные вероятности. Матрица перехода

Однородной называют цепь Маркова, если условная вероятность p_ij(s) (переход из состоянияi в состоянииj) не зависит от номера испытания. Поэтому вместоp_ij(s)пишут просто p_ij.

Пример 1. Случайное блуждание. Пусть на прямой Ох в точке с целочисленной координатой находится материальная частица. В определенные моменты времени частица испытывает толчки. Под действием толчка частица с вероятностьюp смещается на единицу вправо и с вероятностью1 –p– на единицу влево. Ясно, что положение (координата) частицы после толчка зависит от того, где находилась частица после непосредственно предшествующего толчка, и не зависит от того, как она двигалась под действием остальных предшествующих толчков.

Таким образом, случайное блуждание − пример однородной цепи Маркова с дискретным временем.

Далее ограничимся элементами теории конечных однородных цепей Маркова.

Переходной вероятностьюp_ij называют условную вероятность того, что из состояния i (в котором система оказалась в результате некоторого испытания, безразлично какого номера) в итоге следующего испытания система перейдет в состояниеj.

Таким образом, в обозначенииp_ij первый индекс указывает номер предшествующего, а второй − номер последующего состояния. Например, p₂₃ – вероятность перехода из второго состояния в третье.

Пусть число состояний конечно и равноk.

Матрицей перехода системы называют матрицу, которая содержит все переходные вероятности этой системы:

Так как в каждой строке матрицы помещены вероятности событий (перехода из одного и того же состоянияi в любое возможное состояниеj), которые образуют полную группу, то сумма вероятностей этих событий равна единице [1]. Другими словами, сумма переходных вероятностей каждой строки матрицы перехода равна единице:

Приведем пример матрицы перехода системы, которая может находиться в трех состоянияхA₁,A₂,A₃; переход из состояния в состояние происходит по схеме однородной цепи Маркова; вероятности перехода задаются матрицей:

Здесь видим, что если система находилось в состоянииA₁, то после изменения состояния за один шаг она с вероятностью 0,5 останется в этом же состоянии, с вероятностью 0,5 останется в этом же состоянии, с вероятностью 0,2 перейдет в состояние A₂, то после перехода она может оказаться в состояниях A₁,A₃; перейти же из состояния A₂ в A₂ она не может. Последняя строка матрицы показывает нам, что из состояния A₃ перейти в любое из возможных состояний с одной и той же вероятностью 0,1.

На основе матрицы перехода системы можно построить так называемый граф состояний системы,его еще называют размеченный граф состояний. Это удобно для наглядного представления цепи. Порядок построения граф рассмотрим на примере.

Пример 2. По заданной матрице перехода построить граф состояний.

Т.к. матрица четвертого порядка, то, соответственно, система имеет 4 возможных состояния, приведенных на рис. 9.

S1

0,2 0,7

S2 0,4 S4

0,6 0,5

0,1 0,5

S3

Рис. 9 Граф состояний

На графе не отмечаются вероятности перехода системы из одного состояния в то же самое. При рассмотрении конкретных систем удобно сначала построить граф состояний, затем определить вероятность переходов системы из одного состояния в то же самое (исходя из требования равенства единице суммы элементов строк матрицы), а потом составить матрицу переходов системы.