7.3. Марковские процессы
7.3.1. Общее понятие.
Определение. Случайный процесс называется марковским, если при известном состоянии некоторой системы в настоящем характер его поведения в будущем не зависит от его поведения в прошлом, но зависит от того, в каком именно состоянии находится в настоящее время процесс.
Иначе говоря, если обозначить прошлые состояния через x-n(t-n),…, x-1(t-1), настоящее – через x1(t1), а будущее – через x2(t2), то должно выполняться равенство между условными вероятностями (при любых ti , xi и i):
,
причем
условная функция распределения
не совпадает с одномерной.
Для дискретной и непрерывной случайных величин вместо этого равенства можно, соответственно, записать:
Условные
вероятности
при различных значениях х1
называют переходными вероятностями,
так как они характеризуют вероятности
перехода некоторой системы из состояния
х1,
соответствующего значению t1,
в состояние х2,
соответствующее значению t2.
Марковский процесс полностью описывается переходными вероятностями (или условной плотностью вероятности) и одномерным распределением.
Для условной вероятности и условной плотности вероятности справедливы формулы:
,
Отсюда следует, что если случайный процесс описывается двумерным распределением, не раскладываемым на произведение двух одномерных распределений, то он марковский. Следует заметить также, что квазидетерминированный процесс и процесс с независимыми значениями не являются марковскими.
Если условная вероятность или условная плотность вероятности зависит только от разности s=t2-t1, то ее называют стационарной, а марковский процесс называется однородным. Однородные марковские процессы могут быть как стационарными, так и нестационарными.
Марковские процессы в теории и практике получили наибольшее применение. Условие марковости предусматривается обычно при рассмотрении стационарных случайных процессов, процессов случайного блуждания, ветвящихся и др. процессов. Уже известный пуассоновский процесс является простейшим среди разрывных марковских процессов, но он послужил основой для появления теории массового обслуживания, теории восстановления и др. прикладных теорий.
7.3.2. Однородные марковские цепи
Марковской цепью или цепью Маркова называют марковский процесс с дискретными значениями и дискретным параметром t, значения которого обычно выбирают через равные промежутки. Чаще всего считают, что t = 0, 1, 2, 3…. В качестве значений параметра Х обычно выбирают числа натурального ряда, которые должны находиться во взаимно-однозначном отношении с некоторой дискретной случайной величиной. Их называют состоянием системы (иногда – состоянием процесса).
Говорят,
что если система в момент t1
находилась в одном состоянии, а в момент
t2=t1+1
–
в другом, то она переходит из одного
состояния в другое за один шаг.
Тогда
вместо обозначения
можно использовать более простое:
–
вероятность перехода системы, находящейся
в момент t
в i-м
состоянии, в j-е
состояние за n
шагов, где i=1,2,…,r;
j=1,2,…,r
(число
состояний r
может быть как конечным, так и бесконечным).
Вероятность перехода системы за 1 шаг
будем обозначать pij(t)
(если система остается в прежнем
состоянии, т.е. j=i,
то pij(t)
также называются вероятностями перехода).
Если pij(t)
известны, то всегда можно определить и
вероятности
.
Цепь
Маркова является однородной, если
одношаговые переходные вероятности
pij(t)=pij,
т.е. не зависят от t.
(Эти вероятности не следует путать с
вероятностями произведения событий
при рассмотрении распределения системы
двух дискретных случайных величин в
разделе 2). Вероятности
pij
задаются обычно в виде матрицы (в общем
случае – бесконечного порядка). Сумма
элементов каждой строки матрицы равна
единице, т.е.
=1
(i=1,2,…,r),
поскольку из i-го
состояния система обязательно должна
перейти в одно из r
состояний. Наряду
с матрицей, с целью наглядного представления
поведения системы, обычно рисуют граф,
в котором вершинами являются все
возможные состояния системы, а дугами
указаны возможные переходы системы из
одного состояния в другое с ненулевыми
вероятностями. Рядом с дугами проставляются
значения этих вероятностей.
Используя формулы для вероятности суммы и произведения событий, можно вывести рекуррентную формулу для определения вероятностей перехода за n+1 шагов:
,
где n=1,2,3,…. Очевидно, что эти вероятности также не зависят от t.
Вообще имеет место следующее соотношение:
В матричной форме оно имеет вид: Рn+m=PnPm. Это уравнение представляет собой функциональное уравнение Колмогорова-Чепмена в дискретном варианте. Оно позволяет вычислять вероятности того, что система через n+m шагов будет находиться в j-м состоянии при условии, что в данный момент t она находится в i-м состоянии. Для процессов с непрерывным параметром t вместо операции суммирования используется операция интегрирования.
Однако далеко не всегда состояние в данный момент в точности известно. В общем случае должен быть задан также вектор {q(1), q(2),…, q(r)} априорных вероятностей состояний, в частности, при t = 0. Тогда безусловная вероятность того, что система через n шагов будет находиться в j-м состоянии, определяется по формуле:
,
В зависимости от вида матрицы (pij) состояния системы могут быть существенными и несущественными. Существенным называют состояние i, если для каждого состояния j, достижимого из i, состояние i достижимо из j. Если это не выполняется хотя бы для одного состояния j, достижимого из i, состояние i называют не существенным. При этом под достижимостью понимают возможность для системы перейти из одного состояния в другое за конечное число шагов, т.е. вероятность перехода за n шагов хотя бы при одном n не должна быть нулевой. Различают и другие виды состояний.
Теорема
о предельных вероятностях. Если
при некотором m все
элементы матрицы (
)
положительны, то существуют пределы:
,
i =1,2,…,r, j=1,2,…,r
Иначе говоря, вероятность того, что при указанных условиях система через бесконечное число шагов будет находиться в любом из r состояний, не зависит от ее начального состояния. Такая цепь Маркова называется эргодической.
Предельные вероятности называются стационарными и определяются единственным образом из системы уравнений:
Если
в качестве вектора {q(1), q(2),…, q(r)}
априорных вероятностей состояний взять
вектор предельных вероятностей, то
вектор {
,
,…,
},
где
=q(j),
останется неизменным при любом n,
т.е. все
=bj
Пример 1. Пусть известна матрица одношаговых переходных вероятностей:
Определим вероятности перехода системы из одних состояний в другие за 2 шага и за 3 шага, вектор предельных вероятностей, а также проверим, выполняется ли последнее утверждение при n=2.
Составим систему уравнений для определения вектора предельных вероятностей:
Отсюда
получим: b1=
0,571;
b2=
0,429.
Заметим, что эти числа находятся в
интервалах: 0,556<0,571<0,583; 0,417<0,429<0,444,
которые на третьем шаге меньше, чем на
втором.
Возьмем
теперь в качестве вектора {q(1), q(2)}
априорных вероятностей вектор предельных
вероятностей и найдем вектор безусловных
вероятностей {
,
}:
Мы убедились, что вектор безусловных вероятностей не изменился.
Пример 2. Пусть задана следующая матрица вероятностей перехода за один шаг:
Надо построить граф и определить предельные вероятности.
С
троим
сначала граф:
Из рисунка видно, что j=4 достижимо из i=2, но i=2 не достижимо из j=4, т.е. i=2 – несущественное состояние. Состояние i=1 тоже несущественное.
Составим
систему уравнений для определения
предельных вероятностей. 
b2=2b1 b2=0,5b1
Отсюда
b1=0,
b2=0
b2
. 0,5
= b1
b1 . 0,5 = b2
b1. 0,5+b3 . 0,5+b4 . 0,5=b3
b2. 0,5+b3 . 0,5+b4 . 0,5=b4
b3=
0,5;
b4=
0,5
b3 = b4
Таким образом, вектор предельных вероятностей имеет вид:
