3.3. Модели марковских процессов

Наибольшее распространение в теории систем, как вероятностная схема описания, получили марковские процессы, представляющие собой типичную вероятностную модель «без последействия».

Представим себе систему, которая может находиться в разных состояниях. Возможные состояния образуют множество Х, называемое фазовым пространством. Пусть система эволюционирует во времени. Состояние системы в момент времени t обозначим через х_t. Если х_tB, где BХ, то будем говорить, что система в момент времени t находится во множестве B. Предположим, что эволюция системы носит стохастический характер, т.е. состояние системы в момент времени t не определяется однозначно через состояние системы в моменты времени s, предшествующие t, где s<t, а является случайным и описывается теоретико-вероятностными законами.

Пусть Р(s,х,t,B) - вероятность события х_tB (s<t), при условии, что х_s=х. Функцию Р(s,х,t,B) называют вероятностью перехода рассматриваемой системы. Под системой без последействия понимают систему, для которой вероятность попадания в момент времени t во множество B, при полностью известном движении системы до момента времени s (s<t), по-прежнему равна Р(s,х,t,B) и, таким образом, зависит только от состояния системы в последний момент времени.

Обозначим через Р(s,х,u,y,t,B) условную вероятность события х_tB при гипотезах х_s=х, х_u=y (s<u<t). В соответствии с общими свойствами условных вероятностей имеет место равенство

. (3.3)

Для системы без последствия естественно предположить, что

Р(s,х,u,y,t,B)=Р(u,y,t,B).

Тогда равенство (3.3) примет вид

. (3.4)

Соотношение (3.4) называется уравнением КолмогороваЧепмена. Это уравнение определяет модель марковского процесса.

Пусть {Х,B}-некоторое измеримое пространство. Функцию Р(х,B), хХ, BB, удовлетворяющую условиям:

а) Р(х,B) при фиксированном х является мерой на B и Р(х,Х)=1;

б) при фиксированном B Р(х,B) является B - измеримой функцией от х будем называть стохастическим ядром.

Пусть I - некоторый конечный или бесконечный полуинтервал (отрезок). Семейство стохастических ядер {Р_st(х,B)=Р(s,х,t,B), s<t, (s,t)II}, удовлетворяющих уравнению Колмогорова-Чепмена (3.4), будем называть марковским семейством стохастических ядер.

Определение. Моделью марковского процесса в широком смысле называется совокупность следующих объектов:

- измеримое пространство {х, B};

- полуинтервал I (отрезок) действительной оси;

- марковское семейство стохастических ядер {Р_st(х,B), s<t, (s,t)II}.

Семейство ядер Р_st(х,B)=Р(s,х,t,B) называют вероятностью перехода марковского процесса, пространство {х,B} - фазовым пространством системы, точка множества I интерпретируется как моменты времени, а величина Р_st(х,B)=Р(s,х,t,B) - как условная вероятность того, что система в момент времени t окажется во множестве B, если в момент времени s она находилась в точке х фазового пространства (s<t).

Дискретные случайные процессы, обладающие марковскими свойствами, называются цепями Маркова. В фазовом пространстве простейшими марковскими процессами являются процессы со счетным или конечным числом состояний. В фазовых пространствах выделяются следующие классы марковского процесса.

Скачкообразные процессы. Система, попадая в некоторую точку фазового пространства, проводит в ней случайный положительный отрезок времени, после чего скачком случайно попадает в другую точку фазового пространства.

Процессы с дискретным вмешательством случая. Эти процессы моделируют динамическую систему, траектории которой в случайные моменты времени терпят разрывы первого рода со случайными скачками.

Диффузионные процессы. Так называют процессы в конечномерных линейных пространствах, которые на малых промежутках времени ведут себя аналогично процессу броуновского движения.

Марковские процессы в конечномерном пространстве, аппроксимируемые на малых промежутках времени произвольным процессом с независимыми приращениям.