Классификация марковских процессов

В настоящем курсе будут рассматриваться только марковские процессы с дискретными состояниями (с дискретным характером изменения , дискретным или непрерывным характером изменения времени ).

Пусть , , …, - дискретные состояния системы. Марковские процессы с дискретными состояниями удобно иллюстрировать с помощью так называемого графа состояний (см. рис. 4.1), где

к ружками обозначены состояния , , …, системы;

стрелками обозначены переходы из состояния в состояние, причём отмечаются только непосредственные переходы из состояния в состояние, а не переходы через другие состояния;

возможные задержки в прежнем состоянии изображают петлёй, т.е. стрелкой, направленной из данного состояния в него же.

Число состояний системы может быть как конечным, так и бесконечным (счётным).

§ 3. Цепи маркова

Пусть задана некоторая система S.

Определение 1. Марковский случайный процесс с дискретными состояниями и дискретным временем называется марковской цепью (цепью Маркова).

Для такого процесса значения , , …, когда система S может менять своё состояние, рассматривают как последовательные шаги процесса, а в качестве аргумента, от которого зависит процесс, выступает не время , а номер шага 1, 2, …, , … . Случайный процесс в этом случае характеризуется последовательностью состояний , , , …, , … , где – начальное состояние системы (перед первым шагом); – состояние системы после первого шага; – состояние системы после -го шага.

С другой стороны событие , состоящее в том, что сразу после -го шага система находится в состоянии ( ), является случайным событием. Последовательность состояний , , , …, , … , можно рассматривать как последовательность случайных событий.

Определение 2. Случайная последовательность событий , , , …, , … называется марковской цепью, если для каждого шага вероятность перехода из любого состояния в любое состояние не зависит от того, когда и как система S пришла в состояние . Начальное состояние может быть заданным заранее или случайным.

Определение 3. Вероятностями состояний цепи Маркова называются вероятности того, что после -го шага (и до -го) система S будет находиться в состоянии ( ).

Очевидно, для любого

. (4.1)

Определение 4. Начальным распределением вероятностей марковской цепи называется распределение вероятностей состояний в начале процесса:

, , … , , … , . (4.2)

В частном случае, если начальное состояние системы S в точности известно , то начальная вероятность , а все остальные равны нулю.

Определение 5. Вероятностью перехода (переходной вероятностью) на -м шаге из состояния в состояние называется условная вероятность того, что система S после -го шага окажется в состоянии при условии, что непосредственно перед этим (после -го шага) она находилась в состоянии .

Так как система может пребывать в одном из состояний, то для каждого момента времени (для каждого шага) необходимо задать вероятностей перехода , которые удобно представить в виде следующей матрицы:

, (4.3)

где , – вероятность перехода за один шаг (в момент времени ) из состояния в ; – вероятность задержки системы в состоянии в момент времени .

Определение 6. Матрица (4.3) называется переходной матрицей или матрицей переходных вероятностей.

Определение 7. Если переходные вероятности не зависят от номера шага (от времени), а зависят только от того, из какого состояния в какое осуществляется переход, то соответствующая цепь Маркова называется однородной.

Замечание. Элементы переходной матрицы однородной марковской цепи являются константами.