2.7 Марковские процессы

Наиболее общей характеристикой случайного процесса является многомерная функция распределения

(2.40)

Как видно, функция распределения в произвольный момент времени зависит от значений случайного процесса во все предыдущие моменты времени. Однако на практике существуют процессы, у которых значения процесса в какой-то момент временизависят только от предшествующего момента. Такие процессы изучались Марковым А.А. и в его честь были названы марковскими. Многомерная функция распределения вероятности марковского процесса имеет вид

. (2.41)

Из формулы (2.41) видно для описания марковского процесса достаточно знать одномерную и условные функции распределения вероятности.

В зависимости от состояния пространства значений и времени марковские процессы подразделяются на четыре вида [1], [9] по комбинациям пространства значений (непрерывное, дискретное) случайного процесса и времени (непрерывное, дискретное).

- непрерывный марковский процесс – пространство значений - непрерывно, время – непрерывно. Описывается при помощи функции (2.41) и плотности распределения вероятности (2.42)

, (2.42)

- марковская последовательность – пространство значений - непрерывно, время – дискретно. Описывается при помощи функции и плотности распределения вероятности (2.42), но моменты времени принадлежат дискретному множеству,

- дискретный марковский процесс - пространство значений - дискретно, время – непрерывно. Описывается при помощи функции распределения вероятности и условными вероятностями перехода из одного состояния в другое

, (2.43)

где - произвольные дискретные значения, принимаемые случайным процессом из некоторого дискретного множествав моменты времени.

- цепь Маркова - пространство значений - дискретно, время – дискретно. Описывается при помощи функции распределения вероятности и условными вероятностями перехода из одного состояния в другое в дискретные моменты времени

,

, (2.44)

где - произвольные дискретные значения, принимаемые случайным процессом из некоторого дискретного множества в дискретные моменты времени.

Одним из примеров марковских процессов является блуждание точки, отображающий некоторый физический процесс, между границами, которые могут быть как поглощающими, так и отражающими.

2.7.1 Непрерывный марковский процесс

Запишем формулу (2.42) в виде

(2.45)

Условные плотности вероятности называют плотностью вероятности перехода из состоянияв состояниеза интервал времени. Из (2.45) следует, что двумерная плотность распределенияв соответствующие моменты времени полностью описывают марковский процесс.

Исходя из общих свойств плотности распределения вероятности, отметим:

, ,

.

Рассмотрим три момента времени , (Рис.2.5), и соответствующие им состояния. Условная плотность распределения вероятности перехода процесса из состоянияв состояниеопределяетсяобобщенным уравнением Маркова

, (2.46)

В литературе можно встретить название уравнение (2.46) – уравнение Смолуховского, уравнение Колмогорова-Чепмена.

Если условная плотность вероятности зависит от разности моментов времени, то есть,

,

то такой процесс называется однородным во времени (стационарным) марковским процессом.

Колмогоровым А.Н. было получено дифференциальное уравнение, позволяющее найти условную плотность распределения вероятности при определённых допущениях.