2. Понятие марковского случайного процесса.

Особое место среди случайных процессов занимают так называемые марковские случайные процессы, впервые описанные А.А. Марковым в 1907г. Случайный процесс называется марковским, если вероятность любого его состояния в будущем зависит только от состояния в настоящем и не зависит от того, каким образом и когда процесс пришел в текущее состояние. Аналитически сказанное может быть записано в виде:

P

(1)

r{g(t_n+1)=E_n+1|g(t₀)=E₀, g(t₁)=E₁, …, g(t_n)=E_n}=

=Pr{g(t_n+1)=E_n+1|g(t_n)=E_n},

где t₁<t₂< … <t_n<t_n+1, аE_n- текущее состояние. Иными словами, в марковских случайных процессах влияние (воздействие) всей предыстории процесса на его будущее полностью сосредоточено в текущем состоянии процесса. Это свойство называетсясвойствомотсутствияпоследействияили применительно к случайным процессаммарковскимсвойством.

Свойство отсутствия последействия накладывает существенные ограничения на распределение времени пребывания марковского процесса в том или ином состоянии. Так, в случае цепи Маркова с непрерывным временем время пребывания в данном состоянии должно быть распределено по экспоненциальному, а в случае дискретной цепи Маркова - по геометрическому, законам распределения, которые являются единственными, соответственно, непрерывным и дискретным распределениями без последействия. Только при таких ограничениях на времена пребывания процесса в состояниях гарантировано выполнение марковского свойства.

Р

(2)

ассмотрим марковский случайный процессg(t) с конечным числом состоянийE₀, E₁, …, E_n. Обозначим черезP_i(t) вероятность того, что случайный процесс в момент времениtнаходится в состоянииE_i:

P_i = Pr{g{t} = E_i}, i = 0,n.

Очевидно, что в любой момент времени tпроцесс находится в одном изn+1 возможных состояний, т.е. событияg{t}=E_i,i= 0,nзаключающиеся в том, что в момент времениtпроцесс находится в состоянияхE₀,E₁ ,…,E_n, образуют полную группу несовместных событий. Отсюда следует, что в любой момент времениtвыполняется условие:

(3)

1,

которое называется нормировочным.

Совокупность вероятностейP_i(t),i=0,n, может быть представлена вектором, называемым вектором состояний, с числом компонент, равным числу возможных состояний процесса:

P(t)={P₀(t),P₁(t), …,P_n(t)}.

Главная задача изучения марковских случайных процессов заключается в определении вероятностейP_i(t),i= 0,n, нахождения процесса в любой момент времениtв том или ином состоянии, что дает полную информацию о случайном процессе. Для решения данной задачи необходимо:

1. указать в каком состоянии находится процесс в начальный момент времени;

2. описать переходы между состояниями.

Состояние процесса в начальный момент времени t=0задается вектором начальных вероятностей

P(0)={P₀(0),P₁(0), …,P_n(0)}.

Описание переходов между состояниями зависит от того, каким (с дискретным или с непрерывным временем) является изучаемый марковский случайный процесс. Этот вопрос будет рассматриваться в следующих параграфах.

Очень часто при изучении марковских случайных процессов достаточно определить не вероятности P₀(t), P₁(t), …, P_n(t) в любой момент времениt, а их предельные значения (если они существуют) при .

Если при вероятностиP_i(t),i=0,n,стремятся к предельным значениямP_i,i=0,n, не зависящим от распределения начальных вероятностей P_i(0),i=0,n, то говорят, что случайный процесс обладаетэргодическимсвойством. Таким образом, для процессов, обладающих эргодическим свойством, существуют пределы

,i=0,n.

Предельные вероятностиP_i,i=0,n,часто называют вероятностями состояний равновесия или стационарными вероятностями.