7. Марковские процессы

Теория случайных функций не позволяет получить в общем случае столь же значимые результаты, как корреляционная теория. Наиболее развита теория слу­чайных процессов особого рода – марковскихпроцессов. Несмотря на то что марковский процесс – очень частный случай, его изучение довольно плодо­творно, так как многие реальные физические процессы сводятся к марковским. Рассмотрим, к примеру, интегрирующую цепь первого порядка, на входе которой действует случайный процесс(t). Тогда выходной процесс(t) можно записать в виде интеграла Дюамеля (5.1):

.

Тогда

,

то есть функция распределения случайной величины (t) параметрически и од­нозначно зависит от начальных условийx₀=(t₀), независимо от того, каким путем система пришла к начальным условиям.

7.1. Процесс без последействия

Рассмотрим случайный процесс (t), для которого в силу трактовки Слуцкого известны все его конечномерные распределения. В соответствии с формулой (3.4) можно выразитьn-мерную функцию распределения_nчерез

(n– 1)-мерную функцию распределения_{n – 1}и одномерную условную функцию распределенияv:

_n(t₁,x₁, …,t_n,x_n) =_{n - 1}(t₁,x₁, …,t_{n – 1},x_{n – 1})v(t_n,x_n |t₁,x₁, …,t_{n – 1},x_{n – 1}). (7.0)

Множитель vdx_nпо определению описывает условную вероятность того, чтоx_n<(t_n) <x_n+dx_nпри условии, что(t_i) =x_i,то есть условная вероятностьvсостоянияx_nв момент времениt_nзависит от множества предшествующих состояний x₁,…,x_{n – 1}в моменты времениt₁, …,t_{n – 1}.Иначе говоря, случайный про­цесс(t) испытывает вероятное последействие со стороны ранее принятых значений.

Запись (7.1)справедлива для всех без исключений случайных функций, в зависимости от модели процесса, то есть от характера последействия, функцияvбудет иметь различный вид.Очень частный, но физически важный вид случайного процесса – процесс без последействия, когда для всехt>t₀условная вероятность однозначно определяется значением, принятым функцией в моментt₀,и совсем не зависит от того, каким образом функция(t) пришла к состоянию(t₀) =x₀. В этом случае условное распределение состояния (t_n,x_n) относительно цепочки всех предшествующих состояний (t_{n – 1},x_{n – 1}), …, (t₁,x₁) со­в­падает с условным распределением относительно последнего из предыдущих состояний (t_{n – 1},x_{n – 1}):v(t_n,x_n|t₁,x₁, …,t_{n – 1},x_{n - 1}) =v(t_n,x_n|t_{n – 1},x_{n – 1}).

Следовательно, для процесса без последействия соотношение (7.1) можно переписать в виде:

_n(t₁,x₁, …,t_n,x_n) =_{n – 1}(t₁,x₁, …,t_{n – 1},x_{n – 1})v(t_n,x_n|t_{n – 1},x_{n – 1}). (7.0)

Случайный процесс, удовлетворяющий условию (7.2), называется марковским случайным процессом (первого порядка). Применяя формулу (7.2) последовате­льно к распределениям _{n – 1}, _{n – 2} и так далее по ₂(t₁, x₁, t₂, x₂), получим

_n(t₁, x₁, …, t_n, x_n) = ₁(t₁, x₁)v(t₂, x₂|t₁, x₁)v(t₃, x₃|t₂, x₂)…v(t_n, x_n|t_{n – 1}, x_{n – 1}). (7.0)

Из соотношения (7.3)видно, что, для того чтобы задатьn-мерную функцию распределения для любого числаnпроизвольно выбранных моментовt_i марковского случайного процесса, то есть для того чтобы задать случайную функцию(t), достаточно знать только две функции (детерминированные) –од­номерную плотность вероятности₁(t₁,x₁) и плотность условной вероятности v(t_n,x_n|t_{n – 1},x_{n – 1}), называемуювероятностьюпереходаиз предыдущего состояния (t_{n – 1},x_{n – 1}) в последующее (t_n,x_n).

Для стационарных марковских процессов в силу определения (3.2)

₂(t₁, x₁, t₂, x₂) = ₂(x₁, t₂ – t₁, x₂) = ₁(x₁) v(x₂|t₂ – t₁, x₁).

При этом в силу условия согласования (3.1)

должно выполняться условие, налагаемое на распределение (x):

. (7.0)

Для случайной последовательности, то есть случайного процесса с дискретным временем t_nи дискретными возможными значениями случайной величины_n=(t_n) =x_i(i= 1, 2, …), марковость процесса означает, что существует вероятность перехода от любого из значенийx_iприl-м испытании к любому значению x_kпри n-м:

p(n, x_k|l,x_i) = P{_n=x_k|_l=x_i}. (7.0)

Если число возможных значений x_iконечно,то процесс называетсяпростойцепьюМаркова.

Для стационарной марковской последовательности вероятность перехода вида (7.5)зависит только от разностиs=n–l,то есть от числа шагов, пройденных от началаlк концуn: p(n, x_k|l,x_i) = p(x_k|s,x_i). Еслиже при дискретном времениt_nзначенияxслучайной величины_n=(t_n) образуют непрерывное множество, то марковость процесса означает, что существуют вероятности переходовv(n, x|l,y)dx=P{x_nx+dx|_l=y}. Условие стационарности при этом имеет видv(n, x|l,y) =v(n, x|n–l,y).