Моделирование по схеме марковских случайных процессов

Лекции. Раздел 8.

Случайный процесс – процесс в некоторой системе, заключающийся в смене состояний системы под воздействием случайных факторов.

Случайный процесс называется марковским (или процессом без последствий), если в любой момент времени t₀ вероятность любого состояния системы в будущем (t>t₀) зависит только от ее состояния в настоящем (t=t₀), и не зависит от того, когда и каким образом система пришла в это состояние.

Марковский процесс (МП) называется процессом с дискретными состояниями, если все возможные состояния можно перечислить, а сам МП заключается в переходе из одного состояния в другое состояние скачкообразно (мгновенно). Марковский процесс называется процессом с непрерывными состояниями, если множество состояний МП непрерывно.

Также различают марковские процессы с дискретным и непрерывным временем. Марковский процесс называется процессом с дискретным временем, если переходы системы из состояния в состояние возможны в строго определенные (фиксированные) моменты времени. Марковский процесс называется процессом с непрерывным временем, если возможны переходы в любой случайный момент времени.

Граф состояний марковского процесса представляет собой граф, вершинами которого являются состояния марковского процесса, а дуги соответствуют переходам системы из состояния S_i в состояние S_j. Каждая дуга имеет вес, который показывает вероятность (для процесса с дискретным временем) или плотность вероятности (для процесса с непрерывным временем) соответствующего перехода.

Марковская цепь (МЦ) это случайная последовательность состояний вида

,

где S_i^(k) – i-е состояние на k-ом шаге.

Лекции. Раздел 8.2.

Рассмотрим марковскую цепь с дискретным временем. Для любого шага (момента времени t₁, t₂, … , t_k) существуют какие-то вероятности перехода системы из любого состояния в любое другое (некоторые из них равны нулю, если непосредственный переход за один шаг невозможен), а также вероятности задержки системы в одном состоянии. Будем их называть переходными вероятностями МЦ. Марковская цепь называется однородной, если переходные вероятности не зависят от номера шага, в противном случае - неоднородная МЦ..

Пусть S= S₁, S₂, … S_n. Обозначим переходные вероятности для однородной МЦ через P_ij. Имея в распоряжении размеченный граф состояний (или матрицу переходных вероятностей) и зная начальное состояние системы, можно найти вероятности состояний p₁(k),p₂(k),…p_n(k) для произвольного шага k:

(i=1,2,..n). (3.1)

Для неоднородной МЦ переходные вероятности зависят от номера шага. Обозначим переходные вероятности для шага k через . Тогда формула для расчета вероятностей состояний приобретает вид:

. (3.2)

Лекции. Раздел 8.3.

Для анализа вероятностей состояний системы в различные моменты времени для марковского процесса с непрерывным временем применяются уравнения Колмогорова, которые представляют собой систему дифферен­циальных уравнений вида

, (3.3)

где p_i – вероятность того, что системы находится в состоянии S_i,

λ_ji – плотность вероятности перехода (интенсивность потока переходов) из состояния S_j в состояние S_i,

i = 1...n – индексы всех состояний системы.

Уравнения Колмогорова удобно составлять после того, как имеется размеченный граф состояний. При этом первое слагаемое правой части представляет собой все входящие в данное состояние потоки, а второе слагаемое – все исходящие потоки.