55. Марковская цепь. Этапы решения задач.

Для марковских цепей моменты t1, t2, …, tn, когда система

меняет свое состояние, рассматриваются как последовательные

шаги процесса, а в качестве аргумента, от которого зависит про-

цесс, выступает не время t, а номер шага 1, 2, …, k. Случайный

процесс в этом случае характеризуется последовательностью со-

стояний S(0), S(1), S(2), …, S(k), где S(0) – начальное состояние

системы (перед первым шагом); S(1) – состояние системы после

первого шага; S(k) – состояние системы после k-го шага.

Вероятностями состояний цепи Маркова называются веро-

ятности Pi(k) того, что после k-го шага система S будет находить-

ся в состоянии Si. При этом для любого k:

Σ=

=

n

i

Pi k

1

( ) 1.

Начальное распределение вероятностей марковской цепи:

P1(0), P2(0), …, Pn(0). В частном случае, если начальное состоя-

ние системы известно S(0) = Si, то начальная вероятность Pi(0) =

1, а все остальные равны нулю.

Вероятность перехода на k-м шаге из состояния Si в состоя-

ние Sj характеризует условную вероятность того, что непосредст-

венно перед этим (после k-1 шага) она находилась в состоянии Si.

Таким образом, необходимо задать n2

вероятностей перехо-

да Pij, которые обычно представляются в виде матрицы:

Для однородной марковской цепи выделяются следующие

особенности:

- элементы столбцов характеризуют переход в состояние, а

строк – вероятность перехода системы из состояния;

- сумма вероятностей каждой строки равны единицы;

- по главной диагонали отражаются вероятности того, что

система не выйдет из состояния Si, а останется в нем.

56. Непрерывная марковская цепь. Этапы решения задачи.

Непрерывные цепи Маркова описывают процесс, при кото-

ром переход из состояния в состояние происходит не фиксиро-

ванные, а в случайные моменты времени.

Пусть система характеризуется n состояниями S0, S1, S2, …,

Sn. Обозначим через Pi(k) вероятность того, что в момент времени

t система S будет находиться в состоянии Si (i = 0,n). Требуется

определить для любого t вероятность состояний P0(t), P1(t), …,

Pn(t). Очевидно, что Σ

=

=

n

i

Pi t

0

( ) 1.

Вероятности состояний Pi(t) находят путем решения систе-

мы дифференциальных уравнений (уравнений Колмогорова),

имеющих вид:

Величина ij Pi (t) l . называется потоком вероятности перехо-

да из состояния Si в Sj, причем интенсивность потоков ij l может

зависеть от времени или быть постоянной.

57. Свойства случайных потоков событий.

Для решения задач рассмотренными методами следует пом-

нить основные свойства случайных потоков событий:

1) стационарность – вероятность попадания того или иного

числа событий на участок времени τ зависит только от длины

участка и не зависит от расположения на оси 0t. То есть среднее

число событий, воздействующих на систему в единицу времени,

остается постоянным;

2) ординарность – вероятность попадания на элементарный

участок времени двух или более событий пренебрежимо мала по

сравнению с длиной этого участка;

3) отсутствие последствия – для любых не пересекающихся

участков времени количество событий, попадающих на один из

них, не зависит от того, сколько событий попало на другие участ-

ки времени.