Дискретные марковские модели Непрерывные марковские модели
Марковские случайные процессы
Функция времени, значения которой являются случайные числа, называется случайным процессом.
Случайный процесс называется марковским, если вероятность состояния в будущем зависит только от текущего состояния.
Виды марковских процессов:
Дискретное состояние и дискретное время (цепь Маркова). Непрерывное состояние и дискретное время (Марковские последовательности).
Дискретное состояние и непрерывное время непрерывная цепь Маркова).
Непрерывное состояние и непрерывное время.
Простые модели
Дискретная модель
|
|
0 |
|
|
|
p |
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
r |
|
|
|
|
|
|
||||
1 p |
|
|
|
|
|
|
|
|
|
|
|
|
1 r |
||
0 |
|
|
|
|
|
|
0 |
|
|
1 |
|
||||
|
|
|
|
|
|
|
|||||||||
P |
|
i 1 |
|
1 p P i |
r P i |
|
|||||||||
P |
|
i 1 p P |
i |
|
|
1 r |
P i |
|
|||||||
|
1 |
|
|
|
0 |
|
|
|
|
1 |
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Простые модели
Дискретная модель
1 p |
p |
|
1 |
r |
|
1 |
|||
0 |
|
|
|
r
P |
|
1 p |
|
P r P |
|
p P r P |
P0 r p r |
|||||||
|
0 |
|
|
0 |
1 |
|
0 |
1 |
|
|
|
|||
|
|
p P0 1 r P1 |
|
P0 |
P1 |
1 |
|
p |
p r |
|||||
P1 |
|
P1 |
||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Простые модели
Непрерывная модель состояний
Модель надежности
исправна неисправна
|
|
|
|
|
|
|
|
|
|
|
|
|
|
0 |
|
|
|
|
|
|
1 |
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
0 |
|
|
|
|
|
|
|
1 |
|
|
|
t |
0 |
t |
|
|
t |
|||||||
d P |
|
|
d t P |
|
P |
|
||||||
d P1 t |
d t P0 t |
P1 t |
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
Простые модели
Непрерывная модель состояний
|
исправна |
|
|
|
|
неисправна |
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
0 |
|
|
|
|
|
|
|
|
1 |
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
P0 t |
|
|
|
|
|
1 |
|
|
|
exp t |
|
|||
|
|
|
||||||||||||
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
P1 t |
|
|
|
exp t |
|
||||||||
|
|
|
|
|
||||||||||
|
|
|
1 |
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
||||