7.2 Марковский процесс

7.2.1 Понятие марковского процесса

Пусть имеется некоторая система S, которая с течением времени t меняет сове состояние, причем заранее неизвестным, случайным образом. Говорят, что в системе S протекает случайный процесс.

Но, до тех пор, пока эти возмущения несущественны, мало влияют на интересующие нас параметры, мы можем ими пренебрегать и рассматривать процесс как детерминированный, неслучайный. Необходимость учета случайностей возникает тогда, когда они прямо касаются наших интересов.

Случайный процесс, протекающий в системе, называется марковским, если для любого момента времени t₀ вероятностные характеристики процесса в будущем зависят только от его состояния в данный момент t₀ и не зависят от того, когда и как система пришла в это состояние.

П усть в настоящий момент t₀ система находится в состоянии S₀ (рис. 7.3)

прошлое t< t₀ будущее t> t₀

t₀ (S₀) t

Рис.7.3 Случайный процесс в системе

Мы наблюдаем процесс со стороны и в момент t₀ знаем состояние системы и всю предысторию процесса, все что было при t< t₀. Нас, естественно, интересует будущее (t>t₀). Можем ли мы его предугадать (предсказать)? В точности – нет, так как процесс случайный. Но какие-то вероятностные характеристики процесса в будущем мы можем найти (например, вероятность того, что через некоторое время  система окажется в состоянии S₁ или останется в состоянии S₀ и т.п.).

Для марковского вероятностного процесса такое предсказание оказывается гораздо проще, чем для немарковского. Если процесс – марковский, то пред­сказывать можно, только учитывая настоящее состояние системы S₀ и забыв о его предыстории (поведении системы при t<t₀). Само состояние S₀, конечно, зависит от прошлого, но как только оно достигнуто, о прошлом можно забыть. Поэтому можно привести другую формулировку марковского процесса: в марковском процессе будущее зависит от прошлого только через настоящее.

Пример марковского процесса – система S – счетчик Гейгера, на который попадают космические частицы; состояние счетчика в момент t – показания счетчика (число частиц, пришедшее до данного момента). Вероятность того, что в момент t > t₀ счетчик покажет то или другое число зависит от S₀, но не зависит от того, в какие моменты приходили частицы до момента t₀.

Неожиданный парадокс: в сущности, любой процесс можно рассматривать как марковский, если все параметры из «прошлого», от которых зависит будущее, включить в “настоящее”. Например, пусть речь идет о таком то техническом устройстве; в какой-то момент времени оно еще исправно, и нас интересует вероятность того, что оно проработает еще время . Если за настоящее состояние системы считать просто «система исправна», то процесс, безусловно, не марков­ский. Вероятность того, что она не откажет за время  зависит от того, сколько времени она уже проработала, и когда был последний ремонт. Если оба эти параметра (общее время работы и время после последнего ремонта) включить в настоящее, то процесс уже можно считать марковским.

Однако такое «обогащение настоящего за счет предыстории» далеко не всегда бывает полезным, так как оно приводит к резкому росту мерности задачи. В дальнейшем, говоря о марковском процессе, будем подразумевать его «простым», с небольшим числом параметров, определяющих настоящее.

(* На практике марковские процессы в чистом виде обычно не встречаются, но нередко приходится иметь дело с процессами, для которых влиянием предыстории можно пренебречь.

В теории массового обслуживания при анализе работы СМО большое применение находят марковские процессы с дискретными состояниями и непрерывным временем. (Процесс называется процессом с дискретными состояниями, если его возможные состояния S1,S2,S3 и т.д. можно заранее перечислить – пронумеровать, и переход системы из состояния в состояние происходит скачком, мгновенно. Процесс называется процессом с непрерывным временем, если моменты перехода из состояния в состояние не фиксированы заранее, а неопределенны, случайны.).

Пример 1. Техническое устройство S состоит из двух узлов, каждый из которых в случайный момент времени может отказать. После отказа начинается мгновенный ремонт узла, продолжающийся также неизвестное время.

Возможные состояния системы:

S0 – оба узла исправны;

S1 – первый узел ремонтируется, второй исправен;

S2 – второй узел ремонтируется, первый исправен;

S3 – оба узла ремонтируются.

Переходы системы S из состояние в состояние происходят практически мгновенно. При анализе случайных процессов с дискретными состояниями удобно пользоваться геометрической схемой, так называемым графом состояний. Состояние системы обозначается кругом или прямоугольником, а возможные переходы из состояния в состояние – стрелками.

Для нашего примера граф состояний приведен на рис. 7.4.

Р ис. 7.4 Граф состояний системы

Стрелка из S0 в S1 означает отказ первого узла, начало его ремонта; из S1 в S0 – переход в момент окончания ремонта этого узла и т.д. А почему нет стрелки S0 в S3? Ведь может быть, в результате короткого замыкания оба узла откажут одновременно?

В примере предполагается, что узлы выходят из строя независимо друг от друга, а вероятность одновременного наступления двух событий для марковских процессов – пренебрежимо мала.

Сформулируем более строго ограничения и допущения марковского процесса.