7.2. Графическое отображение конечной цепи Маркова

Наглядной геометрической схемой конечной цепи Маркова является размеченный граф состояний, в котором у стрелок, показывающих возможные переходы, представляются вероятности этих переходов.

Сказанное проиллюстрируем примером для цепи Маркова применительно к объекту, который может находиться в шести состояниях: и(рис. 7.1).

Переходы из некоторого -го состояния в-е состояние возможны в некоторые заранее определенные, фиксированные моменты времени.

Рис. 7.1

В эти моменты времени может реализоваться любая последовательность дискретных состояний, например:

На рис. 7.1 пунктирными стрелками изображена одна из возможных реализаций процесса, которая соответствует следующей пошаговой последовательности состояний:

(7 шагов).

На третьем шаге состояние не изменилось, что отражается пунктирной стрелкой, выходящей из и в то же состояние входящей.

Стохастическая матрица переходов для размеченного графа, изображенного на рис. 7.1, будет иметь следующий вид:

^(7.2)

7.3. Эргодическая цепь Маркова

Ранее было отмечено, что стационарный случайный процесс обладает эргодическим свойством, когда вместо множества реализаций для определения его характеристик достаточно одной реализации этого процессапри достаточно большом .Это означает замены средних значений, взятых по множеству реализаций, средними во времени для одной реализации стационарного случайного процесса.Свойство эргодичности однородной цепи Маркова означает, что переходные вероятностипри достаточно большомстремятся независимо от-го состояния к некоторой стационарной величине.

Другими словами, эргодическая цепь Маркова – это однородная по времени цепь Маркова , обладающая следующим свойством: существют независимые отвеличины:

. (7.3)

Это означает, что матрица ( 7.1) превращена в матрицу из одной строки

(7.4)

Распределение на множестве состоянийназывается стационарным распределением, т.е. распределениедля разныхпри достаточно большомзаменено одним распределением.

8. Дискретные Марковские процессы с непрерывным временем

8.1. Потоки событий

В отличие от Марковской цепи, при которой переходы из состояния в состояние происходят в определенные фиксированные моменты времени, Марковский процесс с дискретными состояниями и непрерывным временем характерен тем, что переходы между состояниями происходят в случайные моменты времени. Эти переходы образуют случайный поток событий, т.е. последовательность однородных событий, следующих один за другим в какие-то случайные моменты времени.

Поток событий может быть охарактеризован интенсивностью . Интенсивность (или «плотность») потока событий – это среднее число событий в единицу времени. Если, то поток событий являетсястационарным , если , т.е. зависит от времени, то поток событий являетсянестационарным.

Другой важнейшей характеристикой потока событий является закон распределения времени между отдельными событиями. Существенно, что для Марковского случайного процесса с дискретными состояниями и непрерывным временем функция распределения времени между событиями есть экспоненциальный закон распределения, т.е.:

(8.1)

Поскольку Марковский процесс по определению является процессом без последствия, то и поток событий, образующий этот процесс, является потоком

без последствия. Это означает, что события, образующие поток, появляются независимо друг от друга. Как правило, потоки событий, образующие Марковский процесс, являются ординарными. Ординарность потока означает, что события в потоке происходят поодиночке, а не группами.

Стационарный, без последствия и ординарный поток событий называется простейшим, или стационарным пуассоновским потоком. Термин пуассоновский поток означает, что число событий, попадающих на участок (рис. 8.1), распределено по закону Пуассона

. (8.2)

Здесь - вероятность попадания на участокравнособытий.

Рис. 8.1