1 Основы теории Марковских процессов

1.1 Основные понятия

Марковские случайные процессы многие изменяющиеся во времени сложные системы целесообразно рассматривать как случайные процессы, ход которых зависят от ряда случайных факторов, сопровождающих это развитие.

Для того чтобы вычислить числовые параметры, характеризующие такие системы, нужно построить некоторую вероятностную модель явления, учитывающую сопровождающие его случайные факторы.

Пусть имеется некоторая система S, состояние которой меняется с течением времени (под системой S может пониматься что угодно: техническое устройство, производственный процесс, вычислительная машина, информационная сеть и т. д.). Если состояние системы S меняется во времени случайным, заранее непредсказуемым образом, говорят, что в системе протекает случайный процесс.

Конкретное протекание каждого из таких процессов зависит от ряда случайных, заранее непредсказуемых факторов.

Для математического описания многих случайных процессов может быть применен аппарат, разработанный в теории вероятностей для так называемых марковских случайных процессов. Случайный процесс, протекающий в системе S, называется марковским (или «процессом без последействия»), если он обладает следующим свойством: для каждого момента времени вероятность любого состояния системы в будущем (при t > ) зависит только от ее состояния в настоящем (при t= ) и не зависит от того, когда и каким образом система пришла в это состояние (т. е. как развивался процесс в прошлом) .

Другими словами, в марковском случайном процессе будущее развитие зависит только от его настоящего состояния и не зависит от «предыстории» процесса.

На практике часто встречаются случайные процессы, которые с той или другой степенью приближения можно считать марковскими. Теория марковских случайных процессов является обширным разделом теории вероятностей с широким спектром различных приложений — от описания физических явлений типа диффузии или перемешивания шихты во время плавки в доменной печи до процессов образования очередей или распространения мутаций в биологической популяции.

Марковские случайные процессы делятся на классы по некоторым признакам, в зависимости от того, как и в какие моменты времени система может менять свои состояния.

Случайный процесс называется процессом с дискретными состояниями, если возможные состояния системы, можно перечислить (перенумеровать) одно за другим, а сам процесс состоит в том, что время от времени система S скачком (мгновенно) переходит из одного состояния в другое.

Кроме процессов с дискретными состояниями существуют случайные процессы с непрерывными состояниями: для этих процессов характерен постепенный, плавный переход из состояния в состояние. Например, процесс изменения напряжения в осветительной сети представляет собой случайный процесс с непрерывными состояниями.

При анализе случайных процессов с дискретными состояниями удобно пользоваться так называемым графом состояний и переходов (ГСП) (Рисунок1). ГСП графически изображает возможные состояния системы и ее возможные переходы из состояния в состояние.

Рисунок1. Граф состояний и переходов: а — обычный; б — размеченный

Пусть имеется система S с n дискретными состояниями:

Каждое состояние изображается прямоугольником, а возможные переходы («перескоки») из состояния в состояние — стрелками, соединяющими эти прямоугольники.

Заметим, что стрелками отмечаются только непосредственные переходы из состояния в состояние; если система может перейти из состояния в только через то стрелками отмечаются только переходы и но не

Пусть система S — прибор, который может находиться в одном из пяти возможных состояний: — исправен, работает; — неисправен, ожидает осмотра; — осматривается; — ремонтируется; — списан.