65

Глава 6. Марковские процессы

6.1. Основные определения

Начала теории случайных процессов, моделирование которых рассматривается в этой главе, положено в 1907 г. А.А. Марковым (1856 - 1922) - выдающимся русским математиком, академиком, профессором Петербургского университета, специалистом по теории чисел, теории вероятностей, математическому анализу.

Будем рассматривать систему S, (например, соединение кораблей или вычислительный центр), могущую находиться в различных состояниях: Обозначим черезмножество возможных состояний системы.

Под влиянием потока событий (атак противника, заявок клиентов ВЦ) в системе S протекает случайный процесс, состоящий в переходе системы из одного состояния в другое.

Случайный процесс, протекающий в какой-либо физической системе, называется марковским (или процессом без последействия), если он обладает следующим свойством: для любого момента времени вероятность любого состояния системы в будущем (при) зависит только от текущего состояния системы и не зависит от того, когда и каким образом система пришла в это состояние. Иначе, при фиксированном настоящем будущее системы не зависит от предыстории процесса - от прошлого.

Примеры систем, в которых протекают марковские процессы: счетчик Гейгера, соединение самолетов, ведущее бой (моральное состояние пилотов не учитывается), многопользовательский вычислительный центр и т.п. За счет расширения понятия настоящего и соответствующего увеличения числа состояний системы практически любой процесс можно свести к марковскому.

Состояния систем могут быть непрерывными и дискретными. В этой главе рассматриваются только системы с дискретными состояниями. Такие системы удобно изображать в виде графа состояний (рис. 6.1), где узлы соответствуют состояниям системы, а стрелки (дуги) - возможным переходам системы из одного состояния в другие. У дуг могут проставляться цифры, означающие вероятности переходов.

Рис. 6.1.

Состояния систем можно классифицировать следующим образом.

Состояние называется источником, если система может выйти из него и обратно попасть в него уже не сможет.

Состояние называется поглощающим, если система может попасть в него, но выйти из него уже не сможет.

Состояние называется транзитивным, если на графе состояний есть стрелки, ведущие в это состояние и стрелки, выводящие систему из него.

Состояние называется невозвратным, если существует положительная вероятность выйти из этого состояния и больше никогда в него не вернуться.

Состояние называется эргодическим, если, выйдя из этого состояния, система может в него вернуться за конечное число шагов с вероятностью, равной единице.

Несколько состояний системы могут образовывать подмножество. Подмножество называется замкнутым, если система, попав в него, не может выйти из подмножества.

Подмножество называется связанным или эргодическим, если из любого состояния, входящего в него, можно попасть в любое другое состояние, принадлежащее подмножеству.

Случайный процесс, протекающий в системе S можно трактовать как процесс блуждания по множеству состояний.

Марковский процесс, протекающий в системе с дискретными состояниями и состоящий в смене одного состояния другим, называется марковской цепью (цепь состояний). Различают марковские цепи с дискретным и непрерывным временем.