Лекция № 2. Цепи маркова

1. Марковские случайные процессы

Среди случайных процессов важную роль играют марковские, названные по фамилии А.А. Маркова⁴, российского математика (1856-1922), который впервые начал их изучать. Особенность марковских процессов – отсутствие последействия (состояние системы в будущем полностью определяется ее состоянием и параметрами в настоящий момент времени), что позволяет достаточно просто описывать такие процессы.

Марковские процессы широко применяются при изучении автоматизированных систем управления, при моделировании работы различных технических устройств, систем массового обслуживания, а также в биологии, экономике и других областях знания.

Рассмотрим некоторую физическую систему S, которая может изменять свои состояния. Состояний у системы S может быть конечное или счетное число, тогда систему называют системой с дискретными состояниями. Пусть в системе S протекает случайный процесс следующего вида: система S может находиться в одном из состояний и под действием случайных причин с течением времени переходить из одного состояния в другое. Такой случайный процесс называют дискретным случайным процессом.

Такой случайный процесс с точки зрения его структуры изображают с помощью графа состояний. Граф состояний – ориентированный граф, вершины графа (прямоугольники) соответствуют состояниям системы, ориентированные пути (стрелки) обозначают возможность перехода системы из состояния в состояние непосредственно, минуя другие состояния. Рассматривают также стрелки , обозначающие задержку в . Предполагается, что переходы из состояния в состояние происходят мгновенно.

Важнейшими характеристиками системы с дискретными состояниями являются вероятности состояний.

Определение 1. Вероятностью i-го состояния в момент времени t называется вероятность события, состоящего в том, что в момент t система S будет в состоянии .

(1)

В любой момент времени сумма вероятностей всех состояний равна 1.

(2)

Во многих практических вопросах нас интересует стационарный режим, который устанавливается, когда от начала процесса проходит достаточно много времени. При этом состояния системы хотя и меняются случайным образом, но их вероятности остаются практически неизменными. Обозначим эти постоянные вероятности :

.

Определение 2. Вероятности , если они существуют, называются предельными вероятностями состояний.

Соответственно, для процессов с дискретными состояниями рассматриваются 2 основные задачи:

1. Найти вероятности состояний в любой момент времени t.

2. Найти предельные вероятности состояний (если они существуют).

Наиболее просто эти задачи решаются для марковских случайных процессов.

Определение 3. Случайный процесс, протекающий в системе с дискретными состояниями , называется марковским, если, зная вероятности состояний (в настоящем), можно определить при (в будущем), и при этом не важно, как система «приходит» в эти состояния.

Данное определение не означает, что на будущее не оказывает влияние прошлое системы: будущее зависит от прошлого через настоящее. Идея марковского процесса заимствована из классической механики, где состояние системы в ближайшем будущем определяется заданием координат и скоростей в начальный момент времени, и не имеет значения, какими они были до этого.