3. Марковские цепи

1. Марковские цепи. Уравнение Колмогорова-Чэпмена

Поведение многих систем в естественных науках, а также в экономике и исследовании операций можно описывать в рамках следующей модели. Пусть множество всех возможных состояний системы S является конечным или счетным. Для удобства будем нумеровать эти состояния целыми числами. В зависимости от задачи будем считать, что

, или , или

.

Обозначим состояние системы в момент времени через и будем считать, что является случайной величиной, принимающей значения в множестве . Простейшее возможное поведение системы состоит в том, что случайные величины при различных наборах моментов времени независимы между собой. То есть состояние системы в любой момент времени не зависит от того, в каких состояниях находилась система прежде.

Более сложное, но более естественное поведение заключается в том, что состояние системы в какой-то момент в будущем зависит от состояния системы в текущий момент времени, но не зависит от поведения в прошлом. Дадим точное математическое определение таких систем.

В теории вероятностей случайным процессом называют функцию от действительного параметра (времени) , значения которой при каждом являются случайными величинами.

Определение 3.1. Случайный процесс называется марковским, если для любых наборов моментов времени и любых состояний

(3.1)

В этом определении момент времени задает настоящий (текущий) момент времени, моменты относятся к прошлому, а – к будущему времени.

Общепринято называть марковские случайные процессы с конечным или счетным множеством состояний марковскими цепями. Этот класс случайных процессов был введен математиком А.А.Марковым в 1907г. В настоящее время построена большая и глубокая теория марковских процессов, имеющая серьезные приложения во многих науках. Вообще говоря, очень большое число моделей может быть формализовано в виде марковских моделей, правда за счет увеличения мощности множества состояний .

Как следует из определения (3.1), важную роль в теории марковских процессов играют условные вероятности , называемыми переходными вероятностями. В дальнейшем мы будем предполагать, что вероятности не зависят от того, где расположен временной интервал , а зависят только от его длины . Марковские процессы с таким свойством называются однородными. Значит, в дальнейшем мы будем считать, что

и пользоваться обозначением

.

Матрицу переходных вероятностей за единиц времени будем обозначать

.

Заметим, что матрица для любого момента времени обладает следующим свойством: все элементы матрицы неотрицательны и сумма элементов каждой строки равна 1:

, .

Заметим также, что , - единичная матрица.

Предложение 3.1. (Уравнение Колмогорова-Чэпмена).

Пусть и - произвольные значения времени, , . Тогда для любых состояний и выполнены соотношения

(3.2)

Доказательство.

=

=

.

Свойство марковости в этом выводе использовалось в том месте, где мы заменили условную вероятность на .

На языке матриц эти соотношения можно записать в следующем виде:

(3.3)

Знания матрицы переходных вероятностей недостаточно для того, чтобы ответить, например, на вопрос о том, с какой вероятностью система находится в состоянии в момент времени . Но если мы знаем вероятности различных состояний в момент , то можем вычислить вероятности любых состояний в любой другой момент времени. Обозначим . Применяя формулу полной вероятности, получаем, что

. (3.4)

В матричной форме соотношение (3.4) можно записать как

, (3.5)

где - вектор-строка вероятностей системы в момент времени .