3.3. Марковские цепи с непрерывным временем. Уравнения Колмогорова

В этом параграфе мы будем считать, что время пробегает вещественную числовую прямую или какой-то отрезок на ней, .

Всякий раз, когда система попадает в состояние , она будет находиться в этом состоянии какое-то случайное время , которое мы будем называть временем пребывания в состоянии . Поскольку система является марковской цепью, распределение случайной величины зависит только от состояния , но не зависит от того, как эволюционировала система в прошлом.

Допустим, что в какой-то момент времени система находится в состоянии , и в момент времени она еще не вышла из этого состояния. Вычислим условную вероятность того, что система не выйдет из этого состояния в момент времени . Поскольку в момент система находится в состоянии , то в силу марковского свойства, оставшееся время пребывания в состоянии (после момента ) будет иметь такое же распределение, что и случайная величина . Значит,

. (3.16)

В этом случае говорят, что случайная величина обладает свойством отсутствия последействия: каково бы ни было текущее время пребывания в состоянии , оставшееся время пребывания не зависит от прошлого и имеет то же самое распределение, что и все (полное) время пребывания в состоянии . Оказывается, что это парадоксальное свойство времени пребывания в состоянии однозначно определяет вид распределения.

Предложение 3.2. Неотрицательная ненулевая случайная величина обладает свойством отсутствия последействия тогда и только тогда, когда она имеет экспоненциальное распределение.

Доказательство. Свойство отсутствия последействия величины означает, что

(3.17)

для любых . Обозначим . Тогда из (3.17) следует, что

, . (3.18)

Покажем, что из функционального уравнения (3.18) следует, что для некоторого . Действительно, из (3.18) легко следует, что для любого рационального числа

.

Для любого иррационального числа выберем монотонно убывающую последовательность рациональных чисел такую, что при . Поскольку функция непрерывна справа, то

.

Так как при , то . Если бы , то при любом , что означало бы что . Обозначив , мы получаем, что

.

Обратное утверждение очевидно. Предложение доказано.

Тот факт, что имеет экспоненциальное распределение с параметром , мы будем обозначать так: ~ .

Ясно, что для каждого состояния марковской цепи параметр распределения вообще говоря зависит от : ~ . Постоянную называют плотностью выхода из состояния .

Заметим, что возможен случай, когда . Но в этом случае процесс навсегда остается в состоянии и такое состояние называется поглощающим.

Пусть . Вероятность того, что за малое время система выйдет из состояния , равна

, (3.19)

где обозначает величину более высокого порядка малости по сравнению с :

.

Если система выходит из состояния , то она попадает в какое-то другое состояние и мы предположим, что вероятность перехода из состояния в состояние за малое время в главном члене пропорциональна этому времени:

, . (3.20)

называется плотностью перехода из в . Кроме того, введем обозначение , . Вообще говоря, за малое время система может совершить несколько переходов, прежде чем попасть из в . Но каждый переход возможен с вероятностью, пропорциональной , и поэтому вероятность многоходовых переходов будет давать вклад . Из формулы (3.19) также следует, что

. (3.21)

Исходя из этих предположений, мы выведем систему дифференциальных уравнений для переходных вероятностей . Для простоты предположим, что множество состояний марковской цепи конечно.

Теорема 3.2. Переходные вероятности удовлетворяют дифференциальным уравнениям

, (3.22)

и

, (3.23)

с начальными условиями

(3.24)

Доказательство. Пользуясь соотношением Колмогорова-Чэпмена (3.2) и представлениями (3.20), (3.21), получаем

(3.25)

.

Вычтем из обоих частей (3.25) и разделим на :

. (3.26)

Заметим, что правая часть уравнения (3.26) имеет предел при . Следовательно существует предел у левой части, который является производной по времени от переходной вероятности . Уравнения (3.23) доказываются аналогично.

Системы уравнений (3.22) и (3.23) называют прямой и обратной системами дифференциальных уравнений Колмогорова.

Безусловные вероятности состояний марковской цепи вычисляются по формулам

, (3.27)

где - вероятности состояний цепи в начальный (нулевой) момент времени. Из (3.27) и (3.23) следует, что уравнения Колмогорова справедливы и для вероятностей :

(3.28)

Система уравнений Колмогорова справедлива и для счетных цепей Маркова, но в этом случае необходимо потребовать, чтобы для всех остаточных членов , участвующих в соотношениях (3.20), (3.21)

при

равномерно по всем , и плотности перехода с фиксированным были равномерно ограничены:

(3.29)

Для марковских цепей с непрерывным временем также справедлива эргодическая теорема.

Теорема 3.3. Пусть существует такое, что коэффициент эргодичности

положителен. Тогда существуют предельные вероятности

(3.30)

Из (3.27) и (3.30) следует, что в этом случае

, (3.31)

для любого начального распределения .

Марковской цепи можно поставить в соответствие ориентированный граф, вершинами которого являются состояния. Соединим каждую пару вершин и ориентированным ребром, если плотность перехода . Этот граф называется графом состояний. Можно показать, что если граф конечен, и из любого состояния можно перейти в любое, то предельные вероятности существуют.

Пусть условие теоремы 3.4. выполнено и предельные вероятности существуют. Перейдем к пределу в уравнениях (3.28). Кажется правдоподобным ( на самом деле это можно доказать), что пределы в левой части стремятся к 0. Таким образом, для предельных вероятностей получается система линейных уравнений

(3.32)

Эту систему необходимо дополнить условием нормировки

(3.33)

Если вспомнить, что и , то система (3.32) перепишется в виде

(3.34)

В этом виде система уравнений легко запоминается.

Графическая интерпретация уравнений (3.34) говорит о том, что для каждого состояния сумма членов, соответствующих ребрам, выходящим из этого состояния, равна сумме членов, соответствующих ребрам, входящим в состояние (вершину) . Эти уравнения называют еще уравнениями баланса. Прибегая к физической терминологии, мы говорим, что имеется закон сохранения вероятностей в каждой вершине – «сколько вероятности вытекает из вершины, столько же туда и втекает».

Задачи

1. Студент играет со студентом в «орлянку». В каждой игре он может с вероятностью выиграть 1 рубль или с той же вероятностью проиграть его. Первоначально у студента был 1 рубль, а у студента – 2 рубля. Игроки играют до разорения. Какова вероятность того, что игра продлится не более 3-х раундов?

2. Пусть – независимые одинаково распределенные случайные величины, . Пусть . Будет ли последовательность цепью Маркова?

3. Пусть случайные величины независимы, ,

. Докажите, что пары образуют цепь Маркова. Найдите переходные вероятности этой цепи за шагов.

4. Докажите утверждение (3.13).

5. Докажите неравенство (3.15).

6. Докажите, что все состояния неразложимой марковской цепи имеют один и тот же период.

7. Пусть на столе лежит 3-х-томная энциклопедия. Каждая энциклопедия выбирается с вероятностью и при возвращении кладется сверху. Определите матрицу переходных вероятностей для этой марковской цепи и найдите ее предельные вероятности.

8. Неотрицательная матрица называется дважды стохастической, если сумма элементов любой строки и любого столбца равна 1. Пусть матрица переходных вероятностей за один шаг марковской цепи с состояниями является дважды стохастической и для нее выполнены условия теоремы о предельных вероятностях. Найдите предельные вероятности этой марковской цепи.

9. На окружности отмечено 5(6) точек, занумерованных по часовой стрелке. Частица с вероятностью переходит за один шаг из точки в точку , и с вероятностью – в точку . Будут ли существовать предельные вероятности у такой марковской цепи? Если будут, то вычислите их.