§10 Классификация марковских цепей по асимптотическим свойствам.

10.1. Пусть - марковская цепь. Обозначим - марковский момент первого попадания в состояние после момента времени , т. е. . Обозначим

Очевидно, что при это переходная вероятность за один шаг из состояния в .

Обозначим .

Предложение 44.

Доказательство. Пусть - момент первого попадания в состояние . Из этого определения следует, что . Очевидно, что , так как

Заметим, что , поэтому в силу строго марковского свойства, имеем

Доказательство закончено.

10.2. Обозначим - вероятность того, что за бесконечное число шагов однородная марковская последовательность попадет из состояния в .

Определение. Состояние называется возвратным, если . Если , то состояние называется невозвратным.

Определение. называется средним временем до возвращения в состояние . Говорят, что состояние положительно, если . Состояние называется нулевым, если .

Теорема 45 (критерий возвратности). 1) Пусть имеется однородная марковская цепь (ОМЦ). Состояние возвратно тогда и только тогда, когда .

2) Если - возвратное состояние и сообщается с , то - возвратное состояние.

Доказательство. 1) Так как , то

Значит

.

Отсюда следует, что тогда и только тогда, когда

Утверждение ii) очевидным образом следует из i).

Следствие 46. Если ряд сходится, то состояние - невозвратное.

§11 Эргодические марковские цепи.

11.1. Определение. Однородная марковская последовательность называется эргодической, если существует предел , который не зависит от состояния и выполняются условия:

1) , 2)

Замечание. Эргодические процессы, в отличие от обычных марковских процессов, "не помнят" точку старта.

Теорема 47 (достаточные условия существования эргодического распределения). Пусть - переходная вероятность за один шаг. Пусть существует такое, что . Тогда существует вектор , компоненты которого и , причем для

Доказательство. Из соотношения Чепмена-Колмогорова, имеем

.

Обозначим: Покажем, что при . Действительно ,т. е. .

Аналогично устанавливается неравенство .

Из соотношения Чепмена - Колмогорова следует, что

Таким образом для и , имеем отсюда следует неравенство

. (27)

Аналогичным образом легко показать

(28)

Вычтем из (27) (28), имеем . Выбирая кратное (например ), получаем, что . Отсюда следует при .

Доказательство закончено.

11.2. Теорема 48. Пусть имеется однородная марковская цепь , а - переходная вероятность за один шаг. Пусть . Тогда

1. ;

2. либо

3. если , то эргодического распределения не существует;

4. если то эргодическое распределение существует и единственно.

Доказательство. 1) .В силу леммы Фату .Рассмотрим т. е.

Пусть существует индекс :

Следовательно

Мы пришли к противоречию. Значит наше предположение неверно, поэтому . (29)

2) Из утверждения 1) теоремы имеем

Значит для

Устремляя в (29) , получаем

3. Если вектор , то он не является распределением вероятностей. Следовательно пункт 3) - доказан.

4. , следовательно - распределение вероятностей.

Доказательство закончено.