
- •Глава 2. Случайные последовательности.
- •§ 1 Основные определения.
- •§ 2 Существование случайных последовательностей.
- •§ 3 Мартингалы, супермартингалы, субмартингалы.
- •§ 4 Марковские моменты. Локальные полумартингалы.
- •§5 Мартингальные преобразования. Теорема Дуба - Мейера.
- •§6 Семимартингалы.
- •§7 Квадратично интегрируемые мартингалы.
- •§8 Локальная абсолютная непрерывность вероятных мер. Теорема Гирсанова.
- •§9 Марковские цепи.
- •§10 Классификация марковских цепей по асимптотическим свойствам.
- •§11 Эргодические марковские цепи.
§10 Классификация марковских цепей по асимптотическим свойствам.
10.1. Пусть
-
марковская цепь. Обозначим
-
марковский момент первого попадания в
состояние
после момента времени
,
т. е.
.
Обозначим
Очевидно, что
при
это переходная вероятность за один шаг
из состояния
в
.
Обозначим
.
Предложение 44.
Доказательство. Пусть
- момент первого попадания в состояние
.
Из этого определения следует, что
.
Очевидно, что
,
так как
Заметим, что
,
поэтому в силу строго марковского
свойства, имеем
Доказательство закончено.
10.2. Обозначим
-
вероятность того, что за бесконечное
число шагов однородная марковская
последовательность
попадет из состояния
в
.
Определение. Состояние
называется возвратным, если
.
Если
,
то состояние называется невозвратным.
Определение.
называется средним временем до
возвращения в состояние
.
Говорят, что состояние
положительно, если
.
Состояние
называется нулевым, если
.
Теорема 45 (критерий возвратности).
1) Пусть имеется однородная марковская
цепь (ОМЦ). Состояние
возвратно тогда и только тогда, когда
.
2) Если
- возвратное состояние и
сообщается с
,
то
- возвратное состояние.
Доказательство. 1) Так как
,
то
Значит
.
Отсюда следует, что
тогда и только тогда, когда
Утверждение ii) очевидным образом следует из i).
Следствие 46. Если ряд
сходится, то состояние
- невозвратное.
§11 Эргодические марковские цепи.
11.1. Определение. Однородная
марковская последовательность называется
эргодической, если существует предел
,
который не зависит от состояния
и выполняются условия:
1)
,
2)
Замечание. Эргодические процессы, в отличие от обычных марковских процессов, "не помнят" точку старта.
Теорема 47 (достаточные условия
существования эргодического распределения).
Пусть
-
переходная вероятность за один шаг.
Пусть существует
такое, что
.
Тогда существует вектор
,
компоненты которого
и
,
причем для
Доказательство. Из соотношения Чепмена-Колмогорова, имеем
.
Обозначим:
Покажем, что
при
.
Действительно
,т.
е.
.
Аналогично устанавливается неравенство
.
Из соотношения Чепмена - Колмогорова следует, что
Таким образом для
и
,
имеем
отсюда следует неравенство
. (27)
Аналогичным образом легко показать
(28)
Вычтем из (27) (28), имеем
.
Выбирая
кратное
(например
),
получаем, что
.
Отсюда следует
при
.
Доказательство закончено.
11.2. Теорема 48. Пусть имеется
однородная марковская цепь
,
а
-
переходная вероятность за один шаг.
Пусть
.
Тогда
-
;
-
либо
-
если
, то эргодического распределения не существует;
-
если
то эргодическое распределение существует и единственно.
Доказательство. 1)
.В
силу леммы Фату
.Рассмотрим
т.
е.
Пусть существует индекс
:
Следовательно
Мы пришли к противоречию. Значит наше
предположение неверно, поэтому
. (29)
2) Из утверждения 1) теоремы имеем
Значит
для
Устремляя в (29)
,
получаем
-
Если вектор
, то он не является распределением вероятностей. Следовательно пункт 3) - доказан.
-
, следовательно
- распределение вероятностей.
Доказательство закончено.