
- •Глава 1. Теория вероятностей 3
- •1.2 Перестановки, размещения и сочетания
- •§2. Классическое определение вероятности
- •2.1 Определение и примеры
- •2.2 Критика классического определения
- •§3. Дискретное вероятностное пространство
- •§4. Геометрическая вероятность
- •§5. Парадоксы Бертрана
- •§6. Аксиоматика Колмогорова
- •6.1 Аксиомы событий
- •6.2 Аксиомы вероятности
- •6.3 Свойства вероятности
- •§7. Условная вероятность. Независимость
- •§8. Формула полной вероятности. Формула Байеса
- •§9. Схема Бернулли
- •9.1 Основные определения и примеры
- •9.2 Предельные теоремы в схеме Бернулли
- •§10. Случайные величины и их распределения
- •10.1 Введение
- •10.2 Функция распределения случайной величины
- •10.3 Наиболее употребительные распределения. Замена переменных
- •§11. Распределение случайного вектора (совместное распределение)
- •11.1 Основные определения
- •11.2 Плотность распределения случайного вектора при замене переменных
- •§12. Математическое ожидание случайной величины
- •12.1 Основные определения
- •12.2 Интеграл Лебега (интеграл по вероятностной мере)
- •12.3 Свойства математического ожидания
- •§13. Дисперсия случайной величины
- •§14. Примеры вычисления математического ожидания и дисперсии
- •§15. Производящие функции
- •15.1 Основные определения
- •15.2 Свойства
- •15.3 Примеры задач
- •§15. Коэффициент корреляции
- •§16. Многомерное нормальное распределение
- •16.1 Основные определения
- •16.2 Плотность распределения двумерного нормального вектора
- •16.3 Примеры задач
- •§17. Неравенство Чебышева
- •19.2 Закон больших чисел Бернулли
- •§20. Характеристические функции
- •20.1 Определение и свойства
- •20.2 Примеры
- •§21. Центральная предельная теорема
- •21.1 Доказательство цпт
- •21.2 Усиление закона больших чисел (збч Хинчина)
- •§22. Типичные задачи
- •§23. Условное математическое ожидание
- •23.1 Основные определения
- •23.2 Методы вычисления. Примеры
- •23.2.1 Дискретный случай
- •23.2.2 Непрерывный случай
- •23.3 Свойства
- •23.4 Исследование нормального случайного вектора
- •§24 Цепи Маркова
- •24.1 Основные определения. Формула Чепмена–Колмогорова
- •24.2 Классификация состояний
- •24.3 Период марковской цепи
- •24.4 Предельная теорема для переходных вероятностей марковских цепей
- •24.5 Возвратность цепей Маркова
- •§25 Типичные задачи, 2
24.5 Возвратность цепей Маркова
Пусть
— цепь Маркова с, вообще говоря, счетным
числом состояний. Говорят, что состояниеiвозвратно, если
вероятность когда-либо вернуться вi-е
состояние при условии, что в нулевой
момент времени цепь была вi-м
состоянии, равна единице. Запишем это
более формально.
Обозначим через fnвероятность вернуться в состояниеiнаn-м шаге при условии, что на предыдущих шагах возврата не произошло:
.
Тогда для возвратного состояния iсправедливо
.
Введем un — вероятность находиться вi-м состоянии наn-м шаге:
.
Запишем производящие функции
.
Если
,
оба ряда сходятся, т.к.fn,un≤ 1.
Заметим, что для возвратного состояния
Легко проверить следующий факт:
.
(он вытекает из формулы полной вероятности. Вероятность вернуться в i-е состояние наn-м шаге равна вероятности впервые вернуться (заnшагов), либо вернуться заn−1 шагов и один шаг находиться вi-м состоянии и т.д.)
Отсюда следует (по формуле умножения рядов), что
т.е.
.
Следовательно,
Теперь устремим z→
1. Если цепь возвратна, тоF(z)
→ 1, аU(z)
→ ∞. Но приz→1U(z)
имеет вид.
И наоборот, если ряд изunрасходится, то знаменатель 1 –F(z)
равен нулю, и цепь возвратна.
Доказанное нами условие носит название критерия возвратностицепей Маркова.
Следствие1˚. Два сообщающихся состояния возвратны или невозвратны одновременно.
Доказательство. Граф:
Легко видеть, что
,
гдеur(p)
— вероятность находиться в состоянииpна шагеr.
Просуммировав поn,
получим
.
Тогда если ряд израсходится,
то ряд из
расходится, и, следовательно, ряд изun(i)
расходится. То есть, еслиiвозвратное, то иjвозвратное (и наоборот) для любыхi,j.
Вывод: свойство возвратности — свойство не одного состояния, а класса сообщающихся состояний.
Можно доказать, что если состояние возвратно, то цепь посещает его бесконечное число раз за бесконечное время.
Следствие2˚. Если цепь состоит из конечного числа сообщающихся состояний, она обязательно возвратна.
Примеры
Рассмотрим следующую марковскую цепь. Имеется стопка из Nкниг. Читатель случайным образом выбирает книгу из стопки, читает ее и кладет на самый верх. Состояние цепи — номер книги, лежащей сверху. Время меняется в тот момент, когда читатель кладет книгу. Возвратна ли эта цепь?
Ответ: да, т.к. она содержит конечное число сообщающихся состояний.
Рассмотрим случайное блуждание на отрезке (0, n). С вероятностьюpмы «идем» влево, с вероятностьюq — вправо. Если дошли до «стенки» — происходит отражение с вероятностью 1. Возвратна ли цепь Маркова, соответствующая этому процессу?
Ответ: да, и по той же причине, что в примере 1).
Рассмотрим случайное блуждание на отрезке (0, n) с зацикливанием: все то же самое, что в примере 2), но дойдя до «стенки», мы с вероятностью 1 остаемся на месте. Возвратна ли такая цепь?
Ответ: нет, поскольку существуют поглощающие состояния (0 иnсоответственно).
Рассмотрим случайное блуждание на отрезке (0, ∞). В момент времени nвероятность перейти на единицу вправо равнаpn, а перейти в начало координат —qn. При какихpn иqn цепь возвратна?
Решение. Критерием возвратности здесь пользоваться неудобно. Согласно же интуитивным соображениям, невозвратности соответствует ситуация, когда начиная с некоторого места совершаются шаги только направо. То есть невозвратность эквивалентна равенству
.
Соответственно, для возвратной цепи произведение pn< 1.