
- •1. Определение Марковской цепи. Уравнение Колмогорова-Чэпмена. Замкнутое множество состояний.
- •3. Эргодическое свойство Марковских цепей. Теоремы об эргодических распределениях марковских цепей.
- •5. Уравнения Колмогорова для разрывного Марковского процесса со счетным пространством состояний.
- •6. Процессы рождения и гибели и их классификация.
- •4.Дискретный мп (конечное число с-ий);
- •2. Классификация состояний Марковской цепи. Теорема о состояниях неприводимой цепи.
- •7. Задача о разорении игрока
- •9. Простое случайное блуждание
- •11. Ветвящиеся процессы. Вероятность вырождения.
- •12. Полумарковский процесс. Определение. Прямое уравнение.
- •10. Связь между прямым и обратным ур-ми Колмогорова
- •8. Процесс р, г и иммиграции
- •18. Расходящийся процесс рождения
- •14. Обратное уравнение для пмп. Вложенный мц и пмп.
- •21. Диффузионные пр-сы (непр-е в пр-ве и времени)
- •22. Граничные условия
1. Определение Марковской цепи. Уравнение Колмогорова-Чэпмена. Замкнутое множество состояний.
]
есть нек система, кот м находится в -ии,
.
∢
траекторию с-мы, кот была в состояниях:
.
Теперь ∢
P{
,
…,
} = P{
}
= P(
;
)
=
.
Если
– вер-ть того, что нач-м с-ем в с-ме было
,
тогда описанное выше МС означает, что
вер-ть прох-ия с-мы выбранной нами
траектории.
(1)
⤳
P{
}
=
.
Опр:
посл-ть испытаний с переходами
…
наз-ся цепью
маркова,
если вер-ть совместного исхода опр-ся
по ф-ле (1) ч/з начальное распределение
{
}
и
– условные вер-ти (вер-ть верехода за 1
шаг);
,
↝
=
(2) ↝
=
(3) – уравнение Маркова или ур-е
Колмогорова-Чепмена;
Если
на шаге m
нахожимся в сост
а на шаге n
в с-ии
то м записать вер-ть перехода:
Если
=
,
то это однородная
МЦ.
Вероятности
перехода
за сколько шагов и не зависит сколько
шагов прошло.
P = ((P11,…,P1N),…,(PN1,…,PNN))
Свойства:
1)
2)1
Pjk
3)
= 1. Матрица обладающая такими св-ми
наз-ся стохастической.
Любая СМ описывает МЦ;
,
чтобы получить
надо
возвести в степень
;
тоже ст-ая и тоже определяет МЦ.
Замкнутое множество состояний
Опр:
достижимо
из
, если
;
Опр:
мн-во C
из E
(- пр-во состояний), называется замкнутым,
если
,
не достижимо из
.
Наименьшее замкнутое мн-во является
п/мн-ом
называется замыканием
;
Опр:
нек состояние
(является замкнутым мн-ом), тогда
наз-ся поглощающее мн-во состояния и
= 1. Опр:
МЦ неприводима,
если E
= C
(замкн мн-во = пр-во состояний). С замкнуто
j,
k:
,
=(2)=>
= 0; Критерий
неприводимости МЦ: МЦ
неприводима
любое её состояние не м.б. достигнуто
из любого её состояния; Кроме стох-х
матриц переходов применяются графические
диаграммы переходов – графы, вершины
кот – состояния цепи, дуги осединяют
в-ны, если соотв вер-ть перехода за 1
отличается от 0; *Пример*
3. Эргодическое свойство Марковских цепей. Теоремы об эргодических распределениях марковских цепей.
.
Опр:
Посл-ть
– стационарное
распределение,
если оно удовл ур-ю:
=
,
= 1 - система. Теор:
Неприводимая апериодическая МЦ
принадлежит к одному из след классов:
1) Все состояния невозвратные или
возвра-ые 0-ые. ↝
j,k
и
стац-е распр-е
;
2) Все состояния эргогические ⤳
и
=
(*). Тогда
– стац распр-е и других стац-х распр-ий
и
(
– ср вр возвр-я в
).
Док-во:
разбиение непр цепи на классы следует
из теор о классах, поэтому а) ∢
случай 2), когда все сост – эргогичкие.
∢
индексы j,
n
,
устремим
к
.
Если предел (*)
-ет,
то
.
б)
=
↝
.
Просуммируем ур-я по всем
:
↝
=
,
=
.
Теперь
- стац р-е, т.е. СР
-ет.
Теперь покажем что оно !-но:
=
,
устремим
и вопспользуемся пределом (*), получим
=
=
,
т.е. стац реш-е !-но и др не
ч.т.д.