1. Определение Марковской цепи. Уравнение Колмогорова-Чэпмена. Замкнутое множество состояний.
]
есть нек система, кот м находится в -ии,
.
∢
траекторию с-мы, кот была в состояниях:
.
Теперь ∢
P{
,
…, 
} = P{
}
= P(
;
)
= 
.
Если 
– вер-ть того, что нач-м с-ем в с-ме было
,
тогда описанное выше МС означает, что
вер-ть прох-ия с-мы выбранной нами
траектории.
(1)
⤳
P{
}
= 
.
Опр:
посл-ть испытаний с переходами 
…
наз-ся цепью
маркова,
если вер-ть совместного исхода опр-ся
по ф-ле (1) ч/з начальное распределение
{
}
и 
– условные вер-ти (вер-ть верехода за 1
шаг); 
,
↝
= 
(2) ↝
= 
(3) – уравнение Маркова или ур-е
Колмогорова-Чепмена;
Если
на шаге m
нахожимся в сост 
а на шаге n
в с-ии 
то м записать вер-ть перехода: 
Если
= 
,
то это однородная
МЦ.
Вероятности
перехода 
за сколько шагов и не зависит сколько
шагов прошло.
P = ((P11,…,P1N),…,(PN1,…,PNN))
Свойства:
1) 
2)1 
Pjk
3) 
= 1. Матрица обладающая такими св-ми
наз-ся стохастической.
Любая СМ описывает МЦ; 
,
чтобы получить 
надо 
возвести в степень 
;
тоже ст-ая и тоже определяет МЦ.
Замкнутое множество состояний
Опр:
достижимо
из 
, если 
;
Опр:
мн-во C
из E
(- пр-во состояний), называется замкнутым,
если 
,
не достижимо из
.
Наименьшее замкнутое мн-во является
п/мн-ом 
называется замыканием
;
Опр:
нек состояние 
(является замкнутым мн-ом), тогда
наз-ся поглощающее мн-во состояния и
= 1. Опр:
МЦ неприводима,
если E
= C
(замкн мн-во = пр-во состояний). С замкнуто
j,
k:
,
=(2)=> 
= 0; Критерий
неприводимости МЦ: МЦ
неприводима
любое её состояние не м.б. достигнуто
из любого её состояния; Кроме стох-х
матриц переходов применяются графические
диаграммы переходов – графы, вершины
кот – состояния цепи, дуги осединяют
в-ны, если соотв вер-ть перехода за 1
отличается от 0; *Пример*
3. Эргодическое свойство Марковских цепей. Теоремы об эргодических распределениях марковских цепей.
.
Опр:
Посл-ть 
– стационарное
распределение,
если оно удовл ур-ю: 
= 
, 
= 1 - система. Теор:
Неприводимая апериодическая МЦ
принадлежит к одному из след классов:
1) Все состояния невозвратные или
возвра-ые 0-ые. ↝
j,k
и
стац-е распр-е 
;
2) Все состояния эргогические ⤳
и
= 
(*). Тогда 
– стац распр-е и других стац-х распр-ий
и 
(
– ср вр возвр-я в
).
Док-во:
разбиение непр цепи на классы следует
из теор о классах, поэтому а) ∢
случай 2), когда все сост – эргогичкие.
∢
индексы j,
n
,
устремим
к 
.
Если предел (*)
-ет,
то 
.
б) 
= 
↝
.
Просуммируем ур-я по всем 
:
↝
= 
, 
= 
.
Теперь
- стац р-е, т.е. СР
-ет.
Теперь покажем что оно !-но: 
= 
,
устремим 
и вопспользуемся пределом (*), получим
= 
= 
,
т.е. стац реш-е !-но и др не
ч.т.д.