41. Классификация состояний Марковских цепей. Период.

6)Обозначим -- вероятность того, что цепь вернется в состояние , стартовав из состояния .

Состояние называется возвратным, если . Если , то состояние называется невозвратным. (Можно доказать, что состояние является возвратным . )

7)) Состояние называется периодическим, если возвращение с положительной вероятностью

41//возможно только за число шагов, кратное . Момент, в который цепь возвращается в состояние, из которого стартовала, называется моментом регенерации.

8) Если , то состояние называется нулевым, в противном случае ненулевым.

( невозвратное состояние является нулевым, и наоборот, ненулевое – возвратным)

Периодичность.

Период состояния i – di – НОД для тех n, при которых pii(n)>0

Все периоды одинаковы для цепей с одним классом сообщающихся состояний, поэтому можно говорить о периоде всей Марковской цепи d.

//дополнительно----------------------------------------

Теорема 1.   Все состояния, достижимые из возвратного, сообщаются и являются возвратными, т.е. образуют замкнутый класс возвратных состояний.

Доказательство. Рассмотрим состояние , достижимое из . Пусть -- возвратное, предположим, что . Тогда с положительной вероятностью цепь не могла бы возвратиться из в , что противоречит возвратности состояния . Значит, все состояния сообщаются с , а значит, сообщаются между собой (хотя бы через состояние ). Кроме того,

Замечание 1.   Пусть в цепи имеются невозвратные состояния, обозначим множество их . Если , то цепь может по цепочке невозвратных состояний уйти на бесконечность, иначе если их конечное число, то цепь через некоторое время перейдет в некоторый класс возвратных состояний и останется там.

Определение 4.   Цепь называется неприводимой, если все состояния ее образуют единственный класс либо невозвратных, либо возвратных состояний.

Определение 5.   Цепь называется непериодической, если все ее состояния непериодические.

Определение 6.   Цепь называется эргодичной, если для каждого ее состояния существует независящий от предел .

Определение 7.   Вектор называется стационарным распределением цепи, если , , .

Если цепь находится в классе некоторых сообщающихся состояний, но она из него не выходит.

42. Уравнения Чупмена-Колмогорова.

Уравнение Колмогорова-Чепмена относится к классу рекуррентных соотношений, позволяющих вычислить вероятность состояний марковского случайного процесса на любом шаге (этапе) при наличии информации о предшествующих состояниях.

43. Критерий возвратности и следствия из него.

Обозначим -- вероятность того, что цепь вернется в состояние , стартовав из состояния .

Состояние называется возвратным, если . Если , то состояние называется невозвратным. (Можно доказать, что состояние является возвратным . )

Следствия из критерия возвратности

1. Возвратность, это не свойство отдельного состояния, а свойство класса сообщающихся м/д собой состояний. Если i и j сообщаются и если одно возвратно, то и другое возвратно и наоборот.

2. Если цепь возвратна, то она возвратна в каждое свое состояние бесконечное число раз.

3. Если цепь состоит из одного класса сообщающихся состояний (конечное число), то цепь обязательно возвратна. Если цепь производит бесконечное число шагов через конечное число состояний, то ч/з одно она пройдет бесконечное число раз. По следствию 2 – цепь возвратна. Если цепь разбивается на к.-л. классы, то просто анализируется класс и не цепь, а класс будет возвратен.

43//