33. Нахождение вероятностей переходов с помощью производящих функций.
Рассмотрим однородную цепь Маркова с дискретным временем и конечным числом состояний, Х={1,2,…,N}. Прямое уравнение Чепмена-Колмогорова для нее можно переписать в виде
Данное соотношение обычно используют для вычисления при небольших n. При больших n используют след. метод.
Обозначим
Тогда уравнение (1) выполняется при n=1, что можно проверить непосредственной подстановкой. Введем в рассмотрение производящие функции
Ряд
в правой части сходится по крайней мере
при |z|<1, так как
Умножив обе части уравнения (1) на zn
и просуммировав по n от 1 до ∞, получим
Или
Отсюда следует, что
Подставив в это равенство (2), находим
Получили систему N2 уравнений с N2 неизвестными. Обозначим через Δ(z) определитель этой системы. Имеем
.
При малом z диагональные элементы близки к 1, а недиагональные - к 0, т.е. определитель Δ(z) близок к 1. Значит, Δ(z)≠0 в некоторой окрестности точки z=0 и система уравнений (4) имеет единственное решение.
34. Классификация состояний цепи Маркова по арифметическим свойствам вероятностей перехода
Рассмотрим
цепь Маркова с дискретным временем и
счетным числом состояний,
.
Опр.:
Состояние
называется несущественным,
если из него с положительной вероятностью
можно за конечное число шагов выйти, но
нельзя в него вернуться, т.е.
что
,
но
Если
из множества
выделить все несущественные состояния,
то оставшееся множество существенных
состояний обладает тем свойством, что,
попав в него, цепь Маркова никогда из
него не выйдет.
Рассмотрим множество существенных состояний.
Опр.:
Состояние
называется достижимым
из состояния
(обозначается
),
если
,
что
(
).
Состояния
и
называются сообщающимися
(обозначается
),
если
достижимо из
и
достижимо из
.
Отношение
является симметричным (
),
рефлексивным (
)
и транзитивным (
).
Поэтому множество существенных состояний
разбивается на конечное или счетное
число непересекающихся множеств
состоящих из сообщающихся состояний и
характеризующихся тем, что переходы
между различными множествами невозможны.
Опр.: Множества называются классами, или неразложимыми классами, существенных сообщающихся состояний. Цепи Маркова, состояния которой образуют один неразложимый класс, называется неразложимой. Неразложимые классы можно разбить на циклические подклассы.
Опр.:
Состояние
имеет период
,
если выполнены условия:
1)
только для тех
,
которые имеют вид
;
2)
есть наибольшее из чисел, обладающих
свойством 1). Т.е.
есть наибольший общий делитель чисел
таких, что
(если
для всех
,
то полагаем
).
35. Свойство периода состояния.
Теорема
(свойство
периода состояния).
Если состояния
и
сообщающиеся (
),
то их периоды равны (
).
Т.е. все состояния одного неразложимого
класса
имеют один и тот же период
.
Док-во:
Пусть
,
т.е.
.
Тогда
,
что
.
Отсюда, используя уравнение
Чепмена-Колмогорова, получаем
следует, что
делится на
,
т.е.
.
Аналогично
поэтому
делится на
,
т.е.
Таким образом,
делится и на
,
и на
.
Далее
имеем
и, т.к.
делится на
,
то
должно делиться на
.
В силу симметрии
делится на
.
Т.к.
- произвольные положительные целые
числа, а
и
– наибольшие общие делители соответствующих
чисел, то
.
Опр.:
Если
(
),
то состояние
(класс
)
называется апериодическим (эргодическим).