50. Уравнения Чепмена-Колмогорова.

Т. Переходные вероятности однородной цепи Маркова удовлетворяют уравнению Чепмена-Колмогорова:

Док-во. Используя опр. условной вероятности проверим, что для любых случайных событий А, В, С справедливо равенство

Где Случайные события (ξ_n=k), k=1,2,…, образуют полную группу, поэтому Для вероятностей переходов за n+1 шагов можно записать

Пусть А= (ξ_n = k), В= (ξ_n+l = j), C= (ξ₀ = i). Используя марковское свойство равенство (2), получаем

Частные случаи уравнения (1):

а) обратное уравнение (когда n=1):

б) прямое уравнение (когда l=1):

Из обратного уравнения (3) следует

где Р - матрица вероятностей переходов за один шаг, матрица вероятностей переходов за l шагов.

51. Нахождение вероятностей переходов с помощью производящих функций.

Рассмотрим однородную цепь Маркова с дискретным временем и конечным числом состояний, Х={1,2,…,N}. Прямое уравнение Чепмена-Колмогорова для нее можно переписать в виде

Данное соотношение обычно используют для вычисления при небольших n. При больших n используют след. метод.

Обозначим

Тогда уравнение (1) выполняется при n=1, что можно проверить непосредственной подстановкой. Введем в рассмотрение производящие функции

Ряд в правой части сходится по крайней мере при |z|<1, так как Умножив обе части уравнения (1) на zⁿ и просуммировав по n от 1 до ∞, получим

Или

Отсюда следует, что

Подставив в это равенство (2), находим

Получили систему N² уравнений с N² неизвестными. Обозначим через Δ(z) определитель этой системы. Имеем

ю

При малом z диагональные элементы близки к 1, а недиагональные - к 0, т.е. определитель Δ(z) близок к 1. Значит, Δ(z)≠0 в некоторой окрестности точки z=0 и система уравнений (4) имеет единственное решение.

52. Классификация состояний цепи Маркова по арифметическим свойствам вероятностей перехода

Рассмотрим цепь Маркова с дискретным временем и счетным числом состояний, .

Опр.: Состояние называется несущественным, если из него с положительной вероятностью можно за конечное число шагов выйти, но нельзя в него вернуться, т.е. что , но

Если из множества выделить все несущественные состояния, то оставшееся множество существенных состояний обладает тем свойством, что, попав в него, цепь Маркова никогда из него не выйдет.

Рассмотрим множество существенных состояний.

Опр.: Состояние называется достижимым из состояния (обозначается ), если , что ( ). Состояния и называются сообщающимися (обозначается ), если достижимо из и достижимо из .

Отношение является симметричным ( ), рефлексивным ( ) и транзитивным ( ). Поэтому множество существенных состояний разбивается на конечное или счетное число непересекающихся множеств состоящих из сообщающихся состояний и характеризующихся тем, что переходы между различными множествами невозможны.

Опр.: Множества называются классами, или неразложимыми классами, существенных сообщающихся состояний. Цепи Маркова, состояния которой образуют один неразложимый класс, называется неразложимой. Неразложимые классы можно разбить на циклические подклассы.

Опр.: Состояние имеет период , если выполнены условия:

1) только для тех , которые имеют вид ;

2) есть наибольшее из чисел, обладающих свойством 1). Т.е. есть наибольший общий делитель чисел таких, что (если для всех , то полагаем ).

Теорема (свойство периода состояния). Если состояния и сообщающиеся ( ), то их периоды равны ( ). Т.е. все состояния одного неразложимого класса имеют один и тот же период .

Док-во: Пусть , т.е. . Тогда , что . Отсюда, используя уравнение Чепмена-Колмогорова, получаем следует, что делится на , т.е. . Аналогично поэтому делится на , т.е. Таким образом, делится и на , и на . Далее имеем и, т.к. делится на , то должно делиться на . В силу симметрии делится на . Т.к. - произвольные положительные целые числа, а и – наибольшие общие делители соответствующих чисел, то .

Опр.: Если ( ), то состояние (класс ) называется апериодическим (эргодическим).