4.Дискретный мп (конечное число с-ий);

] м принимать одно из след с-ий: ; ; = , (1); ( ); _______ _____ ; = (2); Ур-е Колмогорова-Чемпмена для разрывных МП-ов с кон ч с-ий; Определим постулаты такого пр-са: ∢ = = (3); ] = = (4); Сформированные пост-ты предполагают, что вер-ть перехожа пропорциональаня длине интервала на кот она ∢-ся. Из ( ) ↝ ; из (2) ↝ = (5); с-ма ДУ, кот полностью определяет вер-ти (прямая с-ма); Построим обратную с-му: t0|__|t0+ _______t, Используя (2): = (6); Учитывая (3), (4): Множители правой части (6) м представить: = (7); (8); Подставив (7) и (8) в (6), разделив обе части на и = ( ); с-ма ДУ полностью опр-ая вер-ти - обратная с-ма уравнений. Прямая: t0/i|^^^^^^|t/v___t+ /j –за много скачков из i в v, потом за 1 скачек в j; Обратная t0/i|___t+ t/v^^^^^^|t/j; Для процесса с кон числом с-ий эти с-мы ны, однако для пр-ов со счетным пр-ом с-ий построение прямой с-мы требует доп анализа, кот б ∢ позже. Теперь б считать X(t) – однородный ↝ , , т.е. вер-ть переходов не мен-ся со вр, а зависит только от длины инт-ла на кот ∢-ся переход. Д/однородного пр-са прямое и обратное ур-я б иметь след вид: (9) - прямое; (10) - обратное; ] - стац распр-е; и с-ма (9) принимает след вид: (11) - алгебраическая с-ма ур-ий, кот полностью опр-ет стац распр ; Пример: ] X(t) = (принимает знач-я -1, 1); 1) = ; 2) = ; 3) , ; Будем обозначать индекс 1, 2 (вместо -1, 1); , , из (*) ↝ , ; – инфинитезимальные переходные вер-ти, а сост-ая из них матр – инф-ая матр-ца; ; ; ; выкладки ; Решаяя это ур-е, окончательно получим: , ; Т.о. ∢-ый процесс явл-ся однозначным и решениями будут: , , , - перех-ые вер-ти, хар-ие процесс X(t); Тогда = + = + , = + = ;

2. Классификация состояний Марковской цепи. Теорема о состояниях неприводимой цепи.

] – характеризует время возвращения в состояние . , = – вер-ть возвращения в за n шагов. (очевидно), = , …, = . Просуммируем все элементы последовательности: = – вер-ть возвращения в сост j за произвольное число шагов. = – среднее время возвращения; Введем аналогичные характеристики для – из i в j за n шагов. = , = . = . = – вер-ть дост j из нек произв i; = . 1) – невозвратное, если  (cх). Иногда усл-е сх-ти ряда трактубт как опр-е нев-го с-я; 2) – возвратное нулевое, если = 1 и =  (рсх) и ; 3) – периодическое с периодом , если не кратного t и t – наименьшее целое, обладающее этим свойством. Это означает – можно перейти за t, 2t, … шагов, а за др нельзя; 4. – возвратное непериодическое, если , , если - возвратное нулевое состояние, то . 5) – возвратное с периодом t, если . Ненулевое возвратное непериодическое с-е назыается эргодическим. Теорема (о класс-ии с-ий в МЦ): В неприводимой ЦМ все состояния одного типа: или все невозвратные или все возвратные нулевые, или все возвратные ненулевые. Всегда имеют одинаковый период и достижимы друг д/друга. В МЦ возвратные с-я делятся !-м образом. На замкнутые мн-ва , т.ч. из мн-ва достижимы только состояния -ие мн-ву и недостидмы с-я -ие др замкнутым мн-ам. Все одному замкн мн-ву имеют один и тот же тип. Кроме замкн-х мн-в МЦ м содержать невозвратные состояния из кот м попасть в замкн мн-во, но не обратно. Сл: Конечная МЦ не содержит 0-ых с-ий и не м состоять только из невозвр-х с-ий. Док-во (теор): ∢ 2 состояния: - возвратно, а (] N – длина кр-го пути из в ) т.к. достижимо ↝ . путь . также д.б достижимо из , т.к. в протвином случае и сл-но не б возвратное. => М: => ∢ нек и определим вер-ть возвр-я в j за n + N + M шагов = . Сделаем тоже самое для = . Если устремим к n, то из приведенных рас-ий что ас-ки вер-ть возвр-я и имеют одинак св-ва. ↝ - возвр рсх. ↝ – возвр; Если – возвр нулевое ↝ ↝ ↝ – также является возвратным нулевым. Аналогично м показать, что если – периодическое, то будет таковым. Ч.т.д; Док-во (следствие): ∢ непр МЦ с кон числом с-ий. ] все с-я кон МЦ явл-ся невозратными или возвратными 0-ми. Если это так, то j,k: ↝ n, j !!! ч.т.д;