59. Переходные вероятности.

Матрица перехода Далее будем рассматривать только однородные цепи Маркова, в которых условная вероятность появления события при условии, что в предыдущем S-ом испытании осуществилось не зависит от номера испытания.

Назовем эту вероятность – вероятностью перехода и обозначим .

Полную вероятностную картину возможных изменений, осуществляющихся при переходе от одного испытания к следующему можно задать с помощью матрицы

– матрица перехода

Замечание.

1. Очевидно, что .

2. Из того, что при переходе из состояния система обязательно переходит в одно из состояний , следовательно, в матрице перехода .

Опр. Любая квадратная матрица, элементы которой удовлетворяют следующим требованиям:

, называется стохастической.

Одной из главных задач в теории цепей Маркова является задача определения вероятности перехода .

Рассмотрим какое-нибудь промежуточное испытание с номером (S+m). В этом испытании осуществится какое-либо одно из возможных событий , тогда вероятность перехода , а вероятность перехода .

По формуле полной вероятности получим

(*)

Обозначим через

Согласно формуле (*) получаем, что .

В частности, когда n = 2, получаем

n = 3

Отметим частный случай формулы (*), когда m = 1

.

Пример 2

Процесс блуждания с отражением.

Пусть частица, находящаяся на прямой, движется по этой прямой под влиянием случайных толчков, происходящих в моменты времени Частица может находиться в точках с целочисленными координатами . В точках a, b находятся отражающие стенки, каждый толчок перемещает частицу вправо с вероятностью p, а влево с вероятностью q, если только частица не находится у стенки. Если частица находится у стенки, то любой толчок переводит ее на 1 внутрь промежутка между стенками.

Получается цепь Маркова с конечным числом состояний.

продолжение 59:

Аналогично можно рассматривать ситуации, когда частица прилипает к одной из стенок, этот процесс блуждания с поглощением.

Пример 3.

Вероятности перехода даются матрицей

Чему равно число состояний в системе?

Ответ: 3.

Найти вероятности перехода из состояния в состояние за два шага:

60. Теорема о предельных вероятностях

Теорема

Если при некотором S > 0 все элементы матрицы перехода положительны, то существуют такие постоянные числа , что независимо от индекса имеет место равенство .

Физический смысл этой теоремы.

Вероятность в системе находится в каком-то состоянии практически не зависит от того, в каком состоянии эта система находилась в «далеком прошлом».