8.3. Характеристики цепей Маркова

При изучении цепей Маркова наибольший интерес пред­ставляют следующие величины: вероятности перехода за шагов, среднее время пребывания в определенном состоянии и др.

8.3.1. Вероятности перехода между состояниями за шагов

Обозначим вероятности переходов за шагов из в через , а матрицу перехода с элементами для 1, 2, 3 — через . Для вероятность и мат­рица . Рассмотрим момент времени , , и ка­кое-либо состояние . Вероятность перехода из состояния в состояние за время отлична от 0, если возможен переход из в за время , т.е. , и возможен переход из в за оставшееся время , т.е. для какого-либо . Таким образом, вероятность перехода из со­стояния в состояние через состояние равна . Для получения вероятности перехода из в в соответствии с формулой полной вероятности следует про­суммировать такие произведения вероятностей по всем про­межуточным состояниям . Имеем

.

Это соотношение для всех 1, 2,..., можно предста­вить как произведение матриц:

.

В результате имеем , далее получаем и т.д.

Итак, , что дает возможность найти вероятности перехода между состояниями за любое число шагов, зная матрицу переходов за один шаг.

8.3.2. Распределение по состояниям на шаге

Зная матрицу перехода за шагов и начальное положе­ние, можно найти вероятность находиться на шаге в со­стоянии . Обозначим через вектор-строку, состоящую из нулей и единицы, которая находится на -м месте, – на­чальное состояние процесса. Из соотношения , заменяя при на и на , получаем для каждого в матричной форме соотношение

,

которое определяет вектор , т.е. распреде­ление цепи Маркова по состояниям – через шагов после выхода из состояния . Установим, будет ли с ростом зависеть от начального состояния или нет.

Обозначим вектор из элементов через .

Теорема. Если для некоторого все элементы, матрицы положительны, то вероятность находиться в со­стоянии для цепи Маркова при не зависит от на­чального состояния и удовлетворяет уравнению , где – вектор-строка с неотрицательными элементами .

Остановимся на основных моментах доказательства.

Из соотношения   имеем .

Если бы было известно, что вектор с ростом стремится к пределу , то этот предел удовлетворял бы уравнению .

Остается только показать, что для цепи стремится к пре­делу.

Вектор называют предельным распределением. Смысл предельного распределения состоит в следующем. При цепь Маркова входит в устойчивый режим, который характе­ризуется следующими свойствами ( – достаточно большое время):

а) среднее время пребывания в состоянии равно ;

б) среднее время возвращения в состояние равно .

Пример 3. Найдем среднее время между засухами и пол­новодными годами для стоков рек, описанных в примере 2.

Для этого нужно найти предельное распределение для цепи Маркова с матрицей вероятностей перехода. Засушливые и дождливые годы, как правило, не повторяются, поэто­му . Легко проверить, что все элементы матрицы поло­жительны. Периодичность возвращения в состояние равна , а предельные вероятности засушливых и дождливых лет равны 0,15 и 0,08, следовательно, периодичность засушли­вых лет в среднем равна 6–7 лет, а дождливых – 12–13 лет.

Пример 4. Рассмотрим матрицу переходов

.

Легко проверить, что

и .

Поэтому , , и т.д. Следовательно, для любого в матрице имеются нулевые элементы и условия теоремы не выполнены. Однако вектор (1/3, 1/3, 1/3) удовлетворяет уравнению , что проверяется непосред­ственной подстановкой. Таким образом, при предел для вероятностей не существует и для произвольно большого любое состояние точно определяется начальным.