8. Предельные вероятности

Теорема. (теорема о предельных вероятностях) Пусть дана регулярная цепь Маркова с п состояниями и Р – ее матрица вероятностей перехода. Тогда существует предел и матрица Р^() имеет вид:

Т.о. матрица Р^() состоит из одинаковых строк. Числа u₁, u₂, …, u_n называются предельными вероятностями. Эти вероятности не зависят от исходного состояния системы и являются компонентами собственного вектора матрицы Р^Т (транспонированной к матрице Р).

Собственный вектор полностью определяется из условий:

Пример. Найдем предельные вероятности для рассмотренного выше примера.

C учетом того, что u₁ + u₂ = 1, получаем:

Итак:

Возможные состояния системы в момент t=m можно охарактеризовать векторами ^(m)=(q₁^(m), q₂^(m), ..., q_k^(m)),

где q_i^(m) – это вероятность того, что в момент t=m система находится в состоянии А_i.

Используя формулу полной вероятности, нетрудно показать, что имеет место равенство:

^(m+1)= ^(m)Р.

Применяя эту формулу последовательно при m=0, 1, 2,... , можно получить выражение для вектора ^(m) через вектор начальных состояний ⁽⁰⁾ и матрицу вероятностей переходов Р, а именно:

^{(m)= (0)}Р^m.

Предельным распределением вероятностей цепи Маркова называется вектор q^p={q₁, q₂, ..., q_k} такой, что

Стационарным распределением называется вектор q={q₁, q₂, ..., q_k}, который удовлетворяет условиям:

Вектор определяет распределение вероятностей, которое с течением времени не меняется, т.е. стационарное распределение является также предельным распределением. В развернутом виде система для нахождения координат вектора , т.е. имеет следующий вид:

(*)

Первые n уравнений этой системы являются линейно зависимыми, поэтому любое одно из них можно отбросить. В результате получится система n линейных уравнений, которая почти всегда имеет единственное решение.

По теореме о предельных вероятностях регулярная цепь Маркова имеет предельное распределение вероятностей, которое может быть найдено из системы (*).

Задача 1. Задана матрица P₁ вероятностей перехода дис­кретной цепи Маркова из i-ro в j-oe состояние за один шаг (i, j = 1, 2). Распределение вероятностей по состояниям в началь­ный момент t = 0 определяется вектором .

Найти:

1) матрицу P₂ перехода цепи из состояния i в со­стояние j за два шага;

2) распределение вероятностей по состоя­ниям в момент t = 2;

3) вероятность того, что в момент t = 1 со­стоянием будет i = 2;

4) стационарное распределение.

Дано:

Решение: Для дискретной цепи Маркова в случае её однородности справедливо соотношение ,

где P₁ – матрица переходных вероятностей за один шаг

P_n – матрица переходных вероятностей за n шагов;

1. Найдем матрицу P₂ перехода за 2 шага.

Пусть распределение вероятностей по состояниям на S-ом шаге определяется вектором

Зная матрицу P_n перехода за n шагов можно определить распределение вероятностей по состоянием на (s+n)-ом шаге.

(4)

,

2. Найдем распределение вероятностей по состоянием системы в момент t=2. Положим (4) S=0 и n=2. Тогда .

Получим

3. Найдем распределение вероятностей по состояниям системы в момент t=1. Положим в (4) S(0) и n=1, тогда

Откуда видно, что вероятность того, что в момент t=1 состоянием цепи будет A₂, равна p₂(1)=0,87.

Распределением вероятностей по состояниям называется стационарным, если оно не меняется от шага к шагу, то есть

(5)

Тогда из соотношения (4) при n=1 получим или

4. Найдем стационарное распределение. Так как k=2 имеем . Запишем систему линейных уравнений (5) в координатной форме:

; ; ; ; .

Следовательно, .

Ответ:

1. матрица перехода за два шага для данной цепи Маркова имеет вид ;

2. распределение вероятностей по состояниям в момент t=2 равно ;

3. вероятность того, что в момент t=1 состоянием цепи будет A₂, равна p₂(1)=0,87;

4. Стационарное распределение имеет вид .

Задача 2. Ремонтная мастерская располагает двумя диагностическими приборами. Известно, что если в какой-то день оба прибора были незаняты, то на следующий день с вероятностью 0,6 они снова окажутся незанятыми и с одинаковыми вероятностями будет занят один или два прибора. Если был занят один прибор, то назавтра с вероятностью 0,2 оба будут свободны и с вероятностью 0,5 – оба заняты. Наконец, если оба прибора были заняты, то назавтра с вероятностью 0,6 оба опять будут заняты и с вероятностью, вдвое меньшей, будет занят только один прибор. Предполагая, что в начале недели (в понедельник) нет никакой информации о занятости приборов, найти вероятность того, что в среду оба прибора будут заняты. Кроме того, найти предельное распределение вероятностей.

Решение. Рассмотрим следующие состояния:

Е₀ – не занят ни один прибор;

Е₁ – занят один прибор;

Е₂ – заняты оба прибора.

Исходя из условия задачи матрица вероятностей переходов имеет вид:

Отсутствие информации в понедельник фактически означает, что вероятности начальных состояний одинаковые, т.е.:

=(1/3; 1/3; 1/3).

Вероятности состояний в среду определяются вектором q⁽²⁾.

Имеем:

Таким образом, вероятность занятости сразу двух приборов будет равна 136/300.

Предельные вероятности найдем как решение системы:

Решая эту систему методом Гаусса, найдем:

q₁=13/51;

q₂=14/51;

q₃=24/51.