Классификация состояний
Определение 4. Состояние εi называется несущественным, если существует такое состояние εj и целое число t0 > 0, что pij(t0) > 0, pji(t) = 0 целого t. В противном случае εi называется существенным состоянием.
Определение 5. Существенные состояния εi и εj называются сообщающимися, если существуют такие целые числа t > 0 и s > 0, что pij(t) > 0 и pji(s) > 0.
Пример 7.
Р
=
Состояние ε1 – несущественное, так как из ε1 можно попасть в ε3, а из ε3 уже только в ε3, ε4. Состояние ε2 – несущественное, так как р24 > 0, p42(t) = 0.
Состояния ε3 и ε4 – существенные и сообщающиеся, так как р34 = р43 > 0.
Классы состояний
Рассмотрим
некоторую однородную цепь Маркова.
Выделим класс S0
всех несущественных состояний. Пусть
теперь εi
– какое-либо
существенное состояние. Обозначим Si
класс состояний, включающий εi
и все состояния, с ним сообщающиеся.
Если εj
Si,
то εj
существенно сообщается с εi
εi
Sj
Si
= Sj,
таким образом, всё множество существенных
состояний разбивается на непересекающиеся
классы сообщающихся состояний S1,
S2,
…
Если система попала в состояние из класса Si, то она уже не выйдет из этого класса. Если класс Si состоит из одного состояния εi, то это состояние называется поглощающим. Это определение можно было дать и в другом виде:
Определение 6. Существенные несообщающиеся состояния называются поглощающими.
Определение 7. Цепь Маркова, состоящая из одного класса существенных сообщающихся состояний, называется неразложимой. Если цепь содержит более одного класса, то она называется разложимой.
В разложимой цепи можно перенумеровать состояния так, чтобы сначала шли состояния из S0 , затем из S1, и т.д. Тогда матрица перехода вероятностей
P будет иметь вид:
Упражнения
11. Классифицировать состояния цепи, описанной в примере 2 (блуждание с поглощением).
12. Классифицировать состояния цепи, описанной в примере 3 (блуждание с отражением).
13. Классифицировать состояния цепи, описанной в примере 4 (колледж).
14. Классифицировать состояния цепи, описанной в примере 5 (задача о наилучшем выборе).
15. Пусть X1, X2,… – цифровая последовательность, в которой цифры появляются случайно, независимо друг от друга и равновероятно. Имеется счетчик, который показывает, сколько различных цифр встретилось среди первых n цифр последовательности {Xn}. Доказать, что показания счетчика образуют цепь Маркова. Найти матрицу вероятностей перехода за один шаг. Указать существенные и несущественные состояния.
16. Матрица вероятностей перехода за один шаг имеет вид
Указать все пары сообщающихся состояний.
17. Могут ли все состояния цепи Маркова со счетным числом состояний быть несущественными?
18. Могут ли все состояния цепи Маркова с конечным числом состояний быть несущественными?
19. Дана матрица вероятностей перехода за один шаг P. Классифицировать состояния.
P
=
В задачах 20–21 выяснить, будет ли цепь с матрицей вероятностей перехода P за один шаг разложимой. Для разложимых цепей указать классы состояний.
20.
P
=
21.
P
=
