6.3. Поглощающие цепи Маркова

Так называются процессы в системе, все состояния которой являются либо поглощающими, либо невозвратными.

Внесем изменения в матрицу Q из предыдущего параграфа. За счет изменения нумерации состояний системы придадим ей следующий вид

Характерно для этой формы матрицы то, что вначале указаны поглощающие состояния (в данном случае одно), а затем - невозвратные. Такая структура матрицы переходных вероятностей называется канонической. Ей можно придать следующую блочную структуру.

Здесь E - единичная подматрица, порядок которой совпадает с числом поглощающих состояний; W - квадратная подматрица вероятностей переходов на множестве невозвратных состояний; R - прямоугольная подматрица переходов из невозвратных состояний в поглощающие; 0 - нулевая подматрица. Если общее число состояний - m, из них n - невозвратных и l= m-n поглощающих, то подматрицы имеют следующий порядок:

Используя уравнения Колмогорова - Чепмена (6,2), получим матрицу переходных вероятностей за k шагов

где

Элемент подматрицы- это вероятность перехода из начального невозвратного состоянияв поглощающее состояниезаk шагов. Подматрица характеризует переходы системы на множестве невозвратных состояний. Элементы этой подматрицы с увеличением числа шагов стремятся к нулю.

Среднее число попаданий системы в каждое изn невозвратных состояний, если начальным является состояние , содержится в матрице

Эта матрица носит название фундаментальной.

Использование фундаментальной матрицы позволяет решать разнообразные вопросы. Например, полное число шагов до поглощения при различных начальных состояниях равно

где 1- вектор-столбец, составленный из единиц.

Вероятность поглощения в состоянии , если начальное состояние былоs_i, дается матрицей

6.4 Эргодические цепи Маркова

Так называются процессы в системе, все состояния которой эргодические. Иначе, в любое из этих состояний система может перейти за конечное число шагов. Поглощающих и невозвратных состояний в этом случае, конечно, нет.

Вот простейший пример эргодической цепи из текстологии – науки, нашедшей применение в автоматизированных системах машинного перевода. В русском языке 32 буквы, из которых 9 гласных. Следовательно, вероятность появления в данном месте текста гласной буквы 9:32 = 0,28. Это в среднем. В действительности эта вероятность зависит от того, какой была предыдущая буква – гласной (Г) или согласной (С). Если обозначить q₁₁ вероятность появления гласныой после гласной, а q₂₂ – согласной после согласной, то матрица переходных вероятностей примет вид

.

Таким образом моделью чередования букв в тексте является простая однородная эргодическая цепь Маркова.

Другой пример заимствован из теории оптимизации параметров систем и процессов методом случайного поиска. Пусть q_{11 –} вероятность удачной попытки изменения параметров системы после удачной, а q₂₂ - вероятность неудачной попытки после неудачной. В случае удачи параметры системы изменяются, при неудаче – параметры остаются прежними. Соответствующий граф состояний приведен на рис. 6.4.

Если матрица переходных вероятностей такой цепи однородна, то в системе со временем устанавливается стационарный процесс; то есть вероятности состояний системы остаются постоянными:

(6.3)

Эти вероятности называются финальными. Из (6.3) следует, что

Так как , иначе, матрица переходных вероятностей заk шагов не зависит от k, если, конечно, k достаточно велико.