4.33. Вероятности n – шаговых переходов

Пусть после n-ного шага процесс находится в состоянии k, тогда вероятность того, что процесс в результате первого перехода будет находиться в состоянии m задается вероятностью π_m,k. В общем случае на шаге n k=1,2,3…N. В связи с этим определяются вероятности нахождения в k после N шагов. В силу того, что процесс может находиться только в 1 из N состояний, и это пребывание автоматически подразумевает отсутствие других, значит:

Зная вероятность Рк(n) и матрицу переходов, запишем:

Пусть вероятности Рк(n) представлены в виде матрицы строки:

Т огда процесс переходов можно записать так:

Запишем последнее соотношение так:

πⁿ - матрица n –шаговых переходов. Её элементы обозначаются так:

- вероятность перехода из i в j за n шагов.

4.34. Правила вычисления финальных вероятностей

Р ассмотрим правило вычисления фин.вер. на примере задачи:

для заданной матрицы необходимо вычислить финальные вероятности.

С оставляется система уравнений:

Из системы вычеркиваем третье (но вообще любое) уравнение и заменяем его на

Поставляя численные значения, получим такую систему, решая которую получаем

И спользуя вычисленные значения, записываем матрицу финальных вероятностей.

Е сли всё это описывать в формулах, пишется так: определяем вероятность финальных состояний:

Р₁ – вероятность попадания в состояние 1.

Эта система переопределена. Надо вычеркнуть одно из уравнений и заменить его на условие нормировки:

4.35. Классификация состояний

Предположим, задана однородная цепь М. с общим числом N состояний. Пусть существует такое n, что для всех k>=n справедливо

Цепь с таким условием называется эргодической. Для таких цепей сущ. установившийся режим, т.е. можно найти такое Р, что

Н аписать эту систему – значит определить вероятности финальных состояний.

г де Р₁ – вероятность попадания в состояние 1.

Система переопределена. Надо вычеркнуть одно из уравнений и заменить его на условие нормировки

КЛАССИФИКАЦИЯ СОСТОЯНИЙ

Одним из важнейших свойств эргодических цепей является следующее:

С уществуют цепи, для которых это условие нарушается.

Д ля цепи с такой матрицей переходов вероятность попадания в состояние k после n шагов зависит от начального состояния, а для такой матрицы условие эргодичности не выполняется. Это следует из того, что не существует такой степени матрицы π, для которой π₂₁>0. Состояние 2 для этой цепи является поглощающим. Попав в это состояние, процесс навсегда остается в нем. Существуют процессы с отражающими состояниями:

Состояния 1 и 3 являются отражающими. Подобная цепь не является эргодической.

Цепь, заданная подобным графом, является периодической (пробегает все состояния с периодом, равным n). при n%N=0.

Матрицы переходов являются стохастическими, если все элементы матрицы неотрицательны и сумма всех элементов матрицы в каждой строке равна единице. Существуют цепи с независимыми испытаниями, определяемыми матрицами переходов, все значения элементов в столбцах которых равны: