117. Марковским процессом-определение, классификация. Марковская цепь. Матрица переходов.

Наз. процесс, у которого для любого времени t₀ вер-ть каждого из состояний в будущем (t>t₀) зависит только от состояния процесса в настоящем (t= t₀) и не зависит от состояний процесса в прошлом (t<t₀).

Существуют Марковские процессы гибели и размножения с непрерывным временем. Это случайный процесс, который м. принимать только целые не отрицательные значения, изменяющиеся скачком на +1 или в произвольный случайный момент времени.

Вер-ть будущих исходов м. опр-ть настоящим исходом. Марковские цепи (МЦ): примером МЦ явл. игра “русская рулетка”, где вер-ть последующего исхода зависит от предыдущего. Вер-ть перехода системы на “к+1” шаге зависит только от состояния системы на “к” шаге. МЦ – процесс, у к-го “память” простирается в прошлое не более чем на одно испытание. МЦ – это случайный процесс с дискретным временем и состоянием. МЦ м. описывать состояние сложной технической системы. В этом случае цепь включает всю сов-ть состояний (сов-ть исходов при всех возможных испытаниях). МЦ м. задать вер-юP_ij для каждой пары исходов (состояний) i и j представляющей вер-ть того, что если при некотором испытании произошел исход S_i, то при испытании произойдет исход Sj.

Вер-ть P_ij наз-ся переходной вер-ю, а сов-ть переходных вер-тей представляют в виде матрицы. Переходную матрицу м. представить в виде ориентированного графа (это сов-ть точек (вершин), соед-ых ориентированными отрезками (ребрами)).

118. Урав-ие Колмогорова-Чепмена.

При составлении сис-мы уравнеий К-Ч пользуются понятием “потока вер-ти” (p_i*p_ij), переводящим системуSиз состояния S_i в состоянии S_j. В этом случае полная вер-ть перехода сис-мы Sв состояниеS_j из произвольного состояния равна сумме всех потоков вер-ти, переводящих ее в это состояние. В стационарном режиме вер-ть входа в какое-либо состояние равна вероятности выхода из него. Поэтому существует правило составления ур-ий. Суммарный поток вер-ти, переводящий сис-му Sв состояниеS_j из др. состояний, равен суммарному потоку вер-ти, выводящему сис-му из состояния S_j. К этому усл-ию добавляется нормировочное усл-ие (сумма строки равна 1):

Σp_i=1

p_j(k)= Σp_i(k-1)*p_ij- уравнение Колмогорова – Чемпера. Им определяется вероятност нахождения системы на k-ом шаге в j-ом состоянии.

Вектор – столбец в начальном состоянии имеет кол-во эл-тов равных кол-му описыванию состояний. Переходная матрица p_ij , n –кол-во состояний системы, j = от 1 до n меняется.

119. Поглощающая цепь Маркова (ПЦ) –

это цепь, имеющая хотя бы одно поглощающее состояние, т.е. состояние из которого нет выхода. Марковская цепь (МЦ) является поглощающей, когда существует по крайней мере одно поглощающее состояние, а из любого состояния можно перейти в какое-либо поглощающее. Или когда сущ-ет по крайней мере одно состояние, из которого вер-ть перехода в любое др. состояние равна 0. При анализе ПЦ основными вопросами являются: 1. Вер-ть перехода в поглощающее состояние. 2. Среднее кол-во шагов до перехода в поглощающее состояние. При кол-ве шагов → бесконечности, вер-ть перехода в поглощающее состояние →1. Для ПЦ Маркова среднее число шагов до поглощения, определяемое при условии, что в начальный момент процесс находился в не поглощающем состоянии S_i, равно сумме элементов i-ой строки фундаментальной матрицы N.

В анализе без-ти под поглощающим состоянием понимают гибель людей или аварию. При анализе ПЦ одним из основных параметров явл-ся среднее кол-во шагов до перехода системы в поглащающее состояние при условии, что нач. состояние произвольное не поглащающее. Шаг имеет размерность времени. Размер шага выбирают из условия t_шага много меньше интервала времени м/у соседними переходами.

При анализе поглащающих цепей матрицу переходных вероятностей нумеруют т.о., чтобы поглащающее состояние получили первые номера. В этом случае переходная матрица принимает каноническую форму:

она описывает поглащающее состояние.

Матрица I – это еденичная матрица m*m, где m – кол-во состояний анализ-го процесса.

Матрица O – это матрица, элементы которой равны 0. Матрица имеет размер m*(n-m), где n – общее кол-во сос-ий МЦ.

Матрица Q – определяет переходные вер-ти из непоглащающих состояний в непоглащающее. Это квадратная матрица (n-m)*(n-m).

Матрица R – опред-ет переходные вер-ти из непоглащающих состояний в поглащающие. Размер матрицы (n-m)*m.

Для проведения прак-их расчетов составление переходной матрицы в кононическом виде необязательно. Достаточно знать кол-во поглащающих состояний m и переходные вер-ти матрицы Q. При этом надо учитывать, что сумма строк матрицы Q<=1.

Для ПЦ среднее кол-во шагов до поглащ-го сост-ия S_ij, определяемое при усл-ии, что в нач. момент процесс нах-ся в непоглащающем сост-ии S_i, равно сумме элементов i-ой строки матрицы N.