- •Глава 4. Процессы Маркова в дискретном времени
- •§4.1. Основные понятия
- •3 Слайд
- •5 Слайд Доказательство
- •6 Слайд
- •7 Слайд
- •8 Слайд
- •9 Слайд.§4.3. Спектральное разложение матрицы. Z-преобразование
- •10 Слайд
- •11 Слайд
- •Глава 5. Процессы Маркова в непрерывном времени
- •§5.1. Необходимость моделей в непрерывном времени
- •12 Слайд
- •13 Слайд.§5.2. Основные соотношения.
- •15 Слайд§5.3. Преобразование Лапласа
- •§5.5. Учет факторов в марковских моделях
- •1) Необходимость
9 Слайд.§4.3. Спектральное разложение матрицы. Z-преобразование
Спектральное разложение. Начнем с 1-го из указанных методов. В математике под спектром матрицы понимают совокупность всех ее собственных значений. Будем предполагать, что все они различны и для каждого из них найдены собственные векторы.
Итак, пусть для матрицы получено r собственных значений и r собственных векторов, так что имеем соотношение:
, (4.3.1)
где
– матрица, состоящая из векторов-столбцов,
которые являются собственными векторами
матрицы P;
– диагональная
матрица, составленная из собственных
значений матрицы P.
Из (4.3.1) можно получить
. (4.3.2)
10 Слайд
Также может быть получено соотношение
,
или
, (4.3.3)
где векторы-строки, составляющие матрицу X, часто называют левыми собственными векторами в отличие от ранее описанных собственных векторов-столбцов, которые называют правыми собственными векторами. Итак, соотношение (4.3.1) с учетом введенных нами определений может быть записано как
. (4.3.4)
Соотношение (4.3.4) и представляет собой спектральное разложением матрицы, т.е. некоторую сумму матриц, умноженных на собственные значения.
11 Слайд
Глава 5. Процессы Маркова в непрерывном времени
§5.1. Необходимость моделей в непрерывном времени
и В
данной модели рождаемость и смертность
задаются в виде интенсивностей, т.е.
вероятностей событий за время
,
разность между которыми и будет определять
прирост (в случае положительности этой
величины) или убывание (в противном
случае) соответствующей популяции.
Обозначив численность популяции в
момент времени t через
N(t)
и интенсивность прироста (убытия) через
, будем иметь,
предполагая, что данной модели присуща,
как и моделям с дискретным временем,
3-я особенность, дифференциальное
уравнение
Из
(5.1.1) интегрированием получаем
, (5.1.2)
или
. (5.1.3
12 Слайд
В общем случае, пусть имеется некоторая матрица переходных вероятностей P, состояния которой можно пронумеровать так, чтобы образовать в матрице в левой верхней части единичную подматрицу. Тогда матрицу P можно записать следующим образом:
, (4.4.1)
где
– единичная
матрица;
– нулевая
матрица;
– матрица
перехода между транзитивными и
поглощающими состояниями;
– матрица
вероятностей перехода между транзитивными
состояниями.
Как было показано в примере 4.4.1, где матрица P имела подобную структуру, в пределе при матрица
, (4.4.2)
где матрица B представляет собой матрицу вероятностей перехода к поглощающим состояниям. В компьютерную эпоху ее можно вычислить путем возведения матрицы P в достаточно большую степень, что представляло сложность во времена Маркова. Однако теория даст нам возможность не только получить матрицу В без возведения матриц в степень, но и ответить на множество других вопросов.
13 Слайд.§5.2. Основные соотношения.
Связь между моделями в непрерывном и дискретном времени
Обозначим
через t
величину интервалов между переходами
в дискретной цепи Маркова с матрицей
переходных вероятностей P
с элементами
.
Если теперь t
0,
но средняя величина интервала между
изменениями состояния остается
постоянной, то процесс, к которому
приходим в этом случае, и представляет
собой непрерывную марковскую цепь.
Величины
(5.2.1)
будем называть интенсивностями перехода из состояния i в состояние j. Из (5.2.1) и того, что условием марковости матрицы P является равенство 1 суммы элементов каждой из ее строк, получаем, что
. (5.2.2)
Чтобы иметь удобное матричное соотношение между матрицей переходных вероятностей и матрицей интенсивностей переходов, определяют величины диагональных элементов матрицы R:
. (5.2.3)
Если теперь обозначить через P(t) матрицу переходных вероятностей, то на основании последних трех соотношений можно записать
, (5.2.4)
где R – матрица интенсивностей, элементы которой определяются по (5.2.1) и (5.2.3).
14 слайд.Как и при рассмотрении дискретных марковских процессов, необходимо получить соотношение, аналогичное (4.1.4), но t будет уже не дискретным, а будет иметь возможность принимать любое действительное значение
, (5.2.5)
где
– вектор
вероятностей находиться в различных
состояниях в момент t.
Из (5.2.5) имеем
, (5.2.6)
что при t0 приводится к дифференциальному уравнению
, (5.2.7)
которое для скалярного случая было рассмотрено в §5.1. Этот результат может быть легко распространен и на случай, когда в показателе степени e будет не скаляр, а матрица, что приводит к известному разложению экспоненты в матричный ряд:
(5.2.8)
Нахождение матрицы
(5.2.9)
требует вычисления бесконечного количества членов ряда, однако реальное значение имеет лишь некоторое количество первых их членов. В приводимой ниже программе 5.2.1 их взято со значительным избытком – 170 элементов, что позволяет обеспечить точность расчета матрицы P(t) для любых возможных приложений, но не слишком больших t.
