- •Полумарковские процессы и специальные потоки однородных событий
- •Глава 1. Цепи Маркова с непрерывным временем
- •1.1. Определение и основные свойства цепи Маркова с непрерывным временем
- •1.2. Дифференциальные уравнения Колмогорова
- •1.2.1. Обратная система дифференциальных уравнений Колмогорова
- •1.2.2. Прямая система дифференциальных уравнений Колмогорова
- •1.3. Финальные вероятности
- •1.4. Время перехода из одного состояния в другое для цепей Маркова с непрерывным временем
- •1.5. Статистический смысл финальных (стационарных) вероятностей
- •1.6. Время пребывания цепи Маркова в j-ом состоянии
- •1.6. Процесс размножения и гибели
- •1.7. Метод Хинчина
- •1.8. Процесс чистого размножения
- •1.8. Пуассоновский процесс
- •1.9. Метод производящих функций
- •Глава 2. Теория потоков событий
- •2.1. Определения и терминология
- •А. Стационарность
- •Интенсивность и параметр потока
- •2.2. Пуассоновский поток событий
- •2.3. Варианты пуассоновского потока событий
- •2.4. Потоки восстановления
- •2.5. Распределение величины перескока и недоскока для потоков восстановления
- •2.6. Парадокс остаточного времени
- •2.7. Основное свойство рекуррентных потоков
- •Глава 3. Полумарковские процессы
- •3.1. Определение основных понятий теории полумарковских процессов
- •3.2. Методы исследования полумарковских процессов
- •3.2.1. Метод дополнительной переменно для исследования процесса марковского восстановления
- •3.2.2. Исследование полумарковского процесса методом дополнительной переменной y(t)
- •3.2.3. Метод дополнительных переменных z(t) и s(t) исследования полумарковского процесса
- •Глава 4. Специальные (коррелированные) потоки событий
- •4.1. Модулированные пуассоновские потоки (mmp-потоки)
- •4.3. Bmap-потоки
- •4.4. Полумарковские потоки
- •4.5. Уравнения Колмогорова в теории потоков событий
- •4.5.1. Потоки с дискретной компонентой
- •4.5.2. Потоки с непрерывной компонентой
- •4.6. Метод характеристических функций для анализа потоков
- •Для рекуррентного потока
- •Для потока марковского восстановления
- •Для полумарковского потока
- •4.7. Исследование моделей потоков
- •4.7.1. Исследование модели map-потока
- •4.7.2. Решение уравнения (12) методом матричной экспоненты
- •4.7.3. Исследование модели полумарковского потока
- •Нахождение распределения r(z)
- •4.7.4. Решение основного уравнения для полумарковского потока
- •Глава 5. Исследование специальных потоков событий методом асимптотического анализа
- •5.1. Метод асимптотического анализа map-потоков в условии растущего времени
- •5.1.1 Асимптотика первого порядка
- •5.1.2. Асимптотика второго порядка
- •5.2. Метод асимптотического анализа sm-потоков в условии растущего времени
- •5.2.1. Асимптотика первого порядка
- •5.2.2. Асимптотика второго порядка
- •5.3. Аппроксимация допредельного распределения
- •5.3.1. Аппроксимация второго порядка допредельного распределения
- •5.3.2. Гауссовская аппроксимация
- •5.4. Метод асимптотического анализа mmp-потоков в условии предельно редких изменений состояний потока
- •5.4.1. Асимптотика первого порядка
- •5.4.2. Асимптотика произвольного порядка
- •Литература
1.6. Процесс размножения и гибели
Процессом размножения и гибели называется однородная цепь Маркова с непрерывным временем, принимающая значение i=0,1,2,…, для которой за время Δt возможны переходы из состояния i лишь в соседние состояния: i – 1 и i + 1, то есть для инфинитезимальных характеристик которой выполнены следующие условия
,
.
Такие процессы достаточно адекватны многим реальным процессам в биологии, физике, социологии, демографии, экономике, теории массового обслуживания.
Для удобства обозначим
qii-1 = µi , qii+1 = λi,
тогда можно записать
pii+1(Δt) = λiΔt + o(Δt), pii-1(Δt) = µiΔt + o(Δt),
pii(Δt) =1 – (λi + µi)Δt + o(Δt).
Если значение процесса интерпретировать как число заявок в некоторой системе массового обслуживания, то λiΔt + o(Δt) есть вероятность поступления новой заявки в систему с i заявками, а µiΔt + o(Δt) – вероятность окончания обслуживания заявки и её ухода из системы за время Δt.
Прямая и обратная системы дифференциальных уравнений Колмогорова для процесса гибели и размножения имеют вид
, (15)
. (16)
Найдём стационарное распределение вероятностей значений процесса гибели и размножения.
Система уравнений Колмогорова для стационарных вероятностей πj в этом случае примет вид
πj-1λj-1 – πj(λj + µj) + πj+1µj+1 = 0, j=1,2,…, (17)
-π0λ0 + π1µ1 = 0, (18)
. (19)
1.7. Метод Хинчина
Применяя метод Хинчина, обозначим
zj = πj-1λj-1 – πjµj,
тогда из (18) получим z1 = 0, а из (17) запишем равенства zj = zj+1, следовательно, имеет место равенство πj-1λj-1 – πjµj = 0, откуда получим равенство
.
Вероятность π0 найдём из условия нормировки (19)
,
откуда получим
.
Здесь возможны два случая, связанные со сходимостью ряда:
1),
тогда стационарные вероятности существуют и равны
.
2),
тогда не существует стационарного распределения для рассматриваемого процесса гибели и размножения.
1.8. Процесс чистого размножения
Далее рассмотрим нестационарный процесс чистого размножения, когда все µj = 0. Для n > i найдём Tin. Система (2) в этом случае имеет вид
1 – λiTin+ λiTi+1n = 0,
откуда получим
.
Рассмотрим среднее значение времени перехода процесса чистого размножения в состояние с бесконечно большим номером, то есть
.
Здесь также возможны два случая, связанные со сходимостью ряда.
1) Если ряд расходится, то это означает, что в состояние с бесконечно большим номером система перейдёт за бесконечно большое время. Этот случай вполне естественный.
2) Если же ряд , это соответствует тому, что система за конечное время переходит в состояние с бесконечно большим номером. В физике это соответствует неуправляемой цепной реакции (взрыв), а для биологических систем – явлению эпидемии.
1.8. Пуассоновский процесс
Рассмотрим процесс m(t), который называется пуассоновским и является цепью Маркова с непрерывным временем, точнее нестационарным процессом чистого размножения. Для вероятностей
Pm(t) = {m(t) = m}
система дифференциальных уравнений Колмогорова имеет вид
,
.
1.9. Метод производящих функций
Для решения этой системы дифференциально-разностных уравнений воспользуемся методом производящих функций, обозначив
,
систему уравнений Колмогорова перепишем в виде уравнения
,
дополнив которое начальным условием
G(z,0) = 1,
решение G(z,t) запишем в виде
,
откуда получим, что вероятности Pm(t) имеют вид
,
то есть вид пуассоновского распределения с параметром λt, что оправдывает название случайного процесса.