Полумарковские процессы и специальные потоки однородных событий

Настоящее учебное пособие является расширенным курсом по теории случайных полумарковских процессов и специальных потоков однородных событий. Учебник состоит из двух частей. В первой рассматриваются теоретические основы полумарковских процессов, включая вопросы их исследования различными методами. Вторая часть посвящена изучению специальных потоков однородных событий допредельных преобразований, методом матричной экспоненты, методом асимптотического анализа Рассмотрены различные варианты асимптотических условий: предельно больших значений времени наблюдения и предельно редких изменений состояний исследуемых потоков.

Для специалистов в области приложений моделей массового обслуживания, инженеров, экономистов, аспирантов и студентов старших курсов.

Глава 1. Цепи Маркова с непрерывным временем

1.1. Определение и основные свойства цепи Маркова с непрерывным временем

Определение. Процесс ξ(t) с дискретным множеством состояний =1,2,… называется цепью Маркова с непрерывным временем, если для любых моментов времени и любых значений процесса ξ(t), выполняется условие

. (1)

Здесь p_ij(s,t) – вероятность перехода цепи Маркова из -го состояния в -е за промежуток времени [s,t].

Если вероятность p_ij(s,t) зависит лишь от разности моментов времени

p_ij(s,t) =p_ij(t-s)=p_ij(τ),

то цепь Маркова называется однородной.

Однородные цепи Маркова полностью определяются матрицей вероятностей переходов P(t)={p_ij(t)} и начальным распределением q_i =P{ξ(0)=i}. Действительно, применяя формулу полной вероятности, можно определить вероятности состояний в любой момент времени

.

Отметим свойства переходных вероятностей

1. p_ij(t)≥0;

2. ;

3. уравнение Чепмена-Колмогорова для однородных цепей Маркова с непрерывным временем

, (2)

для неоднородных аналогично

, (3)

4. условие стохастической непрерывности цепи Маркова

Это условие означает, что с вероятностью единица система (процесс) не изменит своего состояния за бесконечно малый промежуток времени τ → 0. Следует отметить, что стохастическая непрерывность не означает непрерывности реализаций случайного процесса. Это тем более очевидно в данном случае, так как множество значений цепи Маркова дискретно, то есть реализации разрывны, тем не менее, условие стохастической непрерывности выполнено. Происходит это потому, что разрывы каждой реализации цепи Маркова реализуются в случайные моменты времени и вероятность того, что разрыв произойдёт именно в данной точке t, равна нулю.

Сформулируем и докажем несколько теорем относительно вероятностей p_ij(t).

Теорема 1. Для однородной цепи Маркова вероятности p_ij(t) непрерывны по t.

Доказательство.

Рассмотрим

,

то есть p_ij(t) непрерывны справа.

С дугой стороны

.

Выполнив в этом равенстве предельный переход при h→0, получим

,

то есть p_ij(t) непрерывны слева, следовательно, они непрерывны.

Теорема доказана.

Теорема 2. Для вероятность p_ii(t)>0.

Доказательство.

В силу стохастической непрерывности найдём такое , что для выполняется неравенство p_ii(t)>0.

Пусть t произвольно. Всегда можно найти такое n, что t/n≤h, тогда

.

Теорема доказана.

Теорема 3. Если для некоторого t₀ выполняется неравенство p_ij(t₀)>0, то и для всех t≥t₀ аналогично p_ij(t)>0.

Доказательство.

Это утверждение очевидно следует из уравнения Чепмена-Колмогорова

,

причём строгое неравенство следует из теоремы 2.

Теорема 4. Для цепи Маркова с непрерывным временем существует предел

,

хотя и может быть бесконечным.

Теорема 5. Для цепи Маркова с непрерывным временем существует и конечен предел

.

Величины q_ij(t) имеют смысл интенсивности перехода цепи Маркова из состояния i в состояние j. Эти величины называются инфинитезимальными характеристиками цепи Маркова с непрерывным временем.

Из определения инфинитезимальных характеристик следует, что выполняются равенства

p_ij(t,t+Δt) = q_ij(t)Δt+o(Δt), i≠j,

p_ii(t,t+Δt) = 1+q_ii(t)Δt+o(Δt),

. (4)