3.2.3. Метод дополнительных переменных z(t) и s(t) исследования полумарковского процесса

Стационарное распределение вероятностей для значений полумарковского процесса, определяемого полумарковской матрицей A(x), можно найти и другим способом, применяя процессы z(t) и s(t), где процесс z(t) определён выше, а процесс s(t) для t_n < t < t_n+1 определим равенством

то есть процесс s(t) на интервале t_n < t < t_n+1 принимает и сохраняет то значение вложенной цепи Маркова, которое она принимает в конце рассматриваемого интервала времени. Напомним, что процесс k(t) на этом интервале принимает и сохраняет то значение, которое вложенная цепь принимает в начале рассматриваемого интервала времени.

Построенный трёхмерный случайный процесс {k(t),z(t),s(t)} является марковским, поэтому для его распределения вероятностей

можно записать равенства

из которых нетрудно получить систему дифференциальных уравнений Колмогорова

Для стационарного распределения вероятностей эту систему перепишем в виде

.

Интегрируя по z левую и правую части этого равенства, получим

.

В силу условия согласованности вероятностных распределений, двумерное маргинальное распределение P(k,s) запишем следующим образом

. (15)

В силу необходимого условия сходимости несобственного интеграла можно записать следующее равенство

, (16)

подставив которое в (15), получим

, (17)

здесь

.

Для нахождения величин H(k) просуммируем по k равенства (16), получим систему уравнений относительно H(k)

совпадающую с системой уравнений Колмогорова для стационарного распределения вероятностей r(k) состояний вложенной цепи Маркова (n), поэтому

.

Подставляя найденное выражение в (17), запишем

.

Так как , тогда ,

,

следовательно, для стационарного распределения вероятностей P(k) значений полумарковского процесса k(t) можно записать равенство

,

совпадающее с полученным ранее равенством (14).

Задача 1. Найти полумарковскую матрицу для цепи Маркова k(t) с непрерывным временем, заданной матрицей Q инфинитезимальных характеристик q_kv.

Решение. Запишем преобразование Фурье-Стилтьеса по x от элементов A_kv(x) некоторой полумарковской матрицы

где In(A) – индикатор события А.

Для цепи Маркова k(t) с непрерывным временем рассмотрим при k ≠ v следующее условное математическое ожидание

где t_n ≤ t < t_n+1 а t_n – последовательность моментов изменения состояний цепи Маркова k(t). При k = v очевидно, что φ_vv(u,t) = 0.

Для функций φ_kv(u,t) по формуле полной вероятности, аналогично выводу обратной системы дифференциальных уравнений Колмогорова, можно записать следующие равенства

.

Здесь первое слагаемое в сумме характеризует то, что за время Δt цепь Маркова k(t) не изменит своего состояния с вероятностью (1 + qΔt). Второе слагаемое в сумме характеризует переход процесса k(t) за время Δt из состояния k в состояние m ≠ v с вероятностью q_kmΔt, поэтому в этом случае индикатор события попадания в состояние v будет равен нулю. Третье слагаемое описывает переход процесса из состояния k в состояние v за время Δt с вероятностью q_kmΔt (в этом случае индикатор попадания в состояние v будет равен единице).

Так как мы рассматриваем однородную цепь Маркова k(t), то функции φ_kv(u,t) = φ_kv(u) не зависят от момента времени t, поэтому составленное равенство можно переписать в виде

Получим

Здесь первый сомножитель является характеристической функцией экспоненциально распределенной случайной величины с параметром (–q_kk), а второй сомножитель определяет распределение вероятностей, так как

В определении функции φ_kv(u) для цепи Маркова рассматривается величина (t_n+1 – t), имеющая смысл остаточного времени пребывания цепи в заданном состоянии. В силу того, что эта величина имеет экспоненциальное распределение, полная продолжительность пребывания в этом состоянии также распределено экспоненциально с тем же параметром, поэтому для элементов полумарковской матрицы, определяющей цепь Маркова с непрерывным временем, можно записать следующее равенство

из которого следует, что цепь Маркова является процессом марковского восстановления, определяемого набором экспоненциальных функций распределения

A_k(x) = 1 – exp(q_kk x)

и стохастической матрицей Р вероятностей переходов вложенной цепи Маркова за один шаг

Такой способ задания цепей Маркова с непрерывным временем в виде процесса марковского восстановления широко применяется при имитационном моделировании этих цепей.

Задача 2. Рассмотреть применение формулы (9) для нахождения стационарного распределения вероятностей значений цепи Маркова с непрерывным временем, заданной матрицей Q инфинитезимальных характеристик, для которой выше было показано, что она является процессом марковского восстановления с матрицей вероятностей переходов вида

(18)

и экспоненциальными функциями распределения времени пребывания процесса в каждом состоянии

A_k(x) = 1 – exp(q_kk x).

Решение.

Известно, что распределение вероятностей значений вложенной цепи Маркова определяется системой

, (19)

которую можно переписать в виде

.

Так как эта система совпадает с системой уравнений Колмогорова для стационарных вероятностей P(k) значений цепи Маркова с непрерывным временем, то

(20)

а в силу условия нормировки и равенства

для цепей Маркова, равенство (20) имеет вид

(21)

и совпадает с равенством (9). Здесь распределение r(k) определяется системой (19) и условием нормировки.

Задача 3. Пусть цепь Маркова ξ(t) задана матрицей Q инфинитезимальных характеристик q_kv. На интервалах постоянства ее значений ξ(t_n) = k наступают события простейшего потока с интенсивностью λ_k. Моменты наступления событий обозначим

t₁ < t₂ < t₃ < …< t_n < t_n+1 <…

Определим полумарковский процесс k(t) равенствомv

k(t) = ξ(t), если t_n ≤ t < t_n+1.

Найти преобразование Фурье-Стилтьеса полумарковской матрицы процесса k(t).

Решение. Запишем преобразование Фурье-Стилтьеса по x от элементов A_kv(x) полумарковской матрицы

где In(A) – индикатор события А.

Для процесса k(t) с непрерывным временем рассмотрим при k ≠ v следующее условное математическое ожидание

где t_n < t < t_n+1 а t_n – последовательность моментов изменения состояний полумарковского процесса k(t).

Для функций φ_kv(u,t) по формуле полной вероятности, аналогично выводу обратной системы дифференциальных уравнений Колмогорова, можно записать следующие равенства

.

Первое слагаемое в сумме характеризует ситуацию, когда за время Δt цепь Маркова с вероятностью (1 + q_kkΔt) не поменяет своего состояния, события не наступят с вероятностью (1 – λ_kΔt), следовательно, полумарковский процесс за это время своего состояния не поменяет. Второе слагаемое характеризует переход цепи Маркова из состояния k в состояние m ≠ v за время Δt с вероятностью q_kmΔt, в этом случае процесс k(t) не меняет своего состояния, так как события не наступают. Третье слагаемое характеризует наступление событий с вероятностью λ_kΔt и тем не менее сохранение состояния k полумарковского процесса k(t).

Функции φ_kv(u,t) = φ_kv(u) не зависят от момента времени t, поэтому составленное равенство можно переписать в виде

где

Тогда получим

Эта система уравнений в матричном виде выглядит следующим образом

Здесь I – единичная матрица, а Λ – диагональная матрица с элементами λ_k на главной диагонали. Тогда решение этой системы имеет вид

.

Задача 5. Пусть цепь Маркова ξ(t) задана матрицей Q инфинитезимальных характеристик q_kv. В момент перехода цепи из состояния k в состояние v с вероятностью d_kv наступают события, причем d_kk = 0. Моменты наступления событий обозначим

t₁ < t₂ < t₃ < …< t_n < t_n+1 <….

Определим полумарковский процесс k(t) равенством

k(t) = ξ(t_n) если t_n < t < t_n+1.

Здесь ξ(t_n) – значение цепи Маркова после изменения состояния, реализованного в момент t_n.

Найти преобразование Фурье-Стилтьеса полумарковской матрицы процесса k(t).

Решение. Запишем преобразование Фурье-Стилтьеса по от элементов A_kv(x) полумарковской матрицы

где In(A) – индикатор события А.

Для процесса k(t) с непрерывным временем рассмотрим при k ≠ v следующее условное математическое ожидание

где t_n < t < t_n+1 а t_n – последовательность моментов изменения состояний полумарковского процесса k(t).

Для функций φ_kv(u,t) по формуле полной вероятности, аналогично выводу обратной системы дифференциальных уравнений Колмогорова, можно записать следующие равенства

.

Первое слагаемое в сумме характеризует ситуацию, когда за время Δt цепь Маркова с вероятностью (1 + q_kkΔt) не поменяет своего состояния, следовательно, полумарковский процесс за это время своего состояния не поменяет. Второе слагаемое характеризует переход цепи Маркова за время с вероятностью q_kmΔt из состояния k в состояние m ≠ v, в этом случае может наступить событие с вероятностью d_km и полумарковский процесс перейдет из состояния k в состояние m ≠ v (в этом случае индикатор события перехода в состояние v будет равен нулю) или с вероятностью (1 – d_km) не наступит события и в этом случае полумарковский процесс останется в том же состоянии k. Третье слагаемое показывает, что за время Δt с вероятностью q_kvΔt цепь Маркова перейдет из состояния k в состояние v, в этом случае может наступить событие с вероятностью d_kv и полумарковский процесс перейдет из состояния k в состояние v (в этом случае индикатор события перехода в состояние будет равен единице) или с вероятностью (1 – d_kv) не наступит события и в этом случае полумарковский процесс останется в том же состоянии k.

Функции φ_kv(u,t) = φ_kv(u) не зависят от момента времени t, поэтому составленное равенство можно переписать в виде. Тогда получим

Эта система уравнений в матричном виде выглядит следующим образом

(juI – B)Φ + QΦ +B = 0

Здесь I – единичная матрица, а B – матрица с элементами q_kvd_kv. Тогда решение этой системы имеет вид

.

Задачи.

1. Рассмотреть применение формулы (9) для нахождения стационарного распределения вероятностей значений цепи Маркова с непрерывным временем, заданной матрицей Q инфинитезимальных характеристик

а) б)

в) г)

2. Полумарковская матрица имеет вид85

Записать матрицу условных функций распределения времени пребывания полумарковского процесса в трех состояниях.

3. Процесс марковского восстановления задан матрицами

Найти полумарковскую матрицу для процесса, найти ее преобразование Фурье.

4. Пусть цепь Маркова ξ(t_n) задана матрицей Q инфинитезимальных характеристик

На интервалах постоянства ее значений ξ(t_n) = k наступают события простейшего потока с интенсивностью λ_k

Моменты наступления событий обозначим

t₁ < t₂ < t₃ < …< t_n < t_n+1 <…..

Определим полумарковский процесс k(t) равенством

k(t) = ξ(t_n), если t_{n ≤} t < t_n+1

Найти преобразование Фурье-Стилтьеса его полумарковской матрицы.

5. Пусть цепь Маркова ξ(t_n) задана матрицей Q инфинитезимальных характеристик

В момент перехода цепи из состояния в состояние с вероятностью d_kv наступают события, причем d_kk = 0

Моменты наступления событий обозначим

t₁ < t₂ < t₃ < …< t_n < t_n+1 <…

Определим полумарковский процесс k(t) равенством

k(t) = ξ(t_n), если t_{n ≤} t < t_n+1.

Здесь ξ(t_n) – значение цепи Маркова после изменения состояния, реализованного в момент t_n.

Найти преобразование Фурье-Стилтьеса его полумарковской матрицы.

6. Даны матрицы

Являются ли они полумарковскими? Если да, то запишите их в мультипликативном виде и определите вид процесса. Здесь Г(x,α,β) – гамма-функция распределения с параметрами α,β.

7. Даны матрицы

Являются ли они матрицами преобразования Фурье-Стилтьесса для полумарковских процессов. Если да, то определите вид процесса и запишите для него полумарковскую матрицу.