Побудова марковського процесу з неперервним часом та дискретним простором станів за локальними характеристиками

Інтенсивності переходу із одного стану в інший та інтенсивності виходу зі станів називають ще локальними характеристиками марковського процесу. Траєкторії такого процесу мають вигляд, представлений на рисунку 8. Позначимо через час перебування процесу в стані і, . Доведено, що випадкові величини мають показниковий розподіл з параметром , тобто функція розподілу має вигляд: ,

– інтенсивність виходу зі стану і.

k

i

j

0 t

Рис. 8.

Тоді математичне сподівання дорівнює

і навпаки, .

Доведено також, що ймовірності переходу зі стану і в стан в деякий момент часу, за умови, що в цей момент перехід відбувся, дорівнюють

.

4. Граничні ймовірності станів

Розглянемо процес зі скінченою множиною станів . Доведено, що, якщо з кожного стану процес може перейти в будь-який інший стан, то граничні ймовірності станів

існують і не залежать від початкового стану систему:

,

причому .

Таким чином, коли , в системі, що описується процесом, встановлюється деякий граничний стаціонарний режим: він полягає в тому, що система випадково змінює свої стани, але ймовірність кожного з них вже не залежить від часу, кожен із станів здійснюється з деякою постійною ймовірністю. Ця ймовірність має наступний смисл: вона представляє собою середній відносний час перебування системи в даному стані. Наприклад, якщо у системи три можливих стани: та , причому їх граничні ймовірності дорівнюють та , це означає, що після переходу до усталеного режиму система в середньому дві десятих часу буде знаходитись в стані , три десятих – в стані і половину часу – в стані .

Для знаходження граничних ймовірностей в системі диференціальних рівнянь Колмогорова треба замінити на , а похідні на нулі (в усталеному режимі всі ймовірності станів постійні, тому їх похідні дорівнюють нулю). Одержимо

(1) представляє собою систему лінійних однорідних рівнянь, що має нескінченну множину розв’язків. Для знаходження одне з рівнянь системи (1) замінюємо на рівняння (2) (його називають ще умовою нормування). Після цього отримуємо єдиний розв’язок.

Приклад. Фізична система має можливі стани: розмічений граф яких представлений на рис. 9. Обчислити граничні ймовірності станів: .

Р озв’язування. Система (1) має вигляд:

,

,

,

.

Замінимо третє рівняння на рівняння

.

Виразимо всі граничні ймовірності, наприклад, через : з першого рівняння одержимо ; підставимо цей вираз у друге рівняння, одержимо: ; з четвертого рівняння маємо . Підставимо знайдені вирази в Рис. 9 умову нормування (2), одержимо ,

звідки , тобто , , , .

Це означає, що в граничному усталеному режимі система буде проводити в стані в середньому одну двадцять четверту частину часу, в стані – половину часу, в стані – п’ять двадцять четвертих часу, в стані – одну чверть часу.