8.4 Формалізація смо марковськими випадковими процесами
Функціонування будь-якої СМО представляє собою послідовність її переходів з одного стану в інший. Наприклад, АЗС може бути вільною; може йти заправка одного, двох і т.д. автомобілів; може бути в черзі чекання одна чи більше машин. Все це є різними станами АЗМ з точки зору СМО. Зміна станів відбувається під впливом різних причин, здебільшого, під впливом вхідного, а також вихідного потоків подій.
СМО є системою з дискретними станами, якщо множина її станів зліченна (кінцева), а переходи з одного до іншого стану здійснюються раптово. При цьому кожен із станів характеризується повною імовірністю перебування у ньому СМО. Як вже відмічалось, якщо переходи здійснюються в будь-які моменти часу, то СМО зветься системою з безперервним часом. Саме такі СМО ми розглядатимемо далі.
Випадковий процес змін станів в СМО має назву марковського випадкового процесу (або процесу змін станів без післядії), якщо для будь-якщо моменту часу to імовірність будь-якого стану в майбутньому (при t > t0) залежить тільки від стану СМО при t = to і не залежить від того, яким чином СМО прийшла в цей стан. Відмітимо, що для СМО з безперервним часом марковський процес змін стану є також безперервним, а граф станів та переходів представляє собою безперервний марковський ланцюг.
Для безперервного марковського ланцюга з кількістю станів п визначимо імовірність кожного стану через Pi(t) (i = l,n). Оскільки для будь-якого моменту часу t усі можливі стани утворюють повний ансамбль,
тому Рi (t) = l. Граф станів при цьому представляється у вигляді, представленому на рис.8.2.
Позначимо через Рi (і=1,4) — імовірність і-того стану в момент часу t. Pji(t)— імовірності переходів з j-того стану в і-тий стан. Розглянемо елементарний відрізок часу t, що прилягає до t Назвемо інтенсивністю переходу λji(t) границю відношення
Ділимо (8. 5) на t. Тоді
Аналіз системи п рівнянь Колмогорова дозволяє сформулювати формальне правило їх запису. В лівій частині кожного рівняння міститься відповідна похідна імовірності стану, що розглядається. Права частина містить стільки доданків, скільки дуг графа станів зв'язано з цим станом, при чому кожен з доданків дорівнює добутку інтенсивності λjі або λіj Ху на імовірність стану, з яким вона зв'язана. Якщо стрілка дуги направлена від стану, що розглядається, то цей доданок береться із знаком "мінус", якщо дуга має напрям до стану, що розглядається, то доданок береться зі знаком "плюс".
Це мнемонічне правило залишається справедливим для будь-якої СМО при її представленні неперервним марковським ланцюгом. Наприклад, для СМО, що зображена на рис.8.2., маємо:
В цієї системи Pі(t) є імовірності того, що система S знаходиться саме в стані Si (i=l,4).
Враховуючи, що Pi(t)=l є нормуючим рівнянням, його можна використати замість будь-якого з рівнянь системи (8.7), залишаючи в ній тільки (п-1) диференційних рівнянь.
Для розв'язання системи рівнянь Колмогорова необхідно задати початкові умови. Наприклад: Pі(O)=l; Pj(O)=O ( j = l, n -1; j ≠ і). Відмітимо також, що при λіj=const марковський процес є однорідним, якщо інтенсивність λіj(t) – неоднорідним.
На графах станів СМО значення λіj(t) проставляються звичайно біля відповідних дуг замість Pіj(t). Наприклад, для СМО рис.8.2. граничні імовірності при умові λіj =const визначаються з системи рівнянь Колмогорова (8.7) при умові dPі/dt=0, тобто
-λ12Р1-
λ13Р1+
λ12Р2-
λ31Р3=0
λ12Р1- λ21Р2- λ23Р2- λ24Р3=0 (8.8)
λ13Р1- λ23Р2- λ31Р3- λ34Р3=0
Р1+Р2+Р3+Р4=1
Відмітимо, що марковські ланцюги, що мають сталий режим, називають ергодичними марковськими ланцюгами. Серед ергодичних марковських ланцюгів слід визначити також ланцюги з поглинаючими станами. Це такі стани, до яких дуги графа лише входять, але жодна дуга не виходить. Якщо СМО в якусь мить увійшла в цей стан, то вона з нього ніколи вже не вийде. Прикладом поглинаючого стану є S4 на рис.8.2. Для СМО з поглинаючими станами при її аналізі за допомогою (8.7) йдеться лише про визначення процесу змін станів в перехідному режимі від початкового стану до поглинаючого.