5. Поняття марковського випадкового процесу.

Серед випадкових процесів особливе місце займають Мар­ковські випадкові процеси (МВП).

Розглянемо деяку фізичну систему , в якій відбувається випадковий процес. З плином часу вона може під впливом випадкових факторів переходити з одного стану в інший.

Означення. Випадковий процес називається процесом з дискретними станами, якщо множина всіх його можливих станів є зліченною або скінченною, а перехід з одного стану в інший відбувається стрибково, переходи можливі лише в певні моменти часу

Якщо переходи можливі в будь-який момент часу, тобто моменти переходу з одного стану в інший випадкові, то процес називається процесом з неперервним часом.

Означення. Випадковий процес з дискретними станами називається Марковським (МП), якщо для будь-якого моменту часу умовна ймовірність кожного з станів системи в майбутньому (тобто при ) залежить лише від її стану в теперішній час (тобто при ) і не залежить від того, коли і як система прийшла в цей стан (тобто від того, які були стани системи в минулому ).

Коротко: майбутнє МП залежить лише від теперішнього стану, і не залежить від минулих станів системи.

Марковський процес називають також процесом без післядії: майбутнє в ньому залежить від минулого лише через теперіш­нє, тобто ймовірність системи потрапити в стан в момент часу залежить лише від стану , в якому система знаходиться в момент часу :

,

де  це можливі стани системи .

Марковський процес є стохастичною математичною моделлю багатьох процесів у біології (розподіл епідемій, ріст популяцій), у фізиці (радіоактивний розпад), у теорії масового обслуговування. У теорії систем масового обслуговування множина станів системи визначається кількістю каналів (вузлів обслуговування). Це можуть бути вузли обслуговування, кабінети лікарів, кількість кас в супермаркеті тощо. Переходи між станами системи відбуваються під впливом вхідного потоку подій (тобто кількості заявок, пацієнтів, покупців тощо), які є найпростішими, тобто пуасонівськими. Детальніше про це у наступній лекції.

Випадкові процеси з дискретними станами зручно відображати в формі так званого графа станів. У ньому стани системи зображаються в формі вершин графа, а можливі безпосередні переходи з стану в стан – орієнтованими дугами графа, що з’єднують відповідні вершини – стани.

Приклад 21.5. Побудувати граф станів випадкового процесу: локальна мережа у випадковий момент часу може вийти з ладу, вона перевіряється в певні моменти часу, наприклад, кожних десять хвилин. У разі необхідності відбувається налагодження мережі. Є два типи неполадок – незначні та суттєві (такі, що вимагають довгострокового технічного обслуговування).

Розв’язання. Дана система може перебувати в одному з трьох станів – локальна мережа працює; – у мережі відбувся несуттєвий збій, їй необхідне налагодження; – відбувся нас­тільки суттєвий збій, що мережа знаходиться у процесі тривалого налагодження.

Граф має вигляд, зображений на рис. 21.3. Процес являє собою випадкове блукання системи за станами, час 10 хвилин – це крок процесу.

Реалізації ВП блукання системи може мати зокрема такий вигляд:

.

Цей перелік станів визначає наступне: при 1-му, 2-му , 3-му огляді система була справна; при 4-му несправна і знаходиться в процесі налагодження; при 5-му, 6-му – справна; при 7-му – вимагає суттєвого ремонту.

Рис 21.3

Для описання ВП з дискретними станами використовують ймовірності станів системи , тобто значення , де  ймовірність того, що в момент часу система знаходиться в стані , – випадковий стан системи в момент часу .

Очевидним є той факт, що для будь-якого моменту сума ймовірностей всіх станів дорівнює 1 (як сума ймовірностей повної групи подій):

.

6. Рівняння Колмогорова-Чепмена.

Нехай в деякій системі відбувається СВП з дискретними станами та дискретним часом, тобто перехід системи з одного стану в інший відбувається тільки в певні моменти часу Ці моменти називають кроками процесу (зазвичай, різниці сусідніх моментів спостережень дорівнюють сталому числу – ширині кроку, що приймається за одиницю часу); початок процесу визначається моментом часу .

Цей випадковий процес можна розглядати як послідовність (ланцюг) подій (де – початковий стан системи, тобто перед першим кроком; – стан системи після 1-го кроку; – після 2-го кроку і т.д. ). Тобто це послідовність подій виду .

Означення. Марковський випадковий процес з дискретними станами та дискретним часом називають ланцюгом Маркова.

Ланцюг, в якому умовні ймовірності станів в майбутньому залежать лише від стану на даному, останньому кроці ( і не залежать від попередніх), називають простим ланцюгом Маркова.

У даному курсі розглядають лише прості ланцюги Маркова. Основним завданням при дослідженні простих ланцюгів Маркова є обчислення ймовірностей станів системи:

,

де – безумовна ймовірність того, що на -му кроці система буде знаходиться у стані .

Для обчислення безумовної ймовірності необхідно знати початковий розподіл ймовірностей , тобто ймовірності станів в момент початку процесу та перехідні ймовірності – марківського ланцюга на му кроці.

Означення. Перехідною ймовірністю називають умовну ймовірність переходу системи на му кроці в стан , якщо відомо, що на попередньому кроці вона була в стані , тобто

тут перший індекс визначає номер попереднього, а другий – номер наступного стану.

Означення. Ланцюг Маркова називається однорідним, якщо , тобто умовні ймовірності не залежать від номера спостереження.

Далі розглядатимемо лише однорідні ланцюги, що можуть бути задані за допомогою вектора – ймовірностей станів у початковий момент часу та матриці

,

що називаються матрицею перехідних ймовірностей.

Елементи матриці мають такі властивості:

1. Усі її елементи невід’ємні .

2. Сума ймовірностей кожного рядку перехідної матриці дорівнює одиниці (як ймовірності переходу з одного стану в будь-який можливий стан – утворюють повну групу подій): .

Твердження. Матриця переходу ланцюга Маркова за кроків: .Має місце формула Колмогорова-Чепмена.

Приклад 21.7. Задано матрицю перехідних ймовірностей . Знайти матриці перехідних ймовірностей за два кроки, за чотири кроки.

Розв’язання. За формулою маємо:

.

Відповідно для переходу за 4 кроки маємо:

.

Зауважимо, що ланцюг Маркова є узагальненням схеми Бер­нуллі у випадку залежних випробувань; незалежні випробування є частинним випадком ланцюга Маркова. Під «подією» розуміють стан системи, а під «випробуванням» – зміну її стану.

Якщо «випробування» незалежні, то поява певної події в будь-якому досліді не залежить від результатів раніше проведених випробувань.