2. Випадкові процеси. Марковські випадкові процеси

Нехай є деяка фізична система S, стан якої змінюється з часом (наприклад S: обчислювальна машина, залізничний вузол, супермаркет і т. і.). Якщо стан системи S змінюється в часі випадково, заздалегідь непередбачено, то говорять, що в системі S протікає випадковий процес.

Конкретне протікання кожного з таких процесів залежить від ряду випадкових, заздалегідь непередбачених чинників, таких як:

- надходження замовлень на ЕОМ, вид замовлень;

- інтенсивності прямування поїздів, вантажних і пасажирських, дотримання графіка прямування і т.д.;

- кількості покупців у супермаркеті, часу їхнього обслуговування.

Випадковий процес у системі S називається марковським або “процесом без післядії”, якщо він має таку властивість: для кожного моменту часу t₀ Ймовірність будь-якого стану системи в майбутньому (при t > t₀) залежить тільки від її стану в дійсному (при t = t₀) і не залежить від того, коли і яким чином система прийшла в цей стан (тобто від розвитку процесу в минулому).

Приклад 1. Кожний технічний прилад характеризується ступенем зношеності S. Тоді, принаймні приблизно, можна вважати, що характеристики роботи приладу (частота відмов, потреба в ремонті) залежать від стана приладу в дійсний момент і не залежать від того, коли і як пристрій досяг свого теперішнього стану. Тому процес S можна вважати марковським.

У залежності від того, у які моменти часу система S змінює свої стани, випадкові процеси діляться на два класи.

В.П. називається процесом із дискретними станами, якщо можливі стани системи: S₁, S₂, S₃, ... можна перерахувати (перенумерувати) один за іншим, а самий процес полягає в тому, що час від часу система S стрибком (миттєво) перескакує з одного стана в інший.

Приклад 2. Технічний пристрій складається з двох вузлів: I і II. Тоді можливі чотири стани системи: S₁ - I і II робить, S₂ - I, II; S₃ - I, II; S₄ - I, II.

В.П. називається процесом із безперервними станами, якщо із стану в стан відбувається плавний перехід.

Наприклад, процес зміни напруги в електричній мережі. Ми будемо розглядати тільки В.П.С. дискретними станами.

При аналізі таких процесів будемо користуватися геометричною схемою - так званим графом станів. Граф станів зображує можливі стани системи і можливі переходи із стана в стан, що позначаються стрілками.

Зауваження. Якщо система переходить із S1 у S3 через S2, то S1 S2; S2 S3; але не S1 S3 Для попереднього прикладу граф станів на мал.1 Якщо ж у попередньому прикладі вузол , що відмовив, негайно починає відновлятися, то граф станів має вигляд мал.2

Мал. 1.      Мал. 2.

2.1. Марковські ланцюги, матриця переходів

Засоби опису марковського В.П. із дискретними станами залежать від того, у які моменти часу - заздалегідь відомі або випадкові відбуваються переходи системи зі стану в стан.

В.П. називається процесом із дискретним часом, якщо переходи системи із стану в стан можливі тільки в строго визначені, заздалегідь фіксовані моменти часу t₁, t₂, ..., t_n. Якщо переходи системи можливі в будь-який, наперед невідомий, випадковий момент часу t, то В.П. називається процесом із безупинним часом.

Якщо С.П. марковський із дискретним часом, то він може знаходитися в стані S₁, S₂, ..., S_n, причому переходи системи із стану в стан можливі тільки в момент t₁, t₂, ..., t_n.

Будемо називати ці моменти “кроками” або “етапами” процесу і розглядати В.П., як функцію цілочисленого аргументу 1, 2, ... , k, ... (номер кроку). У загальному випадку в моменти t₁, t₂, ... система може не тільки змінювати стан, але залишатися в старому, наприклад S₁ S₂ S₂ S₃ S₄ S₁ ...

Умовимося позначати S_i^(k) подію, що полягає в тому, що після k кроків система знаходиться в стані S_i. При будь-якому k події S₁^(k), S₂^(k), ..., S_n^(k) утворять повну групу і несумісні. Процес, що відбувається в системі, можна уявити як послідовність (ланцюжок) подій, наприклад: S₁⁽⁰⁾, S₂⁽¹⁾, S₁⁽²⁾, S₂⁽³⁾, S₃⁽⁴⁾, ...

Визначення: Така випадкова послідовність подій називається марковським ланцюгом, якщо для кожного кроку ймовірність переходу з будь-якого стану S_i у S_j не залежить від того, коли і як система перейшла в стан S_i.

Будемо описувати марковський ланцюг за допомогою так званих ймовірностних станів. Нехай у будь-який момент часу (після будь-якого, k-го кроку) система S може знаходитися в однім із станів: S₁, S₂, ..., S_n, тобто здійсниться одна з повної групи несумісних подій S₁^(k), S₂^(k), ..., S_n^(k). Позначимо ймовірності цих подій: P_i^(k) = P(S_i^(k)) (i = 1,2, ..., n) - ймовірність того, що після k кроків система виявиться в стані S_i.

P_i^(k) називається ймовірностями станів. Т. я. S_i (i = 1,2, ...,n) утворять повну групу подій, то

Приклад 3. Зобразимо марковський ланцюг у вигляді графа, мал.3. S1(0) S3(1) S2(2) S2(3) S3(4) S5(5) S6(6) S2(7) Затримка системи в стані S2 на третьому кроку зображена стрілкою, що виходить із S2 і в нього ж повертається

Мал. 3

Для будь-якого кроку (моменту часу t₁, t₂, ..., t_k) існують якісь ймовірності переходу системи з будь-якого стана в будь-яке інше (деякі з них дорівнюють нулю, якщо безпосередній перехід за один крок неможливий), а також ймовірність затримки системи в даному стані.

Такі ймовірності називаються перехідними можливостями марковського ланцюга.

Марковський ланцюг називається однорідним, якщо перехідні ймовірності не залежать від номера кроку. У противному випадку марковський ланцюг неоднорідний.

Розглянемо однорідний марковський ланцюг із n можливих станів S₁, S₂, ..., S_n. Позначимо через P_ij ймовірність переходу (при i = j Ймовірність затримки в стані S_i) за один крок із S_i у S_j. Тоді матриця з P_ij називається матрицею переходу

^(2.1)

Перехідні ймовірності можна тоді уявити як умовні ймовірності P_ij = = P (S_j^(k)/S_i^(k-1))

Так як події S_j(k) утворять повну групу несумісних подій, то .

При розгляді марковських ланцюгів часто буває зручно користуватися графом станів, на якому в стрілок проставлені відповідні перехідні ймовірності, не рівні нулю (P_ij0) і змінюючи стан системи. Такий граф називається розміченим графом станів, мал.4.

Наприклад, для приведеного вище графа. Зауважимо, що ймовірності, що не змінюють стан системи не наводяться, тому що їх можна обчислити.

Мал. 4.

Для розглянутого прикладу Р₁₁=1-(Р₁₂+Р₁₃), Р₂₂ = 1 - (Р₂₃ + Р₂₄) і т. д. Якщо із стану S_i не виходить жодної стрілки, тобто перехід в інший стан неможливий, то P_ii=1.

Якщо є матриця переходу ||P_ij|| (або розмічений граф станів) і початковий стан системи, то можна знайти ймовірності станів P₁(k), P₂(k), ..., P_n(k) після будь-

якого (k-го) кроку. Покажемо це.

Нехай система знаходиться в початковому стані S_m. Тоді P_i(0) = 0, крім P_m(0) = 1. Ймовірності станів після першого кроку P_i(1) = P_mi; i = 1,2, ..., n.

Знайдемо ймовірності станів після К=2; P_i(2) (i =1,2, ... ,n)

По формулі повної ймовірності з гіпотезами S_j (j=1,2, ... , n)

P_i(2) = (i = 1, 2, ..., n) і т.д. Після k-го кроку

P_i(k) = (2.2)

Рівняння 1 можна переписати в матричній формі

P(k) = P(k-1)  P (2.3)

де P(k), P(k-1) - вектори-рядки станів системи, Р- матриця переходу.

Приклад 4. По деякій цілі ведеться стрільба чотирма пострілами в моменти часу t₁, t₂, t₃, t₄.

Можливі стани цілі (системи S):

S₁ - ціль непошкоджена;

S₂ - ціль незначно ушкоджена;

S₃ - ціль істотно ушкоджена;

S₄ - ціль уражена цілком.

Визначити ймовірності станів цілі після чотирьох пострілів, якщо в початковий момент часу ціль знаходиться в S₁, і граф станів має вид, мал.5.

Рішення: Знайдемо матрицю переходу Р12 = 0,4; Р13 = 0,2; Р14 = 0,1 Р11 = 1 - (0,4+0,2+0,1) = 0,3 Аналогічно Р21 = 0; Р23 = 0,4; Р24 = 0,2; Р22 = 1-0,4-0,2=0,4 Р31=Р32=0; Р34=0,7; Р33 = 1-0,7=0,3 Р41=Р42=Р43=0; Р44=1

Мал. 5

Тоді

Ймовірності станів після 1-го кроку Р_i(1)= P₁i (i = 1,2,3,4), тобто елементи 1-го рядка матриці (початковий стан S₁) P_i(1) = (0,3; 0,4; 0,2; 0,1)

Ймовірність станів після 2-го кроку

{P_i(2)}={P_i(1)} . ||P_ij|| =

Після третього кроку ймовірність станів

^{P_i^(3)}={P_i^{(2)}  ||P}_ij^||

Після четвертого кроку

^{P_i^(4)}={P_i^{(3)} . ||P}_ij^{|| =}

Одержали, що після чотирьох пострілів ймовірності подій P(S₁) = P₁(4) = 0,008; P(S₂) = P₂(4) = 0,07; P(S₃) = P₃(4) = 0,129; P(S₄) = P₄(4) = 0,793.

Розглянемо загальний випадок - неоднорідний марковський ланцюг, для якого ймовірності переходу P_ij змінюються від кроку до кроку. Тоді ймовірність переходу буде залежати від кроку k, тобто P_ij^(k) = P(S_i^(k)/S_j^(k-1). Якщо ||P_ij^(k)|| відомі на кожному кроку, то

{P_i(k)} = ^(k) = {P_j(k-1)} ||P_ji(k)|| (2.4)

У метричній формі

P(k) = P(k-1), P(k) (2.5)

Приклад 5. Умови задачі ті ж самі, що і у попередньому прикладі. Тільки провадиться не 4, а три постріли. Причому ймовірності переходу змінюються від пострілу до пострілу.

||P_ij⁽¹⁾|| = ||P_ij||

Зауваження: Матриця переходу (квадратна) Р, володіючи властивостями 0 < P_ij < 1 , i, j = 1, ..., n у деяких джерелах називається стохастичною.