2.2 Класифікація станів у загальному вигляді

2.2.1 Ергодичний стан

Нехай задано простір станів марковського процесу і певну підмножину станів , при цьому буде доповненням до А.

_{Якщо з кожного стану і підмножини А можна перейти до будь-якого стану , і при цьому до стану процес не зможе перейти ні до одного із станів, які належать підмножині А, то в цьому разі А називають ергодичною множиною, або множиною ергодичного стану процесу. Одного разу потрапивши до ергодичної множини, процес ніколи не зможе лишитися її, і з цього моменту часу переміщуватиметься лише серед тих станів, які належать ергодичній множині А.}

_{Отже, ергодичний стан є елементом ергодичної множини.}

_{Щойно сказане ілюструє рис. 1.}

_{З рис. 1 бачимо, що стани утворюють ергодичну множину А. Стани} також утворюють ергодичну множину . Перехід процесу із в , як і навпаки, є неможливим.

2.2.2 Нестійкий стан

_{Нехай задано простір станів випадкового процесу , а також :}

_{. Тоді, якщо будь-який стан підмножини А може бути досягнений із будь-якого іншого стану цієї самої підмножини і при цьому існує хоча б один стан , то підмножину станів А називають нестійкою.}

_{Нестійкий стан є елементом нестійкої множини А.}

_{Це схематично ілюструє рис. 2.}

_{Як бачимо з рис. 12. Процес зі стану може з певною ймовірністю перейти до стану .}

2.2.3 Поглинальні стани

_{Якщо ергодична множина має лише один стан, то його називають поглинальним. Одного разу потрапивши до цього стану, процес у ньому залишається назавжди.}

_{У загальному випадку марковський процес може мати одну, дві і більше ергодичних множин, але при цьому не мати нестійких множин.}

2.3 Приклади ланцюгів Маркова

Приклад 1. Побудувати граф який складається з наступного випадкового процесу: пристрій S в випадковий момент часу може вийти з ладу, воно оглядається в певні моменти часу, наприклад через кожні 3 години, і в випадку необхідності – ремонтується. [5.205]

• Можливі стани системи (пристрою) S: - пристрій справний; - пристрій несправний, потребує ремонту; - пристрій несправний, ремонту не підлягає, списано.

Процес являє собою випадкове блукання системи S по станам, час (3 години) – крок процесу.

, , , , , , ,

Реалізація випадкового процесу блукання системи може мати, зокрема, такий вигляд:

Г раф системи має вигляд:

що означає: при 1-му, 2-му, 3-му оглядах пристрій справний: при 4-му огляді – несправний, ремонтується; при 5-му, 6-му – справний; при 7-му – пристрій визнано непридатним, списано. Процес закінчився

Для опису випадкового процесу з дискретними станами користуються ймовірності станів системи S, тобто значеннями (t), (t), … , (t), де (t)=P{S(t)= } – ймовірність того, що в момент часу t система знаходилась в стані ; S(t) – випадковий стан системи S в момент t.

Очевидно, що для будь-якого моменту t сума ймовірностей всіх станів рівна одиниці (як сума ймовірностей повної групи несумісних подій):

Приклад 2. Побудувати граф станів наступного випадкового процесу:

Прилад S складається з двох вузлів, кожен з яких у випадковий момент часу може вийти із стану роботи, після чого моментально починається ремонт вузла, при цьому заздалегідь невідомий випадковий час продовжує йти, тобто не зупиняється.

Р озв’язання: Можливі стани системи:

– обидва вузли працюють

– перший вузол ремонтується, другий працює

– другий вузол ремонтується, перший працює

– обидва вузли ремонтуються

Приклад 3. Нехай - можливі стани системи і задана матриця . [1.145]

- матриця ймовірностей переходів з одного стану в інший за один крок. Побудувати граф, відповідний матриці .

Розв’язок. Граф який відповідає матриці , представлено вище. Стани системи показані на ньому колами. Бачимо, що зі стану система з рівними ймовірностями переходить в стан . Стан такий, що система залишається в ньому з ймовірністю і переходить в стан з ймовірністю . Стан називається поглинальним, так як , тобто якщо система переходить в стан , то вона в ньому і лишається.

Приклад 4. Ймовірність переходу за один крок в ланцюгу Маркова задана матрицею. Намалювати граф відповідний даній матриці. [1.146]

Розв’язок. Граф який відповідає матриці P, представлений вище. Стани системи показані на ньому колами. Бачимо, що зі стану A₁ система з рівними ймовірностями переходить в стан A₂ і A₃ . Стан може перейти лише в стан A₃. Стан А₂ з рівними ймовірностями переходить в стан А₁ і А₄ . А стан А₃ переходить в стан А₄ з тою ж ймовірністю що і сам в себе.

Приклад 5. Чи існує гранична ймовірність для ланцюгів Маркова, керуючих наступними матрицями ймовірностей переходів: [1.145]

а) д)

Розв’язок.

а )

д )

… … … … … … … … … … …

У випадку а) ми можемо розглянути граничну ймовірність вже на Р(3)–му кроці. Тобто пройшовши n – кроків дана матриця буде приймати початкове значення через один крок.

У випадку д) не було виявлено граничної ймовірності до Р(5) – кроку, тому ми перевірили її власноруч написаною програмою. При перевірці не було виявлено зациклення. Отже в даній матриці не існує граничної ймовірності. [1.145]

Приклад 6. Футбольна команда готується до чергового матчу, результатом якого можуть бути з певною з певною ймовірністю лише три несумісні стани (події): команда виграє – стан ; нічийний результат матчу – стан ; команда програє матч – стан . Отже, .

Перелічені стани є несумісними, і перехід команди в кожній із цих станів може здійснитися з певною ймовірністю. Розглядаючи команду як систему, можна стверджувати, що в ній відбувається марковский процес із дискретними станами та дискретним часом переходу з одного стану до іншого за один крок (за один матч). [6.18]

Приклад 7. Задана матриця переходу: . Знайти матрицю ймовірностей переходу за два кроки.

Працюємо за формулою P(2)=P² знаходимо

Перевірено у власноруч написаній програмі:

[5.207]

Приклад 8. За заданим ймовірнісним графом побудувати матрицю ймовірностей одно крокового переходу. [6.24]

Розв’язок. Квадратна матриця ймовірностей одно крокового переходу матиме розмір

Імовірності першого рядка матриці такі:

P₁₁=0,5; P₁₂=0,4; P₁₃=0,1;

P₂₁=0,6; P₂₂=0,2; P₂₃=0,2;

P₃₁=0,5; P₃₂=0,2; P₃₃=0,3;

Отже, матриця ймовірностей одно крокового переходу така: