2.3. Класифікація станів у загальному вигляді

1. Ергодичний стан

Нехай задано простір станів марковського процесу і певну під­множину станів при цьому буде доповненням до А.

Якщо з кожного стану підмножини А можна перейти до будь-якого стану і при цьому до стану процес не зможе перейти ні з одного зі станів, які належать підмножині А, то в цьому разі А називають ергодичною множиною, або множиною ергодичного стану процесу. Одного разу потрапивши до ергодичної множини, процес ніколи не зможе залишити її, і з цього моменту часу переміщуватиметься лише серед тих станів, які належать ергодичній множині А.

Отже, ергодичний стан є елементом ергодичної множини.

Щойно сказане ілюструє рис. 11.

Рис. 11

З рис. 11 бачимо, що стани утворюють ергодичну множину А. Стани також утворюють ергодичну множину Перехід процесу із А в , як і навпаки, є неможливим.

2. Нестійкі стани

Нехай задано простір станів випадкового процесу а також . Тоді, якщо будь-який стан підмножини А може бути досягнений із будь-якого іншого стану цієї самої під- множини і при цьому існує хоча б один стан , із якого процес може перейти до стану то підмножину станів А називають нестійкою.

Нестійкий стан є елементом нестійкої множини А.

Це схематично ілюструє рис. 12.

Рис. 12

Як бачимо з рис. 12, процес зі стану може з певною ймовірністю перейти до стану

3. Поглинальні стани

Якщо ергодична множина має лише один стан, то його називають поглинальним. Одного разу потрапивши до цього стану, процес у ньому залишається назавжди.

У загальному випадку марковський процес може мати одну, дві і більше ергодичних множин, але при цьому не мати нестійких множин.

Марковський процес із дискретними станами і дискретним часом називають також марковським ланцюгом, що є різновидом марковського процесу, в якому майбутнє залежить від минулого лише через теперішнє.

2.4. Матриці однокрокових імовірностей переходу. Однорідні ланцюги Маркова

Перехід системи зі стану до стану , який може відбуватися з певною ймовірністю в момент часу t, позначається як і називається умовною ймовірністю переходу.

Повна ймовірнісна картина всіх можливих переходів системи, яка має N станів, подається у вигляді квадратної матриці:

(14)

яку називають імовірнісною матрицею переходів. При цьому

(15)

,

оскільки ці випадкові події (перехід системи з фіксованого стану до будь-якого можливого стану утворюють повну групу. Враховуючи те, що моменти часу переходу системи названо кроками, умовні ймовірності переходу на k-му кроці позначають і називають перехідними ймовірностями марковського ланцюга.

Величина є умовна ймовірність того, що на k-му кроці система перебувала у стані і в цьому самому стані вона й залишиться.

Перехідні ймовірності можна записати такою квадратною матрицею:

. (16)

Тут також

(17)

.

Матриці, які мають властивості (16) і (17), називають стохастичними.

Ланцюг Маркова називають однорідним, якщо тобто перехідні ймовірності не залежать від кроку k.

Матриця перехідних імовірностей для однорідних ланцюгів Маркова подається у вигляді

. (18)

Матриці (16) і (18) називають матрицями однокрокового переходу системи.

Приклад 3. У певному містечку діють три супермаркети які конкурують між собою. Фірма з вивчення ринку зібрала й обробила інформацію за 5 місяців про частку (у відсотках) покупців, які користуються послугами цих супермаркетів. Було з’ясовано, що магазин зберіг 80% своїх покупців, придбавши водночас 10% покупців магазину і 2% — магазину магазин зберіг 70% своїх покупців і придбав 8% покупців магазину і 14% — магазину магазин зберіг 90% своїх покупців і при цьому придбав 6% покупців магазину і 20% — магазину

Побудувати ймовірнісну матрицю переходів покупців за один крок.

Розв’язання. Матриця однокрокового переходу для цієї системи подається у вигляді

.

Як бачимо, виконується умова стохастичної матриці для кожного її рядка. І справді, магазин зберіг 80% своїх покупців, а водночас втратив 20%, із яких 14% вибрали магазин і 6% — магазин аналогічно зберіг 70% своїх покупців і втратив 30% покупців, із них 10% вибрали магазин і 20% — магазин і магазин зберіг 90% своїх покупців, втративши при цьому 10%, із яких 2% вибрали магазин і 8% —