3. Дисперсія

За означенням дисперсії маємо:

. (30)

Звідси

(31)

де — фундаментальна матриця з елементами

Щоб визначити розглянемо систему, яка за один крок зі стану перейде до стану з імовірністю Якщо  — поглинальний стан, то система в ньому залишиться, а якщо непоглинальний, то до цього стану — числове його значення позначимо

(32)

слід додати функцію А оскільки то

(33)

Далі маємо: причому — діагональна матриця.

Отже, із (33) випливає така залежність:

Беручи до уваги, що і водночас дістанемо

Таким чином, дістаємо:

оскільки

Отже, дисперсія визначається за формулою:

. (34)

Приклад 16. За даною матрицею ймовірностей однокрокового переходу поглинального ланцюга Маркова

визначити

Розв’язання. Щоб визначити матрицю необхідно знайти Оскільки дістаємо матрицю

Тоді

4. Середня кількість кроків, що їх здійснить система, перш ніж набуде поглинального стану, та її дисперсія

Нехай t — кількість кроків, що здійснить система, перш ніж набуде поглинального стану.

Тоді звідки середня кількість таких кроків

, (35)

де

Скориставшись (33), дістанемо

.

Отже, маємо

. (36)

Приклад 17. За даною однокроковою матрицею ймовірностей переходу, записаною в канонічній формі

,

знайти

Розв’язання. Визначимо фундаментальну матрицю Оскільки матриця

то

Тоді

Отже,

Звідси дістаємо:

Знаючи і , доходимо висновку, що найшвидше система перейде до поглинального стану, коли вона перебуватиме в непоглинальному стані Справді, у такому разі середня кількість кроків системи до поглинального стану дорівнює 2,227. У цьому стані маємо й найменшу дисперсію, яка становить 8,352. У станах і це значення дорівнює відповідно 14,04 і 9,869.

5. Імовірності переходу системи до поглинального стану

Нехай — імовірність, з якою система за певну кількість кроків набуває поглинального стану. Якщо система перебуває, скажімо, у непоглинальному стані , то з нього вона може на 1-му кроці перейти до поглинального стану з імовірністю і в ньому ж залишитись або перейти до непоглинального стану з імовірністю , а далі з імовірністю набути поглинального стану. Усе це можна записати рівністю

(37)

яка в матричній формі набирає такого вигляду:

. (38)

Приклад 18. За даною однокроковою матрицею ймовірностей переходу поглинального ланцюга Маркова

знайти ймовірності переходу системи до поглинального стану.

Розв’язання. Матрицю

маємо звести до канонічної форми.

Записуємо

Тоді

Остаточно маємо:

.

Отже, якщо, наприклад, система перебуває в непоглинальному стані то з імовірністю 0,489 вона набуває поглинального стану або з імовірністю 0,511 — поглинального стану

2.9. Регулярні ланцюги Маркова та їх числові характеристики

Як уже наголошувалося, регулярні ланцюги Маркова є частинним випадком ергодичних ланцюгів.

Регулярний ланцюг — це такий ланцюг, для якого за деякого значення k (кількість кроків) у матриці не буде нульових елементів. А це означає, що перехід системи з будь-якого стану до будь-якого іншого стану здійсниться за k кроків.

1. Визначення стаціонарних (фінальних) імовірностей

Нехай задано перехідну матрицю  регулярного ланцюга Маркова. Тоді виконуються такі умови:

1) для будь-якого ймовірнісного вектора вектор прямує до вектора за

2) — єдиний вектор, який має властивість

(39)

3)

Перша умова означає, що незалежно від імовірнісного вектора (це може бути початковий вектор станів системи) для регулярних ланцюгів Маркова, які моделюються певною матрицею , виконується рівність

(40)

Вектор називають вектором стаціонарних (фінальних) імовірностей. Його компоненти задовольняють умову

(41)

Приклад 19. Дано однокрокову матрицю ймовірностей переходу, що є регулярним ланцюгом Маркова:

,

а також вектор

Знайти стаціонарні (фінальні) ймовірності та визначити кількість кроків k, за яких регулярний процес вийде на стаціонарний режим.

Розв’язання. Скориставшись (40), дістанемо

За маємо:

за :

за :

За і імовірності не змінилися. Отже, можна стверджувати, що при регулярний марковський процес досягає стаціонарних (фінальних) імовірностей, а саме: якщо далі збільшувати кількість кроків k, імовірності станів марковського процесу не змінюватимуться.

Отже, згідно зі щойно сказаним для регулярних ланцюгів Маркова маємо:

де

(42)

Тут W є матрицею стаціонарних (фінальних) імовірностей, в якій усі рядки однакові.

Практично вже за система стає стаціонарною.

Приклад 20. За даною однокроковою матрицею ймовірностей переходу для регулярного марковського процесу

знайти матрицю W.

Розв’язання. Обчислимо для послідовних значень

;

;

Як бачимо, за марковський процес стає стаціонарним. Стаціонарним вектором буде

Застосовуючи результати, здобуті в прикладі 20, підтвердимо властивості

Із (39) і (42) дістаємо систему рівнянь

(43)

з якої знаходимо значення елементів стаціонарного вектора

Існування стаціонарних імовірностей для регулярних ланцюгів Маркова в попередніх міркуваннях було взято до уваги без доведення, але досить наочно проілюстровано конкретними прикладами.

Тепер на вищому рівні строгості висвітлимо питання про існування стаціонарного вектора для регулярного процесу.

Із цією метою розглянемо стохастичну матрицю

мінімальний елемент якої , а також деякий вектор, наприклад

,

найменший і найбільший компонент якого відповідно такі: і .

Принагідно зазначимо, що в загальному випадку таких компонентів може бути кілька.

Знайдемо вектор

,

де є найменшим компонентом цього вектора, а — найбільшим.

Як бачимо, У загальному випадку

Потрібно довести, що виконується нерівність

Побудуємо вектор скориставшись для цього вектором в якому замінимо всі компоненти, крім на :

Отже, Далі знаходимо

(а)

Як випливає з (а), компоненти вектора подаються у загальному вигляді

де Зокрема, для першого елемента вектора і т. д.

Оскільки то тобто кожний компонент вектора не перевищує відповідного компонента вектора А звідси випливає

(b)

Оскільки то

Аналогічно для вектора маємо

(c)

звідки випливає, що

Додавши (b) і (c), дістанемо

Тоді для вектора матимемо максимальний компонент і мінімальний

При дістанемо , оскільки

(d)

Тепер згідно з (d) дістанемо

(e)

З огляду на те, що за маємо такий граничний перехід: звідки

(f)

Отже, при прямує до вектора, усі компоненти якого дорівнюють

(44)

де — матриця стаціонарних імовірностей.

Для регулярних ланцюгів Маркова довготривале поводження системи (процесу) не залежить від початкового стану, з якого система почала функціювати.

Приклад 21. Дано матрицю однокрокового переходу, що описує регулярний процес переходу системи з одного стану до іншого :

.

Знайти ймовірність того, що у стаціонарному режимі система перебуватиме у стані якщо перший крок вона зробила зі стану зі стану

Розв’язання. Визначивши граничну матрицю

,

дістанемо

;

Отже, незалежно від того, з якого стану — чи — почала функціонувати система, ймовірність набути стан буде однакова й дорівнюватиме 0,171.

2. Знаходження фундаментальної матриці

Щоб обчислити очікувану кількість кроків, що їх має здійснити система (процес) для регулярного марковського ланцюга, аби повернутися до певного фіксованого можливого стану, використовують фундаментальну матрицю, яку умовно позначають Z.

Нехай  — однокрокова матриця ймовірностей переходу системи з одного стану до іншого, а W — її гранична матриця.

Розглянемо матрицю і, урахувавши, що для граничної матриці W виконується рівність дістанемо

(45)

Оскільки то (нульова матриця). Зі сказаного випливає, що матриця має обернену, адже

Таким чином, доведено, що коли  є однокроковою матрицею ймовірностей переходу для регулярного ланцюга Маркова, то матриця

(46)

є фундаментальною для цього ланцюга.

Приклад 22. Для даної матриці

регулярного ланцюга Маркова знайти фундаментальну матрицю Z.

Розв’язання. Насамперед знайдемо граничну матрицю

,

а далі матрицю

Тоді

Як бачимо, елементи матриці Z набувають від’ємних значень.

Застосовуючи фундаментальну матрицю Z для регулярних ланцюгів Маркова, обчислюють числові характеристики, що описують поводження цих ланцюгів.

Наприклад, середнє значення кількості кроків які необхідно здійснити системі, щоб уперше набути стану за умови, що перед цим вона перебувала у стані , дорівнюватиме елементу матриці

, (47)

що міститься на перетині і-го рядка та j-го стовпця.

Тут Е — одинична матриця (усі її елементи дорівнюють одиниці):

— діагональна матриця, діагональні елементи якої збігаються з діагональними елементами матриці Z;

D — діагональна матриця, елементи якої — де — і-й компонент стаціонарної ймовірності стаціонарного вектора

Дисперсія числа обчислюється так:

Приклад 23. Статистична обробка спостережень метеослужби, здійснюваних улітку для певного міста України, дала такі результати:

• якщо певний день був теплим і безхмарним, то ймовірність, що така сама погода лишиться й наступного дня, дорівнює 0,6; імовірність того, що вона зміниться на вітряну погоду, дорівнює 0,25, а на дощову — 0,15;

• коли ж погода була вітряна, то ймовірність того, що вона такою самою і залишиться наступного дня, дорівнює 0,32, а ймовірність того, що вона зміниться на тиху сонячну погоду, дорівнює 0,46, і на дощову — 0,22;

• а якщо погода була дощова, то ймовірність того, що вона не зміниться й наступного дня, дорівнює 0,26, а ймовірність того, що зміниться на вітряну або сонячну тиху погоду, становить відповідно 0,29 і 0,45.

Виконати такі завдання:

1) побудувати матрицю однокрокового переходу ;

2) визначити матриці