2.7.3. Стохастичні матриці

Означення. Невід’ємна матриця називається стохастичною, якщо сума елементів у кожному її стовпці дорівнює одиниці:

, (1)

З ауваження. Якщо замість векторів-стовпців використовуються вектори-рядки, то невід’ємна матриця називається стохастичною в разі, коли сума елементів у кожному рядку дорівнює одиниці:

Стохастичні матриці використовують, описуючи ланцюги Мар­кова. Розглядається послідовність випадкових величин , кожна з яких може перебувати в одному із станів із імовірністю

. (2)

Вектор називатимемо стохастичним вектором. Його проекції задовольняють умови:

(3)

Послідовність дискретних випадкових величин називається скінченнозначним дискретним випадковим процесом. Цей процес називається марковським, якщо ймовірність повністю визначається ймовірністю за формулами

. (4)

Тут коефіцієнти є умовними ймовірностями переходу зі стану до стану ,

.

З необхідності виконання рівності (3) випливає рівність (1), тобто матриця лінійного перетворення (4) є стохастичною.

Справді, обчислюючи суму (4), дістаємо

Ця рівність має виконуватися при будь-яких імовірностях , що задовольняють умови:

, .

Звідси випливає, що рівності (1) правильні.

Систему рівнянь (4) можна подати у векторній формі

. (5)

Система різницевих рівнянь (5), де П — стохастична матриця, описує марковський ланцюг.

Нехай — множина стохастичних матриць. Тоді цілком очевидною є така теорема.

Теорема 1. Якщо , , то матриця при . Якщо , , то .

Стохастична матриця має невід’ємні елементи і згідно з теоремою із підрозд. 2.7.2 має корінь Фробеніуса, який дорівнює одиниці.

Р озглянемо стохастичну матрицю

,

яка має власні числа, що дорівнюють . Корінь Фробеніуса не є найбільшим за модулем.

Означення. Марковський ланцюг називається ергодичним, якщо незалежно від початкових значень існує границя

Вектор є власним вектором матриці П, що відповідає власному числу :

.

Для того щоб марковський ланцюг був ергодичним, необхідно і достатньо, щоб стохастична матриця П мала ізольоване власне число , яке перевищує за модулем решту власних чисел матриці П.

Теорема 2. Для того щоб марковський ланцюг (5) був ергодичним, достатньо, щоб усі елементи одного з рядків матриці П були додатними.

Доведення. Розглянемо стохастичну матрицю

і введемо позначення:

.

За припущенням .

Розглянемо матрицю А з елементами:

.

Для стохастичного вектора маємо рівність

, . (6)

Введемо норму вектора за формулою

.

Відповідні норми матриць П, А мають вигляд

, .

Візьмемо довільні два розв’язки системи різницевих рівнянь (5):

і знайдемо рівняння для різниці розв’язків:

.

За рівністю (6) дістаємо:

,

звідки знаходимо оцінку для норми різниці:

Із цієї нерівності знайдемо нерівність

. (7)

Оскільки , то із (7) випливає граничне співвідношення

Оскільки система різницевих рівнянь (5) має частинний розв’язок , де — власний вектор матриці П, що відповідає кореню Фробеніуса , то

де — довільний розв’язок системи (5). Це й доводить теорему.

У частинному випадку з теореми 2 випливає більш відома теорема.

Теорема 3. Для того щоб марковський ланцюг (5) був ергодичний, достатньо, щоб усі елементи матриці П були додатні.

Р озглянемо марковський ланцюг, який набуває трьох станів. Нехай стохастична матриця перехідних імовірностей має вигляд

.

Складемо характеристичне рівняння

Розкриваючи визначник, дістанемо:

Це рівняння має такі корені:

Марковський ланцюг є ергодичним, оскільки корінь Фробе­ніуса більший за модулем від інших коренів. Знаходимо граничні ймовірності із системи рівнянь:

Звідси маємо: , , . 