2. Марковський процес з дискретним часом та дискретними станами

Випадковий процес називається марковським, якщо для довільних моментів часу маємо, що

або іншими майбутнє в момент часу , залежить лише від стану системи в теперішній час .

Марковський процес із дискретним часом та дискретними станами називається ланцюгом Маркова.

Позначимо через ймовірність того, що в момент часу система перейде зі стану у стан . Якщо числа не залежать від числа ? то ланцюг Маркова називається однорідним. Якщо ми маємо однорідний ланцюг Маркова зі скінченною кількістю станів, то ми можемо скласти матрицю , яка називається матрицею однокрокового переходу системи. В цьому випадку матриця ймовірностей переходу системи за кроків буде рівна .

Якщо − вектор розподілу початкових ймовірностей, то розподіл ймовірностей системи в момент часу можна знайти за формулою

.

Для полегшення та більшої наочності роботи з однорідноими ланцюгами Маркова, останні часто зображають у вигляді орієнтованого графу. Вершини цього графу характеризують стани, у яких може перебувати система, а ребро графа, що сполучає два стани, вказує на ймовірність переходу з одного стану в інший.

Для однорідного ланцюга Маркова через позначимо ймовірність переходу системи зі стану у стан за кроків. Ці ймовірності задовольняють рівняння Чепмена-Колмогорова

Марковський процес зі скінченною кількістю станів називається ергодичним, якщо незалежно від початкового набору значень для кожного стану існує границя .

Для того, щоб ланцюг Маркова який задається матрицею однокрокового переходу був ергодичним необхідно і достатньо, щоб усі власні значення матриці були за модулем меншими від одиниці.

Ергодичні ланцюги Маркова бувають двох типів: циклічні та регулярні. Ланцюг Маркова називається циклічним, якщо кожного свого стану система може набувати з певною ймовірністю через певні однакові інтервали – періоди. Ланцюг Маркова називається регулярним, якщо за певної кількості кроків матриця не матиме нульових елементів, тобто можливий перехід між будь-якими станами за кроків. Граничний розподіл ймовірностей однорідного ланцюга Маркова, який задається матрицею однокрокового переходу , можна знайти використовуючи власні вектори. Серед усіх власних векторів матриці , які відповідають власному значенню , потрібно вибрати той, у якого сума координат рівна 1.

Приклад 6. Задано початковий розподіл ймовірностей та матрицю однокрокового переходу однорідного ланцюга Маркова.

1. Знайти розподіл ймовірностей .

2. Зобразити ймовірнісний граф ланцюга Маркова.

3. Знайти матрицю переходу системи за 3 кроки.

4. Знайти граничний розподіл ймовірностей.

5. Знайти ймовірність того, що в момент часу перебуватиме у стані , якщо відомо, що в момент часу система перебуває у стані .

6. Знайти ймовірність того, що від моменту часу до моменту часу система не змінить свого стану.

Розв’язання. 1. ;

.

2. Ймовірнісний граф ланцюга Маркова зображено на рис. 2

3. Матриця переходу системи за 3 кроки буде рівна .

4. Граничний розподіл ймовірностей знайдемо як власний вектор матриці , що відповідає власному значенню .

або .

До системи

додамо умову .

З даних співвідношень отримаємо, що , , .

5. За формулою повної ймовірності отримаємо

6. За формулою повної ймовірності отримаємо

.

П риклад 7. Визначити чи є марковський процес, граф якого зображено на рис.3 ергодичним.

Розв’язання. Нехай в початковий момент часу система перебуває в стані 1. Як бачимо у непарні моменти часу система з ймовірністями 0.5 може перебувати в станах 2 або 4. У парні моменти часу системи з ймовірностями 0.5 може перебувати у станах 1 або 3. Таким чином, не існує границі , а тому відповідний ланцюг Маркова не є ергодичним.