1.2 Марківські процеси і ланцюги та їх властивості
1.2.1 Поняття марківського процесу і ланцюга
Випадковий процес
,
називають марковським,
якщо
для будь-якого натурального числа
,
будь-яких
і будь-яких
,
які упорядковані наступним чином:
,
виконується умова
.
(1.1)
Якщо
- поточний час,
-
майбутній час, а
,
- минулі моменти часу, то останню умову
слід трактувати наступним чином:
майбутня поведінка марковського процесу
повністю визначається його теперішнім
станом і не залежить від його станів у
минулому. У не марковського випадкового
процесу майбутня поведінка визначається
не тільки теперішнім станом, але й його
минулими станами.
У випадку, коли
простір станів
(
)
марковського процесу
,
є кінцевим або рахунковим, то марковський
процес називають ланцюгом
Маркова.
Якщо
набуває значень лише на дискретній
множині, то ланцюг Маркова називають
ланцюгом з
дискретним часом або дискретний ланцюг
Маркова. Коли
неперервна величина, то ланцюг Маркова
називають ланцюгом
з непреревним часом.
1.2.2 Дискретний ланцюг Маркова
Дискретний ланцюг
Маркова
є
випадковим стохастичним процесом,
множина станів якого є кінцевою або
рахунковою. Величину
можна трактувати як реалізацію випадкового
процесу у
-
ому випробуванні. Часто простір станів
ототожнюють з множиною невід'ємних
цілих чисел 0, 1, 2, …. Тоді знаходження
у стані
означає, що
.
Ймовірність випадкової величини
попасти у стан
,
якщо
вже знаходиться у стані
називають одно кроковою перехідною
імовірністю
і позначають
,
тобто
.
Із останнього
виразу випливає, що, у загальному випадку,
перехідні імовірності залежать не
тільки від початкового стану, але й від
моменту здіснення переходу. У тому
випадку, коли перехідні імовірності не
залежать від дискретного часу
,
то ланцюг Маркова характеризується
стаціонарними
перехідними ймовірностями.
Із елементів
можна утворити матрицю
,
яку називають
матрицею Маркова
або перехідною
матрицею. У
матриці Р
- рядок – це розподіл імовірностей
випадкової величини
за умови, що
.
У тому випадку, коли число станів кінцево,
то Р
квадратна матриця, порядок якої визначає
число станів. Імовірності
повинні задовольняти таким умовам:
,
для всіх можливих значень
та
.
Дискретний
процес Маркова повністю визначений,
якщо відомі імовірності переходів
і стан випадкової величини
.
Нехай
.
За визначенням умовної імовірності
.
Але за визначенням марковського процесу
.
Підставляючи отриманий результат у попередню формулу, отримаємо
.
Аналогічно знаходимо, що
.
Отже,
.
Якщо продовжити процес обчислень, то на передостанньому кроці отримаємо
.
(1.2)
Оскільки
,
то враховуючи те, що
і
,
отримаємо
.
Підставляючи
отримане значення
у формулу (1.2) приходимо до висновку, що
.
(1.3)
Основним математичним співвідношенням для дискретних ланцюгів Маркова є рівняння, за допомогою якого визначається перебування системи на будь-якому її k-ому кроці. Це рівняння має вигляд:
(1.4)
і називається рівнянням Колмогорова-Чепмена.
Рівняння Колмогорова-Чепмена відноситься до класу рекурентних співвідношень, що дозволяють обчислити імовірність станів марківського випадкового процесу на будь-якому кроці (етапі) за наявності інформації про попередні стани.
Частковим випадком ланцюга Маркова з неперервним часом є так звані процеси народження і загибелі.
Контрольні запитання і завдання
1. Дайте визначення випадкового процесу та наведіть приклади випадкових процесів.
2. Наведіть класифікацію випадкових процесів за видами станів і часу.
3. Що таке перехідна ймовірність?
4. Який випадковий процес називають марківським?
3.Який зміст вкладають в термін "марківський ланцюг"?
6. Коли марківський випадковий процес є однорідним?
7. В який спосіб можна задати ланцюг Маркова?
8. Яким чином можна подати модель марківського ланцюга?
9. Наведіть класифікацію множин станів марківського ланцюга.
10. Наведіть рівняння за допомогою якого визначається стан системи на будь-якому кроці.
11. Як знайти кількість крокі, які може пройти система до зупинки процесу?
12. Що розуміють під ергодичним дискретним Маркізьким ланцюгом?
13. Наведіть приклади керованих марківських ланцюгів.