5.2. Марковські ланцюги.

Ланцюг Маркова в математиці це випадковий процес, що задовольняє властивість Маркова і який приймає скінченну чи зліченну кількість значень(станів). Існують ланцюги Маркова як з дискретним так і з неперервним часом (далі розглядається дискретний випадок).

Визначення

Інтуїтивне визначення. Нехай I  - деяка скінченна чи зліченна множина елементи якої називаються станами. Нехай деякий процес в момент часу n (де n=0,1,2,3...) може перебувати в одному із цих станів, а в час n+1 перейти в деякий інший стан(чи залишитися в тому ж). Кожен такий перехід називається кроком. Кожен крок не є точно визначеним. З певними ймовірностями процес може перейти в один з кількох чи навіть усіх станів. Якщо імовірності переходу залежать лише від часу n і стану в якому перебуває процес в цей час і не залежать від станів в яких процес перебував у моменти 0, 1, ... , n-1 то такий процес називається (дискретним) ланцюгом Маркова. Ланцюг Маркова повністю задається визначенням ймовірностей p_i перебування процесу в стані в час n=0 і ймовірностей p_ij(n) переходу зі стану в стан в час n. Якщо ймовірності переходу не залежать від часу (тобто p_ij(n) однакові для всіх n) то такий ланцюг Маркова називається однорідним. Саме однорідні ланцюги Макова є найбільш важливими на практиці і найкраще вивченими теоретично.

Формальне визначення. Послідовність дискретних випадкових величин називається ланцюгом Маркова (з дискретним часом), якщо

.

Тобто майбутні значення послідовності залежать лише від теперішнього стану і не залежать від минулих. Матриця P(n), де

називається ма́трицею ймовірностей переходу на n-му кроці, а вектор , де

— початковим розподілом ланцюга Маркова.

Очевидно, матриця ймовірностей переходу є стохастичною, тобто

.

Ланцюг Маркова називається однорідним якщо:

,

або еквівалентно:

для всіх n.

Граф переходів ланцюга Маркова. Поширеним способом візуального задання ланцюга Маркова є граф переходів. Вершини цього графа ототожнюються зі станами ланцюга Маркова, а орієнтовне ребро проходить з вершини i у вершину j проходить лише у випадку коли імовірність переходу між відповідними станами нерівна нулю. Дана ймовірність переходу також позначається біля відповідного ребра.

Властивості ланцюгів Маркова

Нерозкладність. Стан j називається досяжним із стану i, якщо існує n = n(i,j) таке, що

.

Для цього факту використовується позначення .

Якщо і то використовується позначення . Дане відношення є відношенням еквівалентності. Якщо вся множина станів належить до одного класу еквівалентності то такий ланцюг Маркова називається нерозкладним. Простіше ланцюг Маркова називається нерозкладним, якщо з будь-якого його стану можна досягти будь-який інший стан за скінченну кількість кроків. Якщо з стану, що належить деякому класу можна перейти лише в інший стан цього класу то такий клас називається замкнутим.

Періодичність. Стан i має період k якщо будь-яке повернення до стану i трапляється через кількість кроків, що ділиться на k. Формально період можна визначити за допомогою наступної формули:

(де "gcd" позначає найбільший спільний дільник).

Якщо k = 1, тоді стан називається аперіодичним . В іншому випадку (k > 1), стан називаєься періодичним з періодом k. В кожному класі досяжності всі стани мають однаковий період.

Рекурентність. Стан i називається перехідним якщо, існує ненульова ймовірність, що починаючи з i, ми ніколи не повернемося в стан i. Більш формально нехай випадкова змінна T_i є часом першого повернення в стан i:

Тоді стан i є перехідним тоді й лише тоді, коли:

Якщо стан не є перехідним то він називається рекурентним. Неважко помітити, що якщо стан є перехідним то імовірність повернення в цей стан нескінченну кількість разів рівна нулю. У випадку рекурентного стану ця імовірність рівна одиниці. Тобто перехідний це такий стан, який процес в певний момент часу покидає назавжди, а рекурентний це такий стан до якого процес постійно повертається.

Визначимо також математичне очікування часу повернення:

Для перехідного стану ця величина очевидно рівна нескінченності. Для рекурентних станів {M_i} може бути як скінченним так і нескінченним. Стан i називається позитивно рекурентним, якщо M_i є скінченне; в іншому випадку i називається нуль-рекурентним.. Стан i є рекурентним тоді й лише тоді коли:

В одному класі досяжності або всі елементи є перехідними або всі елементи є рекурентними. Стан i називається поглинаючим якщо його неможливо покинути. Тобто:

Ергодичність. Стан ланцюга Маркова, що є позитивно рекурентним і аперіодичним називається ергодичним станом.

Граничний розподіл. Для однорідного ланцюга Маркова вектор називається стаціонарним розподілом якщо сума його елементів рівна π_j рівна 1 і виконуєтьс рівність

Нерозкладний ланцюг має стаціонарний розподіл тоді й лише тоді коли всі його стани є позитивно рекурентними. В цьому випадку вектор π є єдиним і виконується рівність:

Якщо ланцюг окрім того є ще й аперіодичним, тоді для всіх i і j виконується:

Такий вектор π називається розподілом рівноваги.

Граничний розподіл для ланцюга маркова зі скінченною множиною станів. У випадку скінченної множини станів π є вектор-рядком, що задовольняє рівність:

Тобто π є власним вектором матриці ймовірностей переходу, що відповідає власному значенню 1 і сума елементів кого рівна одиниці. Якщо ланцюг Маркова є нерозкладним і аперіодичним тоді існує єдиний стаціонарний вектор і крім того виконуєтьс рівність:

де 1 вектор стовпець всі елементи кого рівні 1.

Приклад. Розглянемо основні дії з ланцюгами Маркова на наступному прикладі:

Візьмемо початковий розподіл

Після першого кроку одержимо роподіл :

Після двох кроків одержиться наступний розподіл:

Далі можна продовжити за формулами:

Оскільки даний ланцюг Маркова є нерозкладний і аперіодичний існує єдиний граничний розподіл π :

Його можна знайти за наступними формулами:

З умови q₁ + q₂ + q₃ = 1,одержується єдиний результат: