Теорема 1(про розбиття на класи еквівалентності)

Множина станів Е для ланцюга Маркова може бути представлена в наступному вигляді , де Е- клас еквівалентності усіх істотних станів , а Е_і- це класи істотних станів, що сполучаються, Е₀- класи неістотних станів. Але ці стани не перетинаються .

Ланцюг Маркова всі стани якого сполучаються називається незвідним.

Нехай (6)

Це ймовірність того , що ланцюг, який вийшов з і-того стану вперше повернеться до нього на n – ому кроці, тоді ймовірність того, що ланцюг , що вийшов з n-ого стану знову коли – небудь повернеться до нього буде визначатися як сума ймовірностей (7).

Стан х_і називається рекурентним, якщо сума ймовірностей F_i=1.

i-тий стан називається не рекурентним, якщо F_i<1.

Якщо в початковий момент ланцюг перебував в і-тому стані, то називається часом першого повернення в стан х_і.

Стан х_і називається додатньорекурентним, якщо він є рекурентним і існує математичне сподівання .

Стан х_і називається рекурентнонульовим, якщо математичне сподівання не існує.

Теорема 2

Нехай стан хі є рекурентним ,тоді і лише тоді ,коли і і-тий стан не є рекурентним,тоді

і-тий стан називається періодичним з періодом d,якщо d визначається

d=НСД{n: >0}

Теорема3(солідарності)

Класи станів що сполучається

1.Якщо 1 стан є рекурентним то і всі стани будуть рекурентними.

2.Якщо 1 стан є рекурентним нульовим тоді усі стани будуть також рекурентно нульовим .

3.Якщо 1 стан є рекурентно додатні то всі стани будуть рекурентно додатні.

4.Якщо 1 стан є періодичним з періодом d>1тоді всі стани також будуть мати той самий період.

Якщо ланцюг Маркова є незвідним і хоча б при його станів має період ,тоді всі стани ланцюга мають цей ж період і його називається періодом ланцюга.

Якщо період d=1 ,то ланцюг називається періодичним.

**********************************************Тема 5

Теорема 4

Простір станів Е ланцюга Маркова який є незвідним з періодом α>1 можна подати у вигляді розбиття на α підмножин U U…. (10). В свою чергу дані підмножини не мають спільних елементів і до того ж ланцюг Маркова за один крок переходить з в і з останього

При розб. (10) такі класи називаються циклічними підкласами ланцюга Маркова з дискретним часом.

Будемо позначати ергот називається ергодичним якщо існує

Розподіл називається стаціонарним якщо він задов. Систему рівнянь:

,

Позначається якщо стац. Ергот розподіл співпадає то через .

Теореми які дають умови існування ергодичного розподілу для скінчених ланцюгів Маркова.

Теорема 4

Нехай ланцюг Маркова (12), тоді (12) є умова

необхідна і достатня для існування ергод розподілу при цьому цей розподіл співпадає із стаціонарним розподілом.

Теорема 5

Якщо дискретний ланцюг Маркова є незвідний, скінченний, неперіодичний, то для нього існує ергодичний розподіл який буде єдиним стац розподіл і елементи розподілу будуть визначатися = (13) для будь –якого і

Теорема 6

Для того щоб ланцюг був ергодичним <->щоб цей ланцюг був незвідним , неперіодичним та існував такий стан що виконується умова при цьому єдиний стаціонарний розподіл буде співпадати із ергодичним.

Теорема 7

Якщо ланцюг Маркова є незвідним, неперіодичним, такий що для деякого стану j та для деякого виконується умова тоді існує ергодичний розподіл і він буде співпадати з єдиним стаціонарним і елементарним розп буде визначатися як = (15)

????????

Нехай задано визн ймовірнісний простір, деяка числова множина Т, x=(x1,xn)- скінченна або злічення множина станів сумісний розподіл випадкового процесу . Випадковий процес з неперервним часом називається ланцюгом Маркова з неперервним часом якщо для будь-якого , виконується властивість Маркова

(2)

Надалі елементи множини х будемо ототожнювати з їх номерами, тобто множиною значень ланцюга Маркова з неперервним часом, є цілі невідємні числа.

Функція яка має каст. В (3) назив. перехідн ймовірн ланцюга Маркова, якщо для них перехідна цмовірн не залежить від самих моментів часу S,t а залежить від їх різниці (4) однор. л М

Якщо (5) –перехідні ймовірн одн л Маркова

Позн - матриця перехідних ймовірн л Маркова з непер