90) Періодичні ланцюги.

Періодичний стан — це такий стан ланцюга Маркова, яке відвідується ланцюгом тільки через проміжки часу, кратні фіксованому числу.

Період стану

Нехай дано однорідний ланцюг Маркова з дискретним часом   з матрицею перехідних ймовірностей  . Зокрема, для будь-якого  , матриця   є матрицею перехідних ймовірностей   кроків. Розглянемо послідовність  . Число

,

де   позначає найбільший спільний дільник, называється періодом стану  .

Періодичні стани і ланцюги

• Якщо  , то стан   називається періодичним. Якщо  , то стан   називається аперіодичним.

• Періоди сполучених станів збігаються:

.

Таким чином, період будь-якого нерозкладного класу ланцюга Маркова визначений і дорівнює періоду будь-якого свого представника. Відповідно, класи поділяються на періодичні та фперіодичні.

• Якщо ланцюг Маркова нерозкладний, то періоди всіх його станів збігаються і загальне значення, яке приймається ними, називається періодом ланцюга. Ланцюг називається періодичним, якщо його період більше одиниці, і аперіодичним в зворотному випадку.

91) Загальний марковський процес (Ланцюг Маркова з неперервним часом).

Визначення

Сімейство дискретних випадкових величин    називається ланцюгом Маркова (неперервним часом), якщо:

 .

Ланцюг Маркова з неперервним часом називається однорідним, якщо:

 .

92) Гранична поведінка перехідних ймовірностей ланцюга Маркова.

Стан i називається перехідним якщо, існує ненульова ймовірність, що починаючи з i, ми ніколи не повернемося в стан i. Більш формально нехай випадкова змінна T_i є часом першого повернення в стан i:

Тоді стан i є перехідним тоді й лише тоді, коли:

Якщо стан не є перехідним то він називається рекурентним. Неважко помітити, що якщо стан є перехідним то імовірність повернення в цей стан нескінченну кількість разів рівна нулю. У випадку рекурентного стану ця імовірність рівна одиниці. Тобто перехідний це такий стан, який процес в певний момент часу покидає назавжди, а рекурентний це такий стан до якого процес постійно повертається.

Визначимо також математичне очікування часу повернення:

Для перехідного стану ця величина очевидно рівна нескінченності. Для рекурентних станів   може бути як скінченним так і нескінченним. Стан i називається позитивно рекурентним, якщо M_i є скінченне; в іншому випадку i називається нуль-рекурентним.. Стан i є рекурентним тоді й лише тоді коли:

В одному класі досяжності або всі елементи є перехідними або всі елементи є рекурентними. Стан i називається поглинаючим якщо його неможливо покинути. Тобто:

93) Гілчастий процес.

Ветвящийся процесс — это случайный процесс, описывающий широкий круг явлений, связанных с размножением и превращением каких-либо объектов.

Основным аналитическим аппаратом ветвящихся процессов являются производящие функции:

94) Алгебраїчний підхід вивчення скінченних ланцюгів Маркова.

95)