Вопрос 10. Критерий возвратности. Применение критерия возвратности к одномерному случайному блужданию по целочисленной решетке.

Ответ:

Состояние i является возвратным тогда и только тогда, когда

Доказательство. Пусть v_n = f_i,iⁿ вероятность впервые вернуться из состояния i в состояние i через n шагов, тогда – вероятность любым способом вернуться в состояние i через n шагов. С учетом введенных обозначений по формуле полной вероятности можно записать: ω_n = v₀ω_n + v₁ω_n-1 + … + v_nω₀ и v₀ = 0, ω₀ = 1. Обратимся к производственным функциям:

Полученные соотношения между коэффициентами выражают равенство

W(z) – ω₀ = W(z)V(z), ω₀ = 1.

Отсюда W(z) = 1/(1-V(z)). По определению возвратности состояния i следует, что

Тогда

Но

и, таким образом, возвратность состояния i равносильно тому, что ряд расходится, где

Пример. Рассмотрим одномерное случайное блуждание по целочисленной решетке i = 0, ±1, ±2, .... За каждый период частица с вероятностью p перемещается на единицу вправо и с вероятностью q – на единицу влево. Очевидно, что а

Используя формулу Стирлинга , получаем:

то есть все состояния нулевые. Все состояния возвратны, если p=q = .

Если исходное состояние i является возвратным, то система с вероятностью 1 за бесконечно много число шагов бесконечно много раз возвращается в i. Если это состояние является невозвратным, то за бесконечное число шагов система с вероятностью 1 лишь конечное число раз побывает в состоянии i.

Вопрос 11. Предельная теорема для конечных цепей Маркова

Ответ:

Теорема Маркова. Если при некотором все элементы матрицы положительны, то существуют такие постоянные числа , , что независимо от индексов имеют место равенства , где .

Физический смысл теоремы следующий: вероятность системы находится в состоянии , практически не зависит от того, в каком состоянии она находилась в далёком прошлом.

Распределение вероятностей называют стационарным для однородной цепи Маркова , если при данном начальном распределении в последующие моменты времени распределение вероятностей остаётся неизменным при всех .

Цепь Маркова, удовлетворяющая условиям теоремы Маркова, называется эргодической, а распределение вероятностей – стационарным распределением цепи Маркова.

Для того чтобы конечная цепь Маркова была эргодической, необходимо и достаточно, чтобы она была неразложимой и апериодичной.

Вопрос 12. Понятие марковского процесса и основных его вероятностных характеристик.

Ответ:

Пусть X(t), t ≥0 – случайный процесс, принимающий значения при каждом t из множества E.

Случайная функция X(t), t ≥0, принимающая значения из множества E, называется марковским процессом с непрерывным временем и дискретным множеством значений, если для любых элементов 0 ≤ t₁≤t₂≤ … ≤t_n-1≤s≤t и значений i_1, i₂, … i_n-1, i, j ∈ E выполнено = i.}

Вероятностью перехода марковского процесса X(t) называется функция

P_ij (s,t) = P{X(t) = j/ X(s) = i}, где i,j ∈ E, 0 ≤s ≤t.

Из определения следуют свойства вероятностей перехода:

Вероятностью i-того состояния в момент времени t≥0 называется величина

p_i(t) = P{X(t) = i}, где

Очевидно, что

Марковский процесс X(t) называется однородным, если p_ij (s, s+t) = p_ij (0, t) для всех , s,t ≥0.

Интенсивностью перехода λ_ij(t)≥0 из состояния i в состояние j в момент t≥0 называется величина λ_ij(t) =