705.1Возвратность цепей Маркова

Пусть — цепь Маркова с, вообще говоря, счетным числом состояний. Говорят, что состояниеi возвратно, если вероятность когда-либо вернуться в i-е состояние при условии, что в нулевой момент времени цепь была в i-м состоянии, равна единице. Запишем это более формально.

Обозначим через f_n вероятность вернуться в состояние i на n-м шаге при условии, что на предыдущих шагах возврата не произошло:

.

Тогда для возвратного состояния i справедливо

.

Введем u_n — вероятность находиться в i-м состоянии на n-м шаге:

.

Запишем производящие функции

.

Если , оба ряда сходятся, т.к.f_n, u_n ≤ 1.

Заметим, что для возвратного состояния

Легко проверить следующий факт:

.

(он вытекает из формулы полной вероятности. Вероятность вернуться в i-е состояние на n-м шаге равна вероятности впервые вернуться (за n шагов), либо вернуться за n−1 шагов и один шаг находиться в i-м состоянии и т.д.)

Отсюда следует (по формуле умножения рядов), что

т.е. .

Следовательно,

Теперь устремим z → 1. Если цепь возвратна, то F(z) → 1, а U(z) → ∞. Но при z→1 U(z) имеет вид . И наоборот, если ряд изu_n расходится, то знаменатель 1 – F(z) равен нулю, и цепь возвратна.

Доказанное нами условие носит название критерия возвратности цепей Маркова.

Следствие 1˚. Два сообщающихся состояния возвратны или невозвратны одновременно.

Доказательство. Граф:

Легко видеть, что , гдеu_r(p) — вероятность находиться в состоянии p на шаге r. Просуммировав по n, получим

.

Тогда если ряд израсходится, то ряд израсходится, и, следовательно, ряд изu_n(i) расходится. То есть, если i возвратное, то и j возвратное (и наоборот) для любых i, j.

Вывод: свойство возвратности — свойство не одного состояния, а класса сообщающихся состояний.

Можно доказать, что если состояние возвратно, то цепь посещает его бесконечное число раз за бесконечное время.

Следствие 2˚. Если цепь состоит из конечного числа сообщающихся состояний, она обязательно возвратна.

705.2Условное мат ожидание и условное распределение одного подвектора норм случ вектора относит другого подвектора

Условное распределение:

условные мат ожидания:

Условная вероятность.

P(A/B)

Условной вероятностью наступления события A, при условии события B, называется вероятность наступления события A в результате испытаний, если известно, что в это испытании произошло событие B.

Вывод формулы условной вероятности для случая равновероятных элементарных событий

Действительно, в данном испытании произошло одно из t событий, входящих в B. Все элементарные события равновероятны, следовательно, для данного испытания вероятность наступления произвольного элементарного события, входящего в B равна 1/t. Тогда по классическому определению вероятности, в данном испытании событие A произойдет с вероятностью r/t.

В общем случае доказать эту формулировку невозможно, в теории вероятности она вводится как правило. Существует лишь толкование этой формулы.

Обоснование формулы условной вероятности в общем случае.

Пусть в n_B испытаниях произошло событие B, а в n_A испытаниях произошло событие A. Найдем условную частость наступления события A при условии, что произошло событие B. Мы можем сделать это для обоснования формулы, т.к. под вероятностью наступления события понимается предел частости наступления события при условии, что серия испытаний достаточно длинная.

Условная частость

Рассматривая AB как одно событие D имеем:  с другой стороны

Рассмотрим систему событий A₁, A₂,...,A_k. Покажем, что вероятность их совместного наступления равна:

Доказательство проведем по мат индукции.

Формула равна для 2 и 3 (см. ранее)

Пусть формула верна для k-1.

Введем событие B.

P(A₁A₂...A_k-1)=P(B)

P(A₁A₂...A_k)=P(A_kB)=P(B)×P(A_kB)