Санкт-Петербургский Государственный Электротехнический Университет «ЛЭТИ» Кафедра Биотехнических Систем

к.т.н., доц. Пустозеров Евгений Анатольевич

ТЕОРИЯ СЛУЧАЙНЫХ ПРОЦЕССОВ

Лекция 10 – Случайные блуждания как марковский процесс

ПРЕДЕЛЬНЫЕ ВЕРОЯТНОСТИ СОСТОЯНИЙ ЦЕПИ МАРКОВА

Вероятности перехода в цепи Маркова в пределе сходятся к некоторому вектору π:

ПРЕДЕЛЬНЫЕ ВЕРОЯТНОСТИ СОСТОЯНИЙ ЦЕПИ МАРКОВА

Вероятностями состояний называются:

если этот предел существует и не зависит от p(0). Компоненты π находятся из системы уравнений:

ПРЕДЕЛЬНЫЕ ВЕРОЯТНОСТИ СОСТОЯНИЙ ЦЕПИ МАРКОВА

Пример. Рассмотрим марковскую цепь с двумя состояниями и найдем с помощью вероятностей состояний p(∞):

Составим систему уравнений:

Решая ее, получим:

ОДНОМЕРНЫЕ СЛУЧАЙНЫЕ БЛУЖДАНИЯ С ПОГЛОЩАЮЩИМИ КОНЦАМИ

Пусть даны вероятности перехода p, q и число состояний N в следующей модели случайных блужданий:

В состояниях 0 и N вероятности перехода в них же равны 1. Вероятность поглощения в N при старте из i рекуррентно выражается:

ОДНОМЕРНЫЕ СЛУЧАЙНЫЕ БЛУЖДАНИЯ С ПОГЛОЩАЮЩИМИ КОНЦАМИ

Решение этого рекуррентного соотношения:

Получаем:

ОДНОМЕРНЫЕ СЛУЧАЙНЫЕ БЛУЖДАНИЯ С ПОГЛОЩАЮЩИМИ КОНЦАМИ

Вероятность поглощения в 0 при старте из i аналогичным образом рекуррентно выражается:

В явном виде (из соображений симметрии):

ОДНОМЕРНЫЕ СЛУЧАЙНЫЕ БЛУЖДАНИЯ С ПОГЛОЩАЮЩИМИ КОНЦАМИ

Математическое ожидание количества шагов до поглощения на одном из концов (при старте из состояния i) выражается рекуррентным соотношением:

Оно имеет решение:

ПОЛУБЕСКОНЕЧНЫЕ ОДНОМЕРНЫЕ СЛУЧАЙНЫЕ БЛУЖДАНИЯ

Полубесконечные одномерные случайные блуждания описываются следующей моделью блужданий:

То есть, аналогично случайным блужданиям с поглощением

при N=∞.

ПОЛУБЕСКОНЕЧНЫЕ ОДНОМЕРНЫЕ СЛУЧАЙНЫЕ БЛУЖДАНИЯ

Все• характеристики полубесконечных случайных блужданий находятся предельным переходом при

Вероятность бесконечных блужданий выражается: