Курс_лекций_по_теории_случайных_процессов

Асимптотическая классификация состояний и цепей

Приведенные примеры показывают необходимость расширения классификацию состояний марковских цепей. Следующая ниже классификация состояний цепи опирается на асимптотическое поведение переходных вероятностей цепи, что и определяет название подраздела.

Определение 11.2. Состояние i называется возвратным, если lii = 1, и невозвратным, если lii < 1, возвратное состояние называется положительным, если mii < 1; и нулевым в противном случае, т.е. при mii = 1.

Аналогично свойствам связности (см. определение 8.1 раздела 8.1.), свойства возвратности и положительности являются свойствами классов сообщающихся состояний. Другими словами справедлива

Теорема 11.1 (2-ая солидарности). Все состояния неразложимой счетной цепи принадлежат одному типу: либо все невозвратные, либо возвратные положительные, либо возвратные нулевые, при этом все имеют один и тот же период.

Для доказательства этой теоремы заметим, что все соотношения раздела 8.3. (в которых участвуют лишь конечные суммы) переносятся на случай счетных цепей без каких-либо изменений. Кроме того, в дальнейшем нам потребуются критерии возвратности и положительности состояний.

Лемма 11.1 (Критерий возвратности). Состояние i возвратно тогда и только тогда, когда

откуда следует, что lii = 1 только в случае расходимости ряда (11.3). Заметим, что в силу положительности его членов он может либо сходиться, либо расходиться к +1

Замечание 2. Ряд (11.3) представляет собой среднее число возвращений процесса в состояние i, так что состояние возвратно тогда и только тогда, когда среднее число возвращений в него бесконечно.

Лемма 11.2 (Критерий положительности). Возвратное состояние i является положительным тогда и только тогда, когда

Доказательство опирается на ключевую теорему восстановления для дискретных процессов восстановления и повторяет рассуждения теоремы 10.5 Рассмотрим последовательность моментов возвращения Sn = Sn(e) цепи Xn в некоторое фиксированное состояние e. В силу марковости цепи эта последовательность образует дискретный процесс восстановления. Имеем

p(ijn) = PifXn = jg =

X

= PifXn = j; S1 > ng + PifXn = j; Sk n < Sk+1g =

k 1

=ep(ijn) + X X PifXn = j; Sk n < Sk+1j Sk = rgPifSk = rg =

r 1 k 1

=ep(ijn) + X X PifSk = rgPefXn r = j; 0 < Tk+1g =

r 1 k 1

= ep(ijn) + Xhr ep(ejn r);

r 1

где

XX

скачки функции восстановления процесса восстановления, образованного моментами возвращения в состояние e. Так как в силу неразложимости и возвратности цепи первое слагаемое в правой

части сходится к нулю,

ep(ijn) PfS1 > ng ! 0;

среднее время между моментами возвращения в e конечно: mee < 1, то в силу узловой теоремы Смита (для дискретного процесса восстановления с нерешатчатым распределением интервалов)

Замечая теперь, что выбор запрещенного состояния произволен и полагая e = j, в силу того, что

jnjj = ljj = 1; получим limn!1 p(ijn) = mee1. Таким образом, mee < 1 тогда и только тогда, когда

limn!1 p(ijn) > 0.

Для периодической цепи соответствующий результат получается либо путем перехода к (вложенным) подцепям, соответствующим моментам посещения подклассов, либо путем применения

Таким образом, в силу критериев возвратности и положительности состояний получаем, что все состояния неразложимой цепи принадлежат одному типу.

Следовательно, т.к. цепь никогда не покидает своих эргодических классов достаточно изучить ее поведение отдельно на множестве несущественных состояний и в каждом из эргодических классов. Принципиальным отличием, однако, счетных марковских цепей является, как уже указывалось ранее, возможность для такой цепи бесконечно долго оставаться в множестве несущественных, а также наличие классов существенных невозвратных или возвратных нулевых состояний, поведение марковских цепей на которых очень похоже. Поэтому в следующем разделе рассмотри оба этих случая вместе и начнем именно с него.

11.4.Асимптотическое поведение счетных цепей

Асимтотическое поведение счетной марковской цепи на множестве несущественных, невозвратных и возвратных нулевых состояний похоже.

Обрывающиеся и невозвратные цепи

Поведение обрывающейся цепи совпадает с поведением цепи на множестве несущественных состояний. Однако, как следует из приведенного выше примера 1, такая цепь может неограниченно долго оставаться в подмножестве несущественных состояний (соответственно распределение времени обрыва может быть несобственным). Покажем однако, что всякая счетная цепь с вероятностью 1 покидает каждое свое конечное подмножество состояний.

Теорема 11.2. Неразложимая счетная марковская цепь посетит любое из своих конечных подмножеств состояний лишь конечное число раз и покинет его с вероятностью 1.

Доказательство. Пусть X = fXn; n = 0; 1; : : : g счетная марковская цепь с пространством состояний E и A E его конечное подмножество. Сужение AX цепи X на конечное подмножество состояний A является конечной обрывающейся цепью. Действительно, в силу неразложимости цепи для найдется такое состояние i 2 A, что pi;B > 0, где B = E n A дополнение к множеству A в E. Таким образом, согласно теореме 9.4 цепь покидает множество A с вероятностью 1 и среднее время пребывания в нем, определяемое элементами фундаментальной матрицы NA, конечно (следствие 9.2 к теореме 9.1)

Возвратная нулевая цепь хотя и посетит каждое из своих состояний с вероятностью 1 бесконечное число раз, однако среднее время между этими посещениями оказывается бесконечным.

Эти обстоятельства приводят к тому, что для таких цепей не выполняется эргодическая теорема, что делает невозможным их статистический анализ. Поэтому при изучении счетных цепей основное внимание уделяется изучению возвратных положительных цепей

Возвратность

Изучение возвратных цепей мы начнем с общего для них всех свойства бесконечности числа посещений каждого из своих состояний, а затем рассмотрим существенные различия для нулевых и положительных цепей.

Теорема 11.3. Счетная возвратная марковская цепь посещает каждое из своих состояний бесконечное число раз.

Доказательство опирается на закон 0 или 1 Бореля и почти дословно повторяет рассуждения аналогичной теоремы для конечных цепей Маркова. Читателю предлагается провести доказательство в качестве упражнения 1.

Нулевые цепи

Для нулевых цепей мы покажем, что переходные вероятности сходятся к нулю (что и дало им соответствующее наименование).

Теорема 11.4. Переходные вероятности счетной возвратной нулевой марковской цепи сходят-

ся к нулю, т.е.

p(ijn) ! 0 при n ! 1:

Доказательство повторяет рассуждения соответствующей теоремы для конечных марковских цепей и использует ключевую теорему Смита для процессов восстановления с бесконечным средним временем между восстановлениями. Читателю предлагается провести доказательство в качестве упражнения 2.

Таким образом, т.к. предельная вероятность интерпретируется как доля времени, проведенного цепью в том или ином из своих состояний, доказанная предельная теорема показывает, что для нулевых возвратных цепей эта доля (частота) равна нулю, хотя каждое состояние и посещается бесконечное число раз. Такой характер поведения цепи возможен ввиду бесконечности числа его состояний.

Положительно возвратные цепи

В полном объеме предельные и эргодические теоремы переносятся только на возвратные положительные цепи. Для этих цепей частота посещения состояний оценивает их инвариантные (предельные) вероятности.

Теорема 11.5. Переходные вероятности счетной положительно возвратной апериодической марковской цепи сходятся к пределу, не зависящему от начального состояния и равному величине, обратно пропорциональной среднему времени возвращения в это состояние, т.е.

Доказательство использует те же самые рассуждения, что и доказательство соответствующей теоремы для конечных марковских цепей и опирается на ключевую теорему Смита для дискретных процессов восстановления. Читателю предлагается провести доказательство в качестве упражнения 3.

Замечание 3. Для периодической цепи аналогично случаю конечных цепей такая сходимость имеет место по подпоследовательности или в среднем.

Изложенные результаты об асимптотическом поведении переходных вероятностей неразложимой марковской цепи суммируем с помощью следующей теоремы.

Теорема 11.6 (Феллер). Пусть X = fXn; n = 1; 2; : : : g неразложимая счетная марковская цепь. Тогда

(а) для невозвратной или возвратной нулевой цепи

Доказательство. Внимательный анализ предельной теоремы 10.5 из § 10.3. показывает, что и эта теорема также переносится на случай счетных положительно возвратных марковских цепей (упражнение 2).

На положительно возвратные счетные марковсие цепи распространяются также эргодические теоремы.

Теорема 11.7. Для аддитивных функционалов от траекторий счетной неразложимой положительно возвратной марковской цепи справедливо соотношение

Доказательство совпадает с доказательством соответствующей теоремы для случая конечных цепей, которая рекомендуется в качестве упражнения 3.

Замечание 4. Обобщение эргодической теоремы на случай счетных возвратных нулевых марковских цепей требует определенной аккуратности.

11.5.Критерии положительной возвратности

Ввиду важности свойства положительной возвратности цепи, определение которого не достаточно эффективно для проверки, желательно иметь достаточно простые (легко проверяемые) условия положительной возвратности. Т.к. такие условия используются обычно при вычислении инвариантных вероятностей, то и формулируются они обычно в терминах решений системы уравнений равновесия (СУР). Приведем здесь без доказательства два таких критерия.

Теорема 11.8 (Критерий Фостера). Для того, чтобы неприводимая апериодическая цепь была положительно возвратна необходимо и достаточно существования нетривиального абсолютно сходящегося решения СУР, т.е. такого набора чисел = faj; j 2 Eg, что

XX

Теорема 11.9 (Критерий Мустафы). Для того, чтобы неприводимая апериодическая цепь была положительно возвратной необходимо и достаточно существование положительного числа и набора неотрицательных действительных чисел xi; i 2 E таких, что для некоторого состояния i0

X

pijxj < xi при i i0;

j2E

X

pijxj < 1 при i < i0:

j2E

Замечание 5. Исследование марковских цепей с “общим” фазовым пространством требует привлечения нового математического аппарата и новых подходов, которым в настоящем курсе нет возможности уделять внимание

11.6.Дополнения

Вопросы для контроля.

1.Дайте определение марковской цепи со счетным множеством состояний?

2.Приведите примеры марковских цепей со счетным множеством состояний.

3.Дайте определение МВП марковской цепи со счетным множеством состояний, какими свойствами она обладает?

4.Какие состояния марковской цепи со счетным множеством состояний называются:

(а)несущественными,

(б) существенными,

(в) поглощающими,

(г) периодическими (дайте определение периода),

(д)непериодическими?

5.Какие состояния марковской цепи со счетным множеством состояний называются:

(а) возвратными,

(б) невозвратными,

(в) положительными,

(г)нулевыми?

6.Сформулируйте теорему солидарности для марковской цепи со счетным множеством состо-

яний.

7.Сформулируйте критерий возвратности марковской цепи со счетным множеством состояний.

8.Каким образом выясняется, что состояние нулевое?

9.Опишите поведение на множестве несущественных состояний для

(а) обрывающейся

(б) невозвратной

(в) возвратно-нулевой

марковской цепи

Упражнения.

1.Докажите теорему 11.3.

2.Докажите теорему 11.6.

3.Докажите теорему 11.7.

Библиографические замечания.

Матричный подход к цепям со счетным пространством состояний последовательно развивается, например, в [12]. Там же можно подробнее ознакомиться с пространствами векторов и матричными преобразованиями.

Примеры, показывающие особенности поведения марковских цепей с бесконечным фазовым пространством, предложены автором.

Топологическую классификацию Колмогорова расширил Феллер. Асимптотическая классификация приведена по Феллеру.

Заметим, что если положительная возвратность конечных цепей является следствием неразложимости, то для бесконечных цепей она является дополнительным предположением.

Глава 4.

Скачкообразные марковские и полумарковские процессы

§12. Скачкообразные марковские процессы

12.1.Определение

В отличие от предыдущей главы в настоящей рассматриваются случайные явления, наблюдаемые непрерывно во времени. Однако, по прежнему предполагается, что они принимают значение в дискретном не более чем счетном фазовом пространстве. Как и ранее непрерывные по времени наблюдения обозначаются через X = fX(t); t 2 T g, где T = R+ = [0; 1) или T = R = ( 1; 1), а множество возможных наблюдений по прежнему будем обозначать буквой E и отождествлять с целыми числами E = f0; 1; 2; : : : g.

Итак рассмотрим случайный процесс (семейство с.в.) X = fX(t); t 2 R+g, заданный на вероятностном пространстве ( ; F; P), зависящий от параметра t 2 R+, который интерпретируется как время. Содержательно, как и ранее, процесс называется марковским, если он удовлетворяет марковскому свойству, т.е. если при фиксированном “настоящем” его поведение в “будущем” не зависит от “прошлого”. Однако, в отличие от дискретного времени, в случае непрерывного времени это содержательное определение требует теперь более аккуратной математической формализации. Рассмотрим возрастающую последовательность моментов времени t1 < t2 < < tn < s < s + t.

Определение 12.1. Процесс X = fX(t); t 2 R+g называется марковским, если для любой возрастающей последовательности моментов времени t1 < t2 < < tk < s < t 2 R+ и

8 i1; : : : ; in; i; j 2 E

PfX(s + t) = j X(t1) = i1; : : : ; X(tn) = in; X(s) = ig =

(12.1)

=PfX(s + t) = j X(s) = ig = pij(s; s + t):

Марковский процесс называется однородным, если pij(s; s + t) зависит только от разности временных аргументов,

При этом функции pij(t) называются вероятностями переходов или переходными вероятностями

марковского процесса, а составленная из них матрица

P (t) = [pij(t)]i;j2E

матрицей вероятностей переходов (МВП).

Замечание 1. Слово “однородная” в дальнейшем будем опускать, т.к. никаких процессов кроме однородных рассматривать не будем.

Замечание 2. Иногда при определении марковского свойства и марковского процесса используется на первый взгляд более общее, но на самом деле эквивалентное понятие прошлого процесса. Введем с этой целью на основном вероятностном пространстве ( ; F; P) семейство (поток)-алгебр FtX процесса X до момента времени t,

FtX = f! : X(s) = k; s t; k 2 Eg:

Пример 2. Счетчик Гейгера–Мюллера. Зафиксируем на оси времени (см. рис. 12.1) моменты регистрации радиоактивных частиц счетчиком Гейгера-Мюллера: Sn; n = 1; 2; :::. Тогда процесс

N(t) = maxfn : Sn tg

описывает число зафиксированных за время t частиц и представляет собой ступенчатую функцию со ступеньками высоты 1 и случайной глубины Tn = Sn Sn 1, изображенную на рис. 12.1.

N(t)

n

n -1

t

Рис. 12.1. Траектория процесса N(t) из примера 2.

Благодаря свойствам радиоактивного излучения количества частиц на непересекающихся интервалах времени являются независимыми с.в., что и обеспечивает марковское свойство для рассматриваемого процесса.

Замечание 4. Рассмотренная модель имеет широкие обобщения: моменты Sn могут представлять собой моменты поступления вызовов на станцию скорой помощи или на автоматическую телефонную станцию, моменты отказов некоторого технического устройства или моменты пересечения перекрестка потоком машин. Всякая такая возрастающая последовательность точек на числовой оси fSn; n = 0; 1; 2:::g называется точечным процессом, а соответствующий процесс N(t) = fN(t); t 2 Rg его счетчиком. Таким образом, точечные процессы и их счетчики представляют собой математическую модель для исследования широкого класса реальных явлений.

Пример 3. Система массового обслуживания. Рассмотрим некоторую систему обслуживания, скажем, автоматическую телефонную станцию (АТС), магазин или автозаправочную станцию (АЗС), на которую в моменты Sn; n = 0; 1; 2; : : : поступают некоторые требования (вызовы на АТС, покупатели в магазине или автомашины на АЗС). Система состоит из одного или нескольких обслуживающих устройств (приборов) – линий связи, продавцов, бензоколонок и т.п. Кроме того, система может содержать некоторое конечное или бесконечное число мест для ожидания (площадка на АЗС, зал в магазине). Каждое из поступающих требований занимает любой из свободных приборов, если они есть, на случайное время, или становится в очередь при наличии свободных мест для ожидания, или теряется при их отсутствии. Обслуженные требования покидают систему.

Тогда наблюдения X = fX(t); t 2 Rg за числом требований в системе (обслуживаемых и ожидающих) представляет собой скачкообразный случайный процесс, траектории которого изображены на рис. 12.2. При определенных предположениях (см. разд. 17.3., 17.4.) такой процесс является марковским.

X (t)

t

Рис. 12.2. Траектория процесса X(t) к примеру 3

12.3.Конечномерные распределения. Теорема Колмогорова

Фиксируем возрастающий набор моментов времени t1 < t2 < < tn и рассмотрим совместное распределение случайного вектора (X(t1); : : : ; X(tn)). В силу дискретности с.в. X(ti) его совместное распределение можно представить в виде

pt1:::tn (i1:::in) = PfX(tk) = ik; k = 1; ng:

Такое распределение согласно определению 2.1 § 2.1. является конечномерным распределением процесса.

Теорема 12.2. К.м.р. марковского процесса определяется через начальное распределение = fai = PfX(0) = ig; i 2 Eg и МВП P (t) = [pij(t)]i;j2E соотношением

Обратно, для любого распределения вероятностей = fai; i 2 Eg на E и стохастической матрицы P (t) существует марковский процесс X = fX(t); t 2 R+g, начальное распределение которого совпадает с , а МВП с P (t).

Доказательство. Используя формулу полной вероятности и марковское свойство, имеем

pt1:::tn (i1:::in) = PfX(tk) = ik; k = 1; ng =

=PfX(tn) = in X(tk) = ik; k = 1; n 1gPfX(tk) = ik; k = 1; n 1g =

=pin 1in (tn tn 1)PfX(tk) = ik; k = 1; n 1g = =

=pin 1in (tn tn 1)pin 2in 1 (tn 1 tn 2) : : : pi2i1 (t2 t1)pi1 (t1) =

что доказывает (12.4).

Для доказательства обратного утверждения рассмотрим в качестве множества элементарных событий основного вероятностного пространства ( ; F; P) множество траекторий искомого процесса (ступенчатых функций) x( ) : T ! E, в качестве -алгебры измеримых множеств - замыкание цилиндров Ct(i) = fx(:) : x(t) = ig,

F = fCt(i) : t 2 R+; i 2 Eg;

наконец, в качестве меры P продолжение меры, задаваемой на цилиндрах Ct1:::tn (i1:::in) = fx(:) :

x(tk) = ik; k = 1; ng формулой (12.4). Тогда процесс, определяемый на ( ; F; P) координатным отображением

Xt(!) = Xt(x(:)) = x(t)