Курс_лекций_по_теории_случайных_процессов

§20. Предельная и эргодическая теоремы для ПМП

20.1.Предельная теорема

Теорема 20.1. Пусть X = fX(t); Sn; t 0; n = 0; 1 : : : g ПМП, Yn = X(Sn) его вложенная марковская цепь. Предположим, что

(1)Yn положительно возвратна и ^ = f^i = mii1; i 2 Eg ее инвариантное распределение вероятностей;

fSn(j); n = 1; 2; : : : g посещений состояния j, т.е. положим Hij(t) = MiNj(t), где Nj(t) число посещений состояния j за время t. Тогда для вероятности pij(t) перехода из состояния i в состояние j за время t справедлива формула (19.12)

где S1(j) момент первого возвращения в состояние j.

Для вычисления fjj = MjS1(j) рассмотрим полумарковскую цепь Zn = (Yn; Tn). Так как время до возвращения ПМП в любое состояние равно сумме длительностей пребывания во всех состояниях до первого возвращения в рассматриваемое состояние, то

X

fjj = MjS1(j) = Mj Tn(Yn);

1 n N(j)

где N(j) случайное число скачков процесса X(t) до первого возвращения в j. Преобразуем последнее равенство, используя формулу полной вероятности и тот факт, что среднее число посещений любого состояния k вложенной марковской цепью до первого ее возвращения в фиксированное

1 n N(j)

XX

=Mj Tn(Yn)jYn = k; n N(j) PjfYn = k; n N(j)g =

Замечание о том, что инвариантные вероятности вложенной цепи ^j обратно пропорциональны среднему числу шагов цепи до возвращения в свои состояния mjj; ^j = mjj1, завершает доказательство.

Полученную в процессе доказательства теоремы связь между инвариантными распределениями положительно возвратного ПМП и его вложенной цепи сформулируем в виде следствия.

Следствие 20.1. Инвариантное (предельное, стационарное) распределение = f k; k 2 Eg положительно возвратного ПМП связано с инвариантным распределением ^ = ^k; k 2 E его вложенной марковской цепи соотношением

20.2.Эргодическая теорема

В настоящем курсе мы несколько раз обращались к эргодическим теоремам (см. разделы 10.4., 14.3., 19.4., где также были приведены общие понятия и концепция эргодических теорем). Рассмотрим теперь эргодические теоремы для ПМП. Пусть X ПМП; Sn моменты его скачков; g( ) некоторая функция на его фазовом пространстве E. Многие приложения приводят к необходимости исследовать функционалы от траекторий ПМП вида

Если, например, g(k) доход за единицу времени пребывания системы в состоянии k, то интеграл (20.5) представляет собой суммарный доход за время t, а величина t 1Gt(X( )) средний доход за единицу времени. Для индикаторной функции gA(t) = 1fAg(X(t)) интеграл (20.5) представляет собой время, проведенное процессом X в множестве состояний A, а величина t 1Gt(X( )) среднее время проведенное процессом в этом множестве за время t.

Интеграл (20.5) можно представить в виде суммы

интегралов по моментам Sn(e) возвращения в некоторое фиксированное состояние e. Если процесс X положительно возвратен, т.е. если среднее число Hee(t) возвращений Ne(t) процесса X в состояние e (которое образует процесс восстановления) за время t расходится при t ! 1 и среднее время возвращения в состояние e конечно, то ЗБЧ распространяется на ПМП,

Теорема 20.2. Пусть X неразложимый, положительно возвратный ПМП, Yn = X(Sn) его вложенная марковская цепь, и = f i; i 2 Eg инвариантное распределение процесса. Тогда при t ! 1 имеет место предельное соотношение (по вероятности и с вероятностью 1)

k2E

Доказательство. Существование предела фактически доказано предыдущими рассуждениями с использованием простого и усиленного ЗБЧ. Вычислим математические ожидания в формуле (20.6). Аналогично рассуждениям предыдущего пункта имеем

XX X

MeS1(e) = Me 4 Tn5 = Me 4 T (k) 1k(Yn)5 =

1 n N(e) 1 n N(e) k2E

Здесь ^ = f^k; k 2 E) инвариантное распределение вероятностей вложенной цепи Маркова, а

1

R

qk = (1 Qk(t))dt = MkT1(k) среднее время непрерывного пребывания процесса X в состоя-

0

нии k.

Далее обозначая через Tn(k) время n-го пребывания процесса в состоянии k аналогично (20.3) найдем

20.3.Дополнения

Вопросы для контроля.

1.Сформулируйте предельную теорему для переходных вероятностей ПМП.

2.Как связаны инвариантные вероятности ПМП и его вложенной марковской цепи?

3.Сформулируйте эргодическую теорему для аддитивных функционалов от траекторий ПМП.

Библиографические замечания.

Предельные и эргодические теоремы для ПМП являются естественным обобщением соответствующих теорем для скачкообразных марковских процессов. Здесь их доказательство проводится по той же схеме, что и для марковских процессов. Другие подходы и более подробную библиографию можно найти в [11]

§21. Полурегенерирующие процессы

21.1.Определение

Следующим обобщением понятия марковского и полумарковского процессов являются полурегенерирующие процессы. Пусть Z = fZ(t); t 0g непрерывный слева действительный случайный процесс, заданный на основном вероятностном пространстве ( ; F; P). При этом, так как в случае непрерывного множества состояний вероятности задаются на измеримых множествах, в качестве фазового пространства (E; E) рассматриваемого процесса будем рассматривать действительную прямую R1 с борелевской -алгеброй R на ней (R1; R1).

Замечание 1. Вводимые определения и результаты допускают обобщение и на более общие фазовые пространства, однако, чтобы не усложнять изложение и не затемнять существа вопроса, мы ограничимся простым случаем одномерного Евклидова пространства, опуская при этом верхний индекс “1”.

Обозначим, как и ранее, через FtZ = fZs; s tg -алгебру событий, связанных с процессом Z до момента t.

Определение 21.1. Случайный момент времени T называется марковским моментом если

Первое из этих условий означает, что момент T восстанавливается по наблюдениям за траекторией процесса “в прошлом”, т.е. до наступления самого этого (случайного) момента и, следовательно, является функционалом от траектории процесса, измеримым относительно -алгебры FTZ. Второе означает, что поведение процесса в “будущем” (после момента T ) не зависит от “прошлого” (до этого момента) при известном “настоящем” (значении процесса в рассматриваемый случайный момент времени T ).

В приложениях эти функционалы (моменты регенерации) являются обычно моментами достижения некоторого состояния (или множества состояний). Поэтому, если с вероятностью 1 существует момент регенерации, то существует последовательность таких моментов Sn, порожденных “сдвигами” траекторий процесса

Последнее соотношение означает согласованность моментов регенерации. Конечно, могут существовать, вообще говоря, и другие моменты регенерации, но в дальнейшем нас особенно будут интересовать именно согласованные. Пусть существует последовательность моментов регенерации fSng.

Определение 21.2. Полурегенерирующим процессом (ПРП) называется пара Z = f(Z(t); Sn); t

0; n = 1; 2; : : : , если выполняются следующие свойства:

(1)согласованность моментов регенерации (21.3);

(2)однородность распределений

При этом интервалы [Sn; Sn+1) называются периодами регенерации, пары f(Tn+1; Z(Sn + t)); t Tn+1g циклами регенерации, а значения Yn = Z(Sn) состояниями регенерации.

Заметим, что т.к. момент регенерации определяется с помощью некоторого функционала от траекторий процесса, то последовательность моментов, образованная с помощью сдвигов образует последовательность моментов регенерации, удовлетворяющих условию согласованности (1), поэтому это условие означает, по существу, однородность образования моментов регенерации. Второе условие означает однородность процесса во времени. Наконец, третье условие это условие существования процесса на бесконечном интервале времени, эквивалентное аналогичному условию для марковских процессов.

Таким образом, отличие полурегенерирующих процессов от марковских состоит в том, что Марковское свойство для них выполняется лишь в некоторые случайные моменты времени, а отличие от полумарковских состоит в том, что между этими моментами времени траектории процесса могут быть произвольными. В дальнейшем мы ограничимся ПРП с дискретным (не более чем счетным) множеством состояний регенерации. Интуитивно ясно и в дальнейшем будет показано, что поведение ПРП определяется его поведением на отдельном периоде регенерации, или его циклами регенерации. В частности, определим переходную вероятность ПРП как условное одномерное распределение ПРП на отдельном периоде регенерации при известном его состоянии в начальный момент периода регенерации,

В дальнейшем будет показано, что эта функция играет существенную роль при исследовании ПРП.

21.2.Примеры

Пример 1. Рассмотрим систему массового обслуживания MjGIj1j1 с пуассоновским (простейшим) входящим потоком и независимыми одинаково распределенными по произвольному закону длительностями обслуживания. Обозначим через Z(t) число требований в системе и через Sn моменты окончания обслуживания.

Ясно, что событие fSn tg определяется поведением процесса до момента t, так что условие (21.1) выполняется. При произвольном распределении времени обслуживания поведение процесса в момент времени t вообще говоря, зависит от того, сколько времени уже обслуживается к этому моменту времени обслуживаемое требование. Однако в моменты Sn окончания обслуживания оно зависит лишь от наличия требований в системе и, следовательно, условие (21.2) также выполняется и они образуют последовательность моментов регенерации. Время до следующей регенерации зависит лишь от состояния процесса в момент предшествующей, поэтому выполняется также условие (21.3), а однородность функций (21.4) следует из однородности приращений пуассоновского процесса и рекуррентности механизма обслуживания. Наконец, так как интервалы Tk между регенерациями являются положительными СВ, то

X

Sn = Tk ! 1:

k n

Таким образом, все условия определяющие ПРП выполнены, стало быть Z(t) ПРП.

Пример 2. Рассмотрим теперь систему обслуживания GIjMjnj1 с рекуррентным входящим потоком и независимыми одинаково показательно распределенными длительностями обслуживания. Обозначим через Z(t) число требований в системе. Используя рассуждения предыдущего примера в качестве упражнения 1 покажите, что процесс L(t) является ПРП.

21.3.Сопровождающие процессы

Рассмотрим некоторые процессы, связанные с полурегенерирующим процессом, поведение которых в значительной степени определяет свойства последнего. Заметим, что эти процессы аналогичны тем, которые рассматривались и для полумарковских процессов. Обозначим

^

Yn = Z(Sn); Tn = Sn Sn 1; Yn = (Tn; Yn);

N(t) = maxfn : Sn tg; X(t) = Z(SN(t)):

Свойства этих последовательностей и процессов содержатся в следующей теореме.

Теорема 21.1. Пусть Z = f(Z(t; Sn); t 0; n = 1; 2; : : : g ПРП. Тогда

(1) Xn = Z(Sn) и Yn = (Xn; Tn) цепи Маркова;

(2)N(t) = maxfn : Sn tg процесс марковского восстановления;

(3)X(t) = Z(SN(t)) полумарковский процесс,

Определение 21.3. Приведенная выше теорема позволяет дать этим процессам следующие названия.

(1)Xn = Z(Sn) вложенная цепь Маркова;

(2)(Sn 1; Sn и Tn = Sn Sn 1 периоды регенерации;

(3)Yn = (Xn; Tn) сопровождающая полумарковская цепь;

(4)N(t) = maxfn : Sn tg сопровождающий процесс марковского восстановления;

(5)X(t) = Z(SN(t)) сопровождающий ПМП.

Многие характеристики и свойства ПРП выражаются в терминах этих процессов. В частности, неконструктивное условие устойчивости (21.5) может быть выражено в конструктивных терминах равномерной регулярности сопровождающего ПМП. Обозначим через Q(t) = [Qij(t)] ПММ ПМП

X = (X(t); Sn), где

Qij(t) = PfXn = j; Tn < tj Xn 1 = ig

Справедлива теорема.

Теорема 21.2. Для устойчивости ПРП достаточно равномерной регулярности его сопровождающего ПМП, или существования таких положительных чисел a и b, что

j2E

Доказательство повторяет рассуждения, использованные при доказательстве аналогичной теоремы для ПМП.

В следующем разделе свойства сопровождающих процессов используются при вычислении одномерных распределений ПРП.

21.6.Дополнения

Вопросы для контроля.

1.Как описать множество наблюдаемых событий, связанных с поведением процесса до некоторого момента времени t.

2.Дайте определение марковского момента времени для процесса и объясните его смысл.

3.Дайте определение полурегенерирущего процесса.

4.Приведите некоторые процессы, связанные с полурегенерирующим.

5.Приведите формулу для вычисления распределений ПРП.

6.Сформулируйте предельную теорему для распределений ПРП.

7.Сформулируйте эргодическую теорему для распределений ПРП.

Упражнения.

1.Покажите, что процесс Z(t) из примера 2 есть ПРП.

2.Покажите, что Xn марковская цепь.

3.Покажите, что Yn полумарковская цепь.

4.Покажите, что N(t) процесс марковского восстановления.

5.Покажите, что X(t) = Z(SN(t)) ПМП.

Библиографические замечания.

ПРП являются естественным обобщением марковских и полумарковских процессов. Первоначально они стали появляться в научной литературе в 70-х годах прошлого столетия под различными наименованиями (ПМП с дополнительными траекториями - Климов, ПМП с несколькими точками регенерации - Рыков, Ястребенецкий), пока не утвердились как ПРП. В учебной литературе это понятие встречается, по-видимому, впервые.

Литература

[Основная]

[1]А.А. Боровков. Теория вероятностей. М.: Наука, 1986. 431с.

[2]А.В. Булинский, А.Н. Ширяев. Теория случайных процессов. М.: Физматлит: Лаборатория базовых знаний. 2003. 400с.

[3]А.Д. Вентцель. Курс теории случайных процессов. М.: Физматлит, 1975.

[4]Ю.А. Розанов. Теория вероятностей, случайные процессы и математическая статистика. М.: Физматлит, 1985.

[Дополнительная]

[5]П.П Бочаров, А.В. Печинкин. Теория массового обслуживания. М.: Изд-во Российского университета дружбы народов. 1995. 528с.

[6]Б.Л. ван дер Варден. Алгебра. М.: Наука, 1976. 648с.

[7]И.И. Гихман, А.В. Скороход Введение в теорию случайных процессов. М.: Наука, 1965. 654с.

[8]Б.В. Гнеденко Курс теории вероятностей. М.: Наука, 1988. 447с.

[9]В.А. Зорич. Математический анализ. I, II. М.: Наука, 1976.

[10]С. Карлин. Основы теории случайных процессов. М.: Мир, 1971. 536с.

[11]Джон Дж. Кемени, Дж. Лори Снелл. Конечные цепи Маркова (пер. с английского). М.: Наука, 1970. 271с.

[12]Дж. Кемени, Дж. Снелл, А. Кнепп. Счетные цепи Маркова (пер. с английского). М.: Наука, 1987. 414с.

[13]Д. Кениг, В.В. Рыков, Ф. Шмидт Теория случайных процессов. Часть I. Основные понятия. Независимость. М.: МИНиГ им. И.М. Губкина, 1988, 102с.

[14]Д. Кениг, В.В. Рыков, Ф. Шмидт Теория случайных процессов. Часть II. Процессы с независимыми приращениями, стационарные и марковские процессы. М.: МИНиГ им. И.М. Губкина, 1989, 96с.

[15]Д. Кениг, В.В. Рыков, Д. Штойян Теория массового обслуживания. М.: МИНиГ им. И.М. Губкина, 1979, 115с.

[16]Г.П. Климов Теория вероятностей и математическая статистика. М.: МГУ, 1983.

[17]Д. Кокс, В. Смит. Теория восстановления. М.: Советское радио, 1967, 299с.

[18]А.Н. Колмогоров Основные понятия теории вероятностей. (3-е изд.) М.: ФАЗИС, 1998, 144с.

[19]А.Н. Колмогоров. Цепи Маркова со счетным числом возможных состояний.// Бюлл. МГУ, секц. А, матем. мех., т.1, вып 6, (1937), 1-26. (совм. с И.Г. Петровским и Н.С. Пискуновым). См. также А.Н. Колмлгоров. Избр. труды. Математика и механика. М.: Наука, 1985, 221246.

[20]А.Н. Колмогоров. Об аналитических методах теории вероятностей.// Успехи математических наук, вып. 5 (1938), 5-41. См. также А.Н. Колмлгоров. Теория вероятностей и математичекая статистика. М.: Наука, 1986, 60-105.

[21]В.С. Королюк, А.Ф. Турбин Полумарковские процессы и их приложения. Киев: Наукова Думка, 1976, 184с.

[22]Е. Нуммелин. Цепи Маркова с общим пространством состояний.

[23]А.В. Прохоров, В.Г. Ушаков, Н.Г. Ушаков. Задачи по теории вероятностей. М.: Наука, 1986. 328с.

[24]Д. Ревюз. Цепи Маркова. (Перевод с английского В.К. Малиновского). М.: РФФИ, 1997, 431с.

[25]В.В. Рыков. Некоторые математические модели резервирования. Труды ЦНИИКА, вып. 6, ОНТИ, 1964.

[26]В.В. Рыков. Надежность технических систем и техногенный риск. М.: РГУ нефти и газа им. И.М. Губкина, 2001, 164с.

[27]R. Serfozo. Introduction to Stochastic Network. N-Y.: Springer, 1999. 300p.

[28]И.А. Ушаков. Курс теории надежности систем. М.: Дрофа, 2008, 240с.

[29]В. Феллер. Введение в теорию вероятностей и ее приложения. Т. 1 (издание второе). М.: Мир, 1964, 498с.

[30]В. Феллер. Введение в теорию вероятностей и ее приложения. Т. 2. М.: Мир, 1967, 752с.

[31]Э. Цинлар (E. Cinlar). On semi-Markov processes on arbitrary spases. Proc. Cambridge Philos. Soc. 66, 1969.

[32]Чжун Кай-Лай. Однородные цепи Маркова. М.: Мир, 1964. 425с.