Курс_лекций_по_теории_случайных_процессов

Напомним для сравнения среднюю длительность mс восст. безотказной работы системы горячего дублирования ( = 1) с восстановлением из примера 15.1

Таким образом, коэффициент

= = среднее время работы ;

среднее время ремонта

определяет эффективность восстанавливаемых систем по отношению к невосстанавливаемым.

17.3.Система Эрланга MjMjnj0

Рассмотрим систему обслуживания из примера 3 раздела 12.2. с пуассоновским входным потоком интенсивности ; n обслуживающими приборами без мест для ожидания. Длительности обслуживания распределены показательно

B(t) = 1 e t:

Обозначим через X(t) число занятых приборов в момент времени t. Благодаря марковскому свойству пуассоновского потока (см. раздел 17.1.) и отсутствию памяти у показательного распределения (см. упражнение 2 в § 13) этот процесс является марковским. Для вычисления его интенсивностей переходов заметим, что переход из состояния k в состояние k + 1 может произойти в результате одного из бесконечного семейства несовместимых событий:

поступления требования и не завершения обслуживания ни одного из обслуживаемых требований, либо

поступления двух требований и завершения обслуживания одного из обслуживаемых требований, и т.д.

Рассматривая эти события за малый промежуток времени h не трудно подсчитать, что вероятности всех событий в сумме, кроме первого бесконечно малы по сравнению с длиной этого промежутка. Аналогичные рассуждения справедливы для вычисления вероятности перехода из k состояния в состояние k 1. Таким образом вычисляя интенсивности переходов процесса за малое время имеем

следовательно, k = . Аналогично,

PfX(t + h) = k 1jX(t) = kg =

Таким образом, k = k . Не трудно видеть что остальные интенсивности равны нулю, и, стало быть, рассматриваемый процесс является процессом рождения и гибели. В качестве упражнения 5 предлагается выписать дифференциальные уравнения Колмогорова и вычислить стационарные вероятности системы Эрланга.

17.4.Система MjMj1j1

Рассмотрим теперь систему массового обслуживания из примера 3 раздела 12.2. c пуассоновским входным потоком интенсивности , неограниченным количеством мест для ожидания и одним обслуживающим прибором с показательным распределением длительности обслуживания

B(t) = 1 e t:

В упражнениях 6 и 7 предлагается провести исследование этой системы

17.5.Дополнения

Вопросы для контроля.

1.Дайте определение процесса чистого рождения.

2.Дайте определение процесса чистой гибели.

3.Дайте определение пуассоновского процесса.

Упражнения.

1.Проверьте формулу (17.1).

2.Покажите эквивалентность определений 4.3 и 17.1

3. Выпишите уравнения для вероятностей состояний процесса чистой гибели при k =; pk(0) = kn. Вычислите распределение времени до поглощения.

4.Процесс Юла (чистого размножения) частиц начинается в момент t = 0 с возникновения одной частицы. Каждая частица в промежутке времени (t, t + t) с вероятностью t + o( t) порождает новую частицу независимо от уже имеющихся. Найти вероятность того, что спустя время t будет n частиц.

5.Выпишите дифференциальные уравнения Колмогорова и вычислить стационарные вероятности для системы Эрланга.

6.Покажите, что если X(t) число требований в системе MjMj1j1, то X(t) ПРГ и вычислите его интенсивности рождения и гибели.

Указание. Воспользоваться независимостью событий в системе, а для вычисления интенсивностей переходов сравнить вероятности событий в системе за малое время h

=e h(1 e h) + o(h) = h:

7.Выписать дифференциальные уравнения для системы MjMj1j1 и проверить условие положительной возвратности. Вычислить предельные вероятности.

8.Вычислите среднюю длину очереди в системе MjMj1j1

Задачи.

1. Докажите формулу Литтла для системы MjMj1j1:

Q = w;

где Q – средняя длина очереди, w – среднее время ожидания начала обслуживания, – интенсивность поступающего потока заявок.

Библиографические замечания.

В этом параграфе приведены простейшие примеры применения ПРГ, которые можно найти в многочисленных учебниках и монографиях.

§ 18. Полумарковские процессы

18.1.Определение

Согласно результатам раздела 13.3. время пребывания скачкообразного марковского процесса в любом из его состояний i имеет показательное распределение

Fi(t) = 1 e it;

а вероятности переходов в моменты скачков выражаются через интенсивности переходов ij в виде

qij = ij :

i

Первое из этих ограничений часто оказывается неприемлемым в различных приложениях. Обобщим поэтому понятие скачкообразного марковского процесса, предположив, что марковское свойство имеет место только в случайные моменты времени Sn скачков процесса. Для определенности будем полагать траектории процесса непрерывными слева. Рассмотрим непрерывный слева скачкообразный случайный процесс X = fX(t); t 0; Sn; n = 1; 2; g с моментами скачков S0 = 0; Sn; n = 1; 2; : : : с дискретным (не более, чем счетным) пространством состояний E = f0; 1; : : : g. Для описания “прошлого” процесса X удобно воспользоваться понятием потока-алгебр FtX, связанных с поведением процесса до момента времени t,

FtX = fX(s); s tg:

Замечание 1. Заметим, что в силу определения “прошлого” для непрерывного слева процесса его значение в каждый момент времени t принадлежит -алгебре прошлого fX(t)g 2 FtX.

Определение 18.1. Непрерывный слева скачкообразный случайный процесс X с дискретным пространством состояний E = f0; 1; : : : g, для которого будущее не зависит от прошлого при известном настоящем в моменты скачков,

называется полумарковским процессом (ПМП).

Интуитивно понятно и в дальнейшем будет строго показано, что для описания динамики ПМП достаточно знать его поведение на отдельном интервале между скачками. Обозначим поэтому через Tn = Sn Sn 1 интервалы между скачками и определим функцию

Эта функция называется переходной вероятностью ПМП и содержательно представляет собой вероятность того, что процесс, оказавшийся непосредственно после скачка в состоянии i проведет в нем время не большее, чем t, и в момент следующего скачка перейдет в состояние j, другими словами она представляет собой вероятность перехода из состояния i в состояние j за один шаг за время не большее, чем t.

18.2.Полумарковская матрица и ее свойства

Определение 18.2. Матричная функция Q(t) = [Qij(t)]i;j2E называется полумарковской матрицей (ПММ).

Рассмотрим ее свойства.

Теорема 18.1. Элементы полумарковской матрицы обладают следующими свойствами:

j2E

Доказательство этих свойств, которые вытекают непосредственно исходя из определения элементов полумарковской матрицы провести самостоятельно в качестве упражнения 1.

Заметим, что функция Qi(t) представляет собой распределение времени пребывания в состоянии i.

18.3.Процессы, связанные с полумарковскими

Наряду с исходным полумарковским процессом f(X(t); Sn); t 0;

n = 1; 2; : : : g рассмотрим некоторые связанные с ним последовательности и процессы:

Yn = X(Sn),

Zn = (Yn; Tn),

N(t) = maxfn : Sn tg.

Заметим, что при этом X(t) = X(SN(t)) = YN(t). Введенные процессы играют существенную роль при исследовании полумарковских процессов.

Рассмотрим сначала двумерную последовательность

fZng = f(Yn; Tn); n = 1; 2; : : : g

c дискретной первой компонентой Yn = X(Sn) и непрерывной второй Tn = Sn Sn 1. Можно показать (см. упражнение 2.), что последовательность Zn представляет собой марковскую цепь. Покажем, что переходная вероятность этой цепи не зависит от второй (непрерывной) ее компоненты. Пусть C = (j; [0; t]), тогда по свойству полумарковских процессов, так как Tn принадлежит прошлому процесса X до момента Sn; Tn 2 FSn ,

Q(z; C) = PfZn+1 2 Cj Zn = zg =

=PfX(Sn+1) = j; Tn+1 < tj Yn = i; Tn = xg =

=PfYn+1 = j; Tn+1 < tj Yn = ig = Qij(t):

~

Определение 18.3. Двумерная марковская цепь с фазовым пространством E = E R+ называется полумарковской, если ее переходные вероятности не зависят от второй координаты.

Не сложно также показать (см. упражнение 3), что последовательность Yn образует марковскую цепь, которая представляющая собой последовательность состояний процесса в моменты скачков.

Определение 18.4. Марковская цепь Yn называется вложенной марковской цепью ПМП.

Обозначим через P = [pij]i;j2E вероятности переходов этой марковской цепи. Ясно, что они выражаются через элементы полумарковской матрицы в виде

Часто бывает полезно вычислить такую характеристику, как распределение времени пребывания в состоянии i при условии, что в следующий момент процесс перейдет в состояние j

Fij(t) = PfTn < tjXSn 1 = i; XSn = jg =

Теперь мы можем показать, что полумарковский процесс fX(t); t 0g восстанавливается по своей ПММ Q(t).

Теорема 18.2. Полумарковский процесс fX(t); t 0g восстанавливается по своей ПММ Q(t).

Доказательство. Действительно, известно, что марковская цепь восстанавливается по своей переходной вероятности (В курсе этот факт был доказан только для цепей с конечным или счетным фазовым пространством; однако он имеет место и в общем случае и доказывается аналогично путем построения семейства согласованных к.м.р. соответствующей последовательности). С другой стороны справедливо представление

X

X(t) = Yn1fSn t<Sn+1g; n 0

которое показывает, что ПМП fX(t); t 0g однозначно восстанавливается своей полумарковской цепью fZn = (Xn; Tn); n = 1; 2; : : : g.

18.4.Классификация состояний ПМП

Определение 18.5. Состояние i называется мгновенным, если Qi(t) = 1 для всех t > 0. Состояние i называется устойчивым, если Qi(+0) < 1. Состояние i называется поглощающим, если Qi(t) = 0 для всех t > 0.

Определение 18.6. ПМП называется устойчивым, если

Pf lim Sn = 1g = 1; (18.5)

n!1

т.е. моменты скачков уходят в бесконечность с вероятностью 1.

Устойчивость ПМП обеспечивает ему ряд достаточно “хороших” свойств, в том числе выполнимость предельных и эргодических теорем. Для проверки устойчивости процесса можно воспользоваться критерием устойчивости, но сначала введем понятие равномерной регулярности ПМП

Определение 18.7. ПМП называется равномерно регулярным, если существуют такие числа a и b, что выполняется соотношение

Содержательно это условие означает, что процесс в каждом состоянии проводит положительное время с положительной вероятностью.

Теорема 18.3 (Критерий устойчивости). Для устойчивости ПМП достаточно его равномерной регулярности.

Доказательство. Моменты скачков равномерно регулярного ПМП можно мажорировать снизу

^

последовательностью биномиально распределенных с.в. Sn с распределением

которая расходится с вероятностью 1. Действительно,

01

Дальнейшая классификация состояний ПМП определяется поведением его вложенной марковской цепи.

Определение 18.8. ПМП называется неразложимым, возвратным, невозвратным, положительным, нулевым, если соответствующими свойствами обладает его вложенная марковская цепь.

18.5.Дополнения

Вопросы для контроля.

1.Дайте определение ПМП.

2.Чем вызвана необходимость изучения ПМП?

3.Что называется ПММ и каковы ее свойства?

4.Дайте определение вложенной в ПМП марковской цепи и вложенной полумарковской цепи.

5.Дайте определение мгновенного, устойчивого и поглощающего состояний ПМП.

6.Дайте определение устойчивого ПМП.

7.Приведите критерий устойчивости ПМП.

Упражнения.

1.Докажите теорему 1.

2.Докажите, что Zn марковская цепь.

3.Докажите, что последовательность Yn образует марковскую цепь.

Задачи.

1. Что получится, если траектории ПМП предполагать непрерывными справа?

Библиографические замечания.

Полумарковские процессы являются естественным обобщением скачкообразных марковских процессов и широко используются в приложениях. Впервые это понятие появилось, видимо, в работе Цинлара [31]. Особенностью используемого в настоящем курсе подхода к изложению теории ПМП является его дескриптивное определение. Более подробно с полумарковскими процессами можно ознакрмиться по книге В.С. Королюка и А.Ф. Турбина [21], в которой изложение теории ПМП опирается на конструктивное определение ПМП.

§19. Процесс и матрица марковского восстановления

19.1.Процесс марковского восстановления

Расмотрим векторный процесс

компоненты которого Nj(t) означают число посещений состояния j за время t. Аналитически они представляются в виде

n 1

Лемма 19.1. Для любого фиксированного состояния j процесс Nj(t) является процессом восстановления.

Доказательство. В силу определения ПМП X = fX(t); Sn t 0; n = 0; 1; 2; : : : g его поведение после скачка в будущем не зависит от прошлого, поэтому интервалы между моментами посещения фиксированного состояния j являются независимыми одинаково распределенными с.в., следова-

j2E

с которым мы уже встречались в разделе 18.3.

~

Определение 19.1. Определенный соотношением (19.1) векторный процесс N(t) называется процессом марковского восстановления. Это же определение сохраним за скалярным процессом N(t) (19.3).

~

Следует заметить, что компоненты процесса N(t) зависимы. Тем не менее, многие свойства обычных процессов восстановления распространяются на процессы марковского восстановления.

19.2.Матрица марковского восстановления

~

Обозначим через Hij(t) условное математическое ожидание j-ой компоненты процесса N(t) при условии, что в начальный момент времени он находился в состоянии i,

X

Теорема 19.1. Для равномерно регулярного ПМП X функции Hij(t) ограничены для любых i; j 2

E; t 0.

Доказательство. Так как согласно теореме 18.3 моменты скачков равномерно регулярного ПМП можно мажорировать биномиальным распределением, то MiNj(t) конечно для любых i; j 2 E; t 0.

Таким образом, для любых фиксированных i и j функция Hij(t) является функцией восстановления. Это оправдывает следующее определение.

Определение 19.2. Матрица H(t) = [Hij(t)]i;j2E называется матрицей марковского восстановления (ММВ).

Замечание 1. Если через P (t) = [pij(t)]i;j2E обозначить матрицу переходных вероятностей ПМП, то (19.12) и (19.13) это координатная запись выражений

Доказательство. Для доказательства теоремы воспользуемся формулой полной вероятности используя в качестве полной группы событий состояния системы в момент первого скачка. Либо в нулевой момент времени процесс был в состоянии j и за время t не вышел из него, вероятность чего представляет первое слагаемое формулы (19.12), либо процесс совершил скачок. В этом случае разобьем интервал [0; t] на бесконечно малые подынтервалы. Тогда, с вероятностью dQik(u) в окрестности точки u происходит скачок в состояние k и за оставшееся время (t u) процесс из k переходит в j с вероятностью pkj(t u). Интегрируя по непрерывному времени и суммируя по дискретному аргументу k, получим формулу 19.12. Формула (19.14) представляет собой это уравнение в матричном виде. По теореме из предыдущего пункта его решение записывается в виде (19.13), или (19.15).

Замечание 2. Формулы (19.12) и (19.13) полностью аналогичны формулам разложения по первому и последнему моментам достижения для марковских процессов.

19.5.Дополнения

Вопросы для контроля.

1.Дайте определение

(i)процесса марковского восстановления.

(ii)матрицы марковского восстановления

2.Приведите формулу для вычисления ММВ.

3.Приведите уравнения, которым удовлетворяет ММВ.

4.Что называется прямым (обратным) уравнениями марковского восстановления.

5.Сформулируйте теорему о существовании и единственности решений уравнений марковского восстановления.

6.Приведите уравнение для переходных вероятностей ПМП.

Упражнения.

1. Закончите доказательство теоремы 19.2 по индукции.

Библиографические замечания.

Материал этого параграфа содержит традиционные результаты для ПМП, которые можно найти в различных учебниках и монографиях, посвященных этой теории.