Вложенная цепь маркова

Рассмотрим метод вложенной цепи Маркова и применим его к изучению системы M/G/1. Можно добиться упрощения, рассматривая не все моменты времени, а лишь специальным образом подобранную последовательность точек на оси времени. Очевидно, эта последовательность должна быть выбрана так, чтобы, задавая число требований в системе в один из таких моментов и обеспечив дальнейшее поступление требований в систему, можно было бы вычислить число требований в системе в следующий принадлежащий последовательности момент. Поэтому необходимо как-нибудь зафиксировать время, уже проведенное требованием в приборе обслуживания.

Как определить последовательность моментов, обладающую этим свойством? Таких последовательностей можно построить сколько угодно. Особенно удобна последовательность моментов ухода обслуженных требований. Очевидно, что, определив число требований в момент, когда обслуженное требование покидает систему, и, прибавив число поступивших позже требований, можно найти число требований в системе для любого момента времени в будущем. Здесь считается, что в момент ухода обслуженного требования время, потраченное на обслуживание следующего требования, равно нулю, так как обслуживание в этот момент только начинается (если система не остается пустой). Более того, предполагается, что никакое другое требование в очереди не получает обслуживания.

Описанный процесс является полумарковским, при котором изменения состояния происходят в момент ухода требований.

Полумарковские процессы. Начнем с обсуждения полумарковских процессов с дискретным временем. Дискретная цепь Маркова характеризуется тем, что в каждом единичном промежутке времени процесс переходит из текущего состояния в некоторое другое (а может быть и в то же самое) состояние. Вероятности перехода совершенно произвольны; однако вытекающее из марковского свойства требование, чтобы переход происходил в каждый единичный промежуток времени, приводит к тому, что время пребывания процесса в данном состоянии подчиняется геометрическому распределению.

______________________________________________________________

Характер геометрического распределения становится ясным на примере графической модели, изображенной на рисунке.

Модель с циклами

Ациклическая модель

Через и обозначены производящие функции времени реализации случайной величины. Для подобных графических схем справедливы два базовых соотношения.

1. Для последовательно соединенных дуг

эквивалентная производящая функция (две дуги заменяются одной эквивалентной дугой) равна произведению исходных производящих функций. Для параллельных дуг исходные производящие функции взвешиваются по вероятности

.

Преобразовывая модель с циклами в ациклическую модель, и используя два вышеописанных преобразования, получаем эквивалентную производящую функцию модели

Данное выражение справедливо для производящих функций любых случайных величин. В случае дискретной марковской цепи рассматриваются переходы через единичные интервалы времени, при этом имеем производящие функции . Тогда

Здесь вероятности p соответствует успех испытаний в схеме Бернулли, а вероятности q – неудача. Например, слагаемому соответствует результат, в котором произошло k неудач, и только потом произошел успешный исход. Если, например, , то вероятности успеха с 1, 2, 3, … попытки равны 0,5; 0,25; 0,125; … . На графике их можно представить следующим образом

Геометрическое распределение является аналогом экспоненциального распределения в дискретной области – для него характерно свойство отсутствия последействия.

_______________________________________________________________

Это накладывает существенные ограничения на рассматриваемые процессы. Если же снять это ограничение, т. е. допустить произвольные распределения для времени пребывания процесса в данном состоянии, то это непосредственно приведет к понятию полумарковского процесса с дискретным временем. При этом определяющим будет условие, что разрешаются произвольные распределения вероятностей времени между переходами из одного состояния в другое. Отметим, однако, что с точки зрения моментов изменения состояния процесс ведет себя как обычная цепь Маркова, и фактически можно сказать, что в эти моменты имеет место вложенная цепь Маркова.

Из изложенного непосредственно вытекает определение полумарковского процесса с непрерывным временем. Здесь допускаются переходы из одного состояния в другое в любой произвольный момент времени. Однако в противоположность марковскому процессу, для которого распределение времени пребывания в состоянии является показательным, в данном случае допускается произвольное распределение. Это приводит к процессам значительно более общего вида, которые успешно применяют при исследовании систем массового обслуживания. Относительно моментов времени изменения состояний здесь также появляются вложенные цепи Маркова. Ясно, что класс марковских процессов входит в класс полумарковских процессов.

Определим вложенную цепь Маркова как число требований, имеющихся в системе в момент ухода очередного обслуженного требования. Переходы имеют место только во вложенных точках и образуют дискретное пространство состояний. Распределение времени между переходами равно распределению времени обслуживания (функция распределения) всякий раз, когда после обслуживания остается, по крайней мере, одно требование, и равно свертке распределения промежутков времени между поступлениями требований (показательного распределения) с (плотность распределения) в случае, когда уходящее требование оставляет систему пустой (этому соответствует преобразование Лапласа-Стилтьеса ). Во всяком случае, характеристики цепи в этих вложенных точках полностью описываются марковском процессом, и здесь применимы результаты, рассмотренные ранее (для простейших случайных процессов).

Используемый здесь подход состоит в том, чтобы рассматривать исключительно моменты ухода требований и описывать состояние числом требований, остающихся в эти моменты в системе. Решение для вложенных марковских точек обеспечивает решение для всех моментов времени.

Характеризуя состояние системы числом требований в ней, можно наблюдать изменение состояния системы во времени. Если следить за системой непрерывно, можно заметить, что переходы в системе происходят только в соседние состояния. В частности, если состояние системы, содержащей k требований, обозначено через , то возможны только переходы и (причем последний переход возможен лишь при ). Это показано на рис. 1.

Рис. 1. Переходы для систем с единичным изменением состояний

Заметим теперь, что число переходов типа отличается не более чем на единицу от числа переходов типа . Первый из этих переходов соответствует поступлению требования и возникает в момент поступления. Второй переход соответствует уходу требования и возникает в момент ухода. После того, как система проработает сколь угодно долго, число переходов вверх должно быть по существу таким же, как число переходов вниз. Так как это движение вверх и вниз относительно происходит по существу с одной и той же частотой, то отсюда можно заключить, что состояния системы, определяемые уходами требований, имеют то же предельное распределение вероятностей , что и состояния системы, определяемые поступлением требований . Таким образом, обозначив через число требований в системе в момент t , можно сделать следующие два вывода.

1. Для пуассоновского потока требований всегда справедливо равенство

, т. е.

.

2. Если в некоторой (возможно, немарковской системе) число требований может быть изменено только на (плюс или минус) единицу, то из существования одного из приведенных ниже распределений следует существование другого и их равенство:

;

:

.

Таким образом, для системы M/G/1 справедливо

.

Далее будет найдено среднее число требований в системе – результат, называемый формулой Полячека-Хинчина для среднего значения. Начнем с введения некоторых обозначений и установим вероятности переходов, связанные с рассматриваемой вложенной цепью Маркова.

ВЕРОЯТНОСТИ ПЕРЕХОДА

Использование моментов времени ухода в качестве вложенных точек на временной оси уже обсуждалось. В эти моменты определяется вложенная марковская цепь как число требований остающихся после ухода. Таким образом, получается полное описание состояний, так как наверняка известно, что вновь поступающее в такой момент требование имеет нулевое время обслуживания, а также, что время, прошедшее после поступления последнего требования, не влияет на будущее развитие процесса, так как распределение промежутков времени между поступлениями – без последействия.

Пусть означает n-е требование, поступившее в систему;  время поступления ;  промежуток времени между и ;  время обслуживания требования .

Дополнительно введем две важные случайные величины:

 число требований, остающихся в системе в момент ухода требования ;

 число требований, поступающих в систему за время обслуживания требования .

Нас интересует распределение вероятностей , т .е. , которое фактически зависит от времени. Предельное (при ) распределение совпадает с , которое равно  основному распределению вероятностей. При нахождении распределения вероятностей существенную роль будет играть число требований , поступивших за время обслуживания одного требования.

Марковская цепь описывается вероятностями перехода; поэтому определим вероятности перехода за один шаг:

.

П оскольку эти переходы наблюдаются только в моменты уходов, ясно, что неравенство невозможно. С другой стороны, неравенство возможно для всех значений числа поступлений . Легко видеть, что матрица переходов имеет следующий вид:

где

.

Например, j-й элемент первой строки матрицы представляет собой вероятность того, что предыдущее требование, уходя, оставило систему пустой, а за время обслуживания требования поступает ровно j новых требований (и все они остаются в системе после ухода требования , но одно из них перемещается в прибор). Точно так же в других строках элемент при представляет собой вероятность поступления точно требований за время обслуживания требования в предположении, что требование , уходя, оставляет в системе точно i требований (из этих требований одно сразу поступает на обслуживание, что и дает член +1 в последнем расчете). Диаграмма вероятностей перехода для рассматриваемой марковской цепи показана на рис. 2., где изображены только переходы из состояния .

Рис. 2. Диаграмма вероятностей перехода для вложенной марковской цепи типа M/G/1

Теперь вычислим . Заметим, прежде всего, что входящий процесс (пуассоновский поток с интенсивностью требований в секунду) не зависит от состояния СМО. Точно так же время обслуживания требования не зависит от n и имеет функцию распределения . Следовательно, число поступлений за время обслуживания зависит только от продолжительности и не зависит от n. Поэтому можно отбросить индексы у величин и и заменить их величинами и , так что можно будет записать: и . Перейдем к вычислению .

Применяя условные вероятности, далее получим

,

где опять – плотность распределения времени обслуживания. Так как входящий поток является пуассоновским, вероятность, стоящую под знаком интеграла, можно заменить выражением

,

что дает

. (*)

Эта формула полностью определяет матрицу вероятностей перехода P.

Заметим, что поскольку для , все состояния достижимы друг для друга. Введем обычное определение

и подчеркнем, что данная марковская цепь эргодична, если (чтобы не усложнять рассмотрения, будем в дальнейшем считать это условие выполненным).

Значительная часть стационарных случайных процессов, с которыми приходится иметь дело на практике, обладает так называемым эргодическим свойством. Это свойство, установленное у стационарных случайных процессов А. Я. Хинчиным, заключается в следующем. Любая вероятностная характеристика процесса, полученная на ансамбле реализаций в какой-либо момент времени t (в одном сечении), равна (с вероятностью, сколь угодно близкой к единице) аналогичной характеристике, полученной на одной единственной реализации процесса путем усреднения по времени за достаточно большой промежуток  T.

В следующем параграфе определяется среднее значение .

СРЕДНЯЯ ДЛИНА ОЧЕРЕДИ

В этом разделе выводится формула Поллячека-Хинчина для среднего значения длины очереди в пределе. В частности, определяется

.

Этот предел, очевидно, существует в случае, когда рассматриваемая вложенная цепь эргодична.

Сначала выведем уравнения, связывающие случайные величины и . Рассмотрим два случая, первый случай показан на рисунке (в обозначениях временной диаграммы) и имеет место тогда, когда уходящее требование не оставляет систему пустой (т. е. ).

Случай

Заметим, что предполагается дисциплина обслуживания в порядке поступления, хотя это предположение касается только времени ожидания, а не длины очереди или периода занятости. Из рисунка видно, что , так как когда требование уходит, требование уже находится в системе. На рисунке не показан момент поступления требования так как это неважно для рассматриваемой задачи. Теперь необходимо найти выражение для – числа требований, остающихся после ухода требования . Оно, очевидно, равно (так как требование уходит) плюс число требований, поступающих за время обслуживания . Это последнее слагаемое, по определению, равно и на диаграмме показано светлой стрелкой. Таким образом, имеем

.

Рассмотрим теперь второй случай, когда , т.е. уходящее требование оставляет систему пустой.

Случай

Здесь , очевидно, равно нулю, так как еще не поступило к моменту ухода . Следовательно, число требований , остающихся в момент ухода требований , равно числу поступлений за время его обслуживания. Таким образом,

.

Объединяя два предыдущих выражения, получаем

(1)

Здесь удобно ввести – сдвинутую ступенчатую дискретную функцию

(2)

которая связана с дискретной ступенчатой функцией , определенной равенством .

Посредством единичной функции можно учесть тот факт, что когда узел пуст, то интенсивность обслуживания должна равняться нулю.

Применяя это определение к равенству (1), можно теперь записать единое определяющее соотношение для в виде

. (3)

_________________________________________________________________

Графики функций и

__________________________________________________________________

Это уравнение является ключевым уравнением для исследования систем M/G/1. Остается получить из него среднее значение величины . Как обычно, мы не будем касаться характеристик системы, зависящих от времени (эта зависимость заключена в индексе n), а будем искать сразу распределение предельной величины , обозначая ее . Предположим, что в пределе, при , существует j-й момент :

(4)

(мы здесь фактически требуем эргодичности).

Будем считать, что в уравнении (3) операции усреднения и перехода к пределу перестановочны. Беря среднее значение от обеих частей равенства (3), получаем

.

Переходя к пределе при , имеем

,

что после упрощения дает

. (5)

Какие сведения получаем мы из этого равенства? (Заметим, что поскольку – число требований, поступающих за время одного обслуживания, которое не зависит от n, индекс у величины может быть опущен даже до перехода к пределу).

По определению – среднее число требований, поступающих за время одного обслуживания.

Дадим интерпретацию левой части последнего равенства. По определению можно непосредственно вычислить

Но, пользуясь равенством (2), можно переписать это в виде

,

или

.

Так как мы имеем дело с однолинейной системой, это равенство также может быть записано в виде

. (6)

Пользуясь определением коэффициента нагрузки системы, далее находим

. (7)

Таким образом, на основании равенств (5, 6, 7) заключаем, что

. (8)

Мы получили хорошо обоснованное заключение о том, что ожидаемое число поступающих требований за время одного обслуживания равно . Для устойчивости системы требуется, чтобы ; таким образом, равенство (8) означает, что в среднем требования должны поступать медленнее, чем они могут быть обслужены.

Вернемся теперь к среднему значению величины . Взяв математические ожидания от обеих частей уравнения (3) и переходя к пределу, мы не смогли получить эту величину, хотя и получили интересные результаты. Чтобы найти искомое среднее значение, введем (3) сначала в квадрат, а уже затем определим математическое ожидание от обеих частей полученного равенства:

. (9)

Из определения (2) следует, что и . Учитывая это и вычисляя математические ожидания в (9), получаем

В этом равенстве в двух последних слагаемых справа имеется произведение двух случайных величин, стоящее под знаком математического ожидания. Однако заметим, что (число поступлений за время обслуживания -го требования) не зависит от (числа требований, остающихся после ухода требования ). Следовательно, в обоих слагаемых математическое ожидание произведения равно произведению математических ожиданий. Переходя к пределу с учетом (4), получаем

Используем теперь (5) и (8), чтобы получить следующий вспомогательный результат:

; (10)

здесь неизвестно только .

Вычисляя эту величину, попутно укажем метод нахождения моментов любого порядка. Для этого целесообразно ввести производящую функцию случайной величины :

. (11)

Образую функцию из (*) и (11), получим (*)

.

Здесь операции суммирования и интегрирования перестановочны. Меняя порядок операций, получаем

. (12)

Введем теперь преобразование Лапласа плотности времени обслуживания

.

Заметим, что равенство (12) дает выражение такого же вида с заменой комплексной переменной на . Получается важный результат

(13)

Найденное равенство чрезвычайно важно. Оно описывает связь между производящей функцией распределения вероятностей случайной величины и преобразованием Лапласа плотности распределения случайной величины , когда это преобразование находится в критической точке . Вспомним, что – это число требований, поступающих за промежуток времени , и что поток поступающих требований является пуассоновским с интенсивностью требований в секунду.

Различные производные, вычисленные в точке , дают возможность вычислить соответствующие моменты рассматриваемой случайной величины. Точно так же для непрерывных случайных величин можно найти моменты, вычисляя в точке соответствующие производные преобразования Лапласа плотности рассматриваемой случайной величины. В частности,

; (14)

; (15)

. (16)

Чтобы упростить обозначения, мы не переходим к пределу после дифференцирования, а сразу подставляем предельные значения аргументов. Далее мы обозначаем чертой сверху математическое ожидание случайной величины, стоящей под чертой. Тогда равенства (14) – (16) примут вид

; (17)

; (18)

. (19)

Конечно, при этом должно сохраняться свойство вероятностей

. (20)

Применяя теперь равенство (13), постараемся из выражений (17) – (20) получить моменты случайной величины . Дифференцируя (13), получаем

. (21)

Производная, стоящая справа, может быть вычислена в виде

, (22)

где . (23)

Полагая в (21) , получим

.

Но из (23) следует, что частный случай соответствует случаю , поэтому

. (24)

Наконец, из (17), (18) и (24) окончательно получается

. (25)

Но – это точно , и мы снова получили тот же результат, что и в равенстве (8), а именно . Можно продифференцировать (21), чтобы получить

. (26)

Применяя полученную ранее первую производную функции , получим теперь вторую производную следующим образом:

,

или

. (27)

Подставляя в (26) и используя (27), получаем

.

Сравнивая последний с полученными ранее результатами (17) и (19), находим

, (28)

что дает окончательно решение для . Таким образом, получена величина, необходимая для подстановки в (10).

Возвращаясь к равенству (10), используем (28) и получим

. (29)

Это и есть результат, к которому мы стремились! Он выражает среднюю длину очереди в момент ухода обслуженного требования через известные величины, а именно через коэффициент использования ( ), и (второй момент распределения времени обслуживания). Перепишем этот результат, введя нормированную дисперсию времени обслуживания :

. (30)

Это выражение представляет собой очень известную формулу для среднего числа требований в системе типа M/G/1, которую обычно называют формулой Полячека-Хинчина для среднего значения. Подчеркнем, что среднее значение зависит только от первых двух моментов распределения времени обслуживания ( и ). Кроме того, заметим, что возрастает линейно с ростом дисперсии времени обслуживания (или, если угодно, линейно с квадратом его коэффициента вариации).

Формула Полячека-Хинчина позволяет найти среднее число требований в системе в моменты ухода обслуженного требования. Однако, как уже известно, она позволяет найти и среднее число требований в моменты их поступления и в любые другие моменты времени. Ранее было введено обозначение для среднего числа требований в системе. Кроме того, было определено – среднее число требований в очереди (не считая обслуживаемого требования). Найдем связь между и . По определению

, (31)

.

Длина очереди на единицу меньше числа требований в системе, если система не пуста, поэтому

,

(Обратите внимание на нижний предел суммирования.) Отсюда получаем

.

После вычитания этих двух рядов и получается второе слагаемое.

Но вторая сумма равна , и мы приходим к равенству

. (32)

Эта простая формула и устанавливает искомую связь.

В качестве примера применения формулы Полячека-Хинчина рассмотрим систему типа M/M/1. Так как для показательного распределения коэффициент вариации равен единице, то для такой системы

,

или

, M/M/1. (33)

Равенство (33) описывает ожидаемое число требований, остающихся при уходе обслуженного требования. Сравним его с выражением для среднего числа требований в системе M/M/1. Эти формулы идентичны, и это лишний раз подтверждает приводившееся ранее утверждение о том, что метод вложенных цепей Маркова в случае СМО типа M/G/1 дает решение, пригодное для любого момента времени.

В качестве второго примера рассмотрим регулярное обслуживание с постоянным временем обслуживания . Как уже отмечалось, такие системы обозначаются через M/D/1. В этом случае, очевидно , и получается

; (34)

, M/D/1.

Таким образом, система типа M/D/1 в среднем содержит на требований меньше, чем система M/M/1; это иллюстрирует сделанное ранее утверждение о том, что q убывает с убыванием дисперсии времени обслуживания.

Рисунок. Пример системы M/H₂/1

Наконец, в качестве третьего примера рассмотрим систему M/H₂/1, в которой

. (35)

Это значит, что прибор обслуживания состоит из двух параллельных этапов, как показано на рисунке.

Заметим также, что как обычно, – интенсивность поступления требований. Можно непосредственно вычислить и , что дает .

__________________________________________________________________

Гораздо проще найти эти значения с использованием метода производящих функций моментов (GERT-сети). Мы уже использовали пример с производящими функциями, когда анализировали свойства геометрического распределения. Теперь применим ту же графическую схему, но вместо производящих функций используем производящие функции моментов случайных величин. Связь между ними (для дискретных случайных величин) устанавливает преобразование . Производящие функции моментов определяются как

.

По формулировке они отличаются от преобразования Лапласа-Стилтьеса тем, что в последнем интегрирование выполняется от 0 до , и в качестве переменной используется не , а переменная .

Например, для экспоненциального распределения п. ф. м. (вычисляется непосредственным интегрированием), а п. Л. С.

.

Для упрощения рисунка вершины (узлы) изображены кружочками (в GERT-сети – «ромбики»).

Для параллельных дуг

Среднее время обслуживания заявки

.

Второй момент относительно начала координат

;

.

Это намного проще, чем выполнять несколько раз прямое интегрирование по частям формулы (35), а именно:

.

_________________________________________________________________

Следовательно,

.Таким образом, наблюдается небольшое увеличение q при небольшом превышении единицы по сравнению с системой M/M/1. Заметим, что в этом примере , поэтому , в то время как для системы M/M/1 при том же значении получаем .

Главным результатом этого параграфа является формула Полячека-Хинчина для среднего числа требований в системе. Но до сих пор не было получено ни одного результата, касающегося времени, проведенного требованием в системе. Сейчас это можно сделать. Вспомним результат Литтла: . Этот результат связывает среднее число требований в системе с интенсивностью поступления требований и средним временем пребывания требования в системе. Для системы M/G/1 получено равенство (30), которое позволяет найти ожидаемое число требований в системе в момент ухода обслуженного требования. Известно, что описывает также среднее число требований в случайный момент времени, поэтому можно записать . К этому среднему значению можно применить результат Литтла и получить среднее время, проведенное требованием в системе (очередь плюс обслуживание). Таким образом,

.

Решая относительно , получаем

. (36)

Последнее равенство легко объяснить. Общее среднее время, проведенное требованием в системе, состоит, очевидно, из среднего времени, проведенного в обслуживающем приборе, и среднего времени пребывания в очереди. Так как первое слагаемое правой части равенства (36) есть, очевидно, среднее время обслуживания, то второе слагаемое должно представлять собой среднее время ожидания (которое будем обозначать ). Следовательно, среднее время пребывания в очереди

, (37)

Теперь появляется особенно изящный нормирующий множитель. Рассмотрим среднее время пребывания требования в системе. Естественно сравнить эту величину с величиной среднего времени обслуживания одного требования. Отношение , т. Е. отношение времени, проведенное в системе, ко времени, приходящемуся в среднем на обслуживание, характеризует коэффициент неудобства системы, обусловленного наличием в ней других требований. Если пронормировать равенства (36) и (37), получатся формулы, в которых время выражено в единицах среднего времени обслуживания:

, (38)

. (39)

Каждое из этих двух равенств наряду с формулой (30), также называют формулой Полячека-Хинчина. Здесь видна линейная форма влияния статистических флюктуаций на задержку входящего потока. Из этих же формул видно, что зависимость задержки входящего потока от средней нагрузки системы явно нелинейна.

Сравним среднее нормированное время ожиданий для систем M/M/1 и M/D/1. Коэффициенты для указанных систем соответственно равны 1 и 0. Подставляя их в (39), получаем

, M/M/1; (40)

, M/D/1. (41)

Заметим, что система с регулярным обслуживанием (M/D/1) характеризуется средним временем ожидания вдвое меньшим, чем система с показательным обслуживанием (M/M/1). Это закономерно, так как время пребывания в системе, так же как и число требований в системе, пропорционально дисперсии времени обслуживания.