![](/user_photo/_userpic.png)
книги из ГПНТБ / Казаков В.А. Введение в теорию марковских процессов и некоторые радиотехнические задачи
.pdfДля исключения неопределенности необходимо из (2.42) взять N—1 уравнение и дополнить их условием нормировки
N
При анализе разрывных процессов Маркова с конеч ным числом состояний удобно использовать аппарат сиг
нальных графов. На рис. 2.5 изображен |
граф |
системы |
||||
с |
четырьмя |
состояниями |
||||
ХІ, |
ХІ, |
Хз, |
ХІ. |
Возможные |
||
переходы |
между |
состоя |
||||
ниями |
обозначены |
стрел |
||||
ками. |
Процесс в |
системе |
||||
можно |
представить как |
|||||
случайное |
блуждание точ |
|||||
ки по графу с мгновенны |
||||||
ми скачками из состояния |
||||||
в |
состояние |
под |
воздей |
|||
ствием |
пуассоновских по |
|||||
токов, |
характеризуемых |
|||||
интенсивностями |
|
%ц{і). |
||||
Рис 2.5. |
В [12, |
13, |
5] приведе |
|||
но |
весьма |
удобное |
мне |
моническое правило, по которому легко составить систе му дифференциальных уравнений (2.40), располагая гра фом состояний системы. «Производная dpi/dt вероятности пребывания системы в состоянии равна алгебраической сумме нескольких членов; число членов этой суммы рав но числу стрелок на графе состояний системы, соединяю
щих состояние |
ХІ с другими состояниями. Если |
стрелка |
||||
направлена |
в |
состояние х ь то член |
берется |
со |
знаком |
|
п л ю с ; |
если |
стрелка направлена из |
состояния ХІ, Т О со |
|||
знаком |
м и н у с . Каждый член суммы равен |
произведе |
||||
нию вероятности, того состояния, из |
которого |
направле |
на стрелка, на интенсивность потока событий, переводя щего систему по данной стрелке. Число отрицательных членов равно числу стрелок, направленных из состояния ХІ\ число положительных членов равно числу стрелок, натравленных .в состояние ХІ» [5].
Пользуясь этим правилом, составим дифференциаль ные уравнения, например, для вероятностей состояний
50
хг il Xi (рис. 2.5) :
d-£W~ = - |
|
[i ,x (0 + Я2 4 (Ol Р3 (О + |
К, (9ft(0 + |
я„(Ол(0. |
||||||
|
|
|
|
|
|
|
|
|
|
(2.43) |
|
|
= - |
[я« (О + я4 2 |
(О + |
я4 , (0] Р4 (О |
+ |
|
|||
+ |
|
Я„ (О Л (О + Я,, (/)А |
(О + |
Хзі |
(t)p, |
(t). |
|
(2.44) |
||
Обозначая |
в соответствии |
с (2.36) |
|
|
|
|
|
|||
|
|
М О = — [М О +-Ä*8(rf) + |
M 0 1 , |
|
|
|||||
приходим |
к |
выводу, что |
мнемоническое |
правило пол |
||||||
ностью отвечает соотношению |
(2.40). |
|
|
|
|
|||||
Рассмотренный |
пример |
с графом |
состояний |
позво |
||||||
ляет уяснить смысл введенной |
функции %u(t), |
которая |
представляет собой взятую с обратным знаком сумму интенсивностей потоков, переводящих систему из всех остальных состояний в состояние Х\.
Более подробные характеристики эргодических раз рывных марковских процессов можно получить, если вос пользоваться методами теории поглощающих процессов. Дж . Кемени и Дж . Снелл [14] обобщили основные фор мулы, выведенные для дискретных цепей Маркова, на разрывные процессы с конечным числом состояний.
2.4. Процесс гибели и размножения. Примеры
из теории надежности и массового обслуживания
Теория разрывных марковских процессом находит свое основное применение в теории массового обслужи вания и связанных с ней многочисленных прикладных задачах [1, 2, 4—8]. Кроме того, разрывные марковские процессы играют значительную роль в математической теории надежности [12, 13, 15, 16].
Поскольку и теория массового обслуживания и тео рия надежности имеют непосредственное отношение к описанию работы различных радиотехнических систем, то целесообразно рассмотреть хотя бы простейшие за дачи, связанные с применением разрывных марковских процессов в указанных областях. В этой связи обратим ся к описанию так называемого п р о ц е с с а г и б е л и и
р а з м н о ж е н и я. |
Этот тип процессов начал впервые |
4* |
51 |
изучаться © ібиологии <пря решении задач, связанных с оценкой численности популяций и анализом іпроцеоса распространения эпидемий. Математическая модель про цесса гибели и размножения оказалась всьма общей, и поэтому такие процессы получили широкое распростра нение во многих прикладных задачах.
Предположим, что система имеет конечное число состояний Хо, Хі, ..., xN. Пусть под воздействием пуассо-
НОВСКИХ |
ПОТОКОВ ИЗ ЛЮбОГО |
СОСТОЯНИЯ |
Xh |
( l i ^ k ^ N — 1 ) |
||||
ѣ |
X, |
|
Х/с-Г |
|
хм |
|
|
|
jUf |
|
рг ßb-, |
ßk |
ßk*1 |
^k*Z |
ßN-1 |
|
|
|
|
|
Рис. 2.6. |
|
|
|
||
возможен |
переход |
в соседние |
состояния |
хи-і |
и Xh+i. Из |
|||
состояний |
хо и XN можно перейти соответственно в со |
|||||||
стояния |
ХІ и Xjv-i. Переход |
из состояния |
х/4 |
в состояние |
Xk+i в биологических задачах соответствует увеличению
популяции на одну единицу — эффект |
размножения |
осо |
|
бей. Наоборот, переход из состояния |
Xh в состояние Хк-і |
||
означает уменьшение популяции на |
одну |
единицу — |
|
эффект гибели особи. |
|
|
|
Положим для простоты пуассоновские |
потоки |
ста |
ционарными и обозначим интенсивности потоков, пере водящих систему из состояния хи в состояние Xh+i, через
Xh, |
а интенсивности потоков, переводящих |
систему из |
Xk |
в Xh-i, через \хи- Процесс, развивающийся |
в такой си |
стеме, характеризуется графом состояний, представлен
ным |
на рис. 2.6. |
|
|
|
|
|
В |
соответствии |
с мнемоническим правилом для веро |
||||
ятностей состояний |
процесса |
гибели и |
размножения |
|||
можно записать |
систему дифференциальных уравнений |
|||||
|
dt |
|
|
|
|
|
|
^ Р = |
|
- |
( я Н - Ы М О + я * - , / * - , |
(t)+ |
|
|
+"»>*+,/*+, (0. ( f c = l , 2 , |
. . . , J V - 1 ) , |
(2.45) |
|||
|
|
|||||
|
dpN{t) |
• - |
V>NPN (0 + |
|
|
|
|
dt |
|
|
|||
|
|
|
|
|
|
52
В стационарном режиме вместо (2.45) имеем систему однородных алгебраических уравнений
|
+ |
№+ ,Р*+ > (k=l,2,...,M-l), |
|
|
^Ли> |
||
|
0 = - t V / v + V i P * - i - |
|
|
|
|||
Ее необходимо дополнить условием |
нормировки |
: |
|||||
|
|
|
|
S : > = 1 . |
|
|
(2.47) |
Для |
решения |
системы |
уравнений |
введем обозначения |
|||
|
|
Jtft = |
—hhPk+Vh+iPh+i. |
|
(2.48) |
||
Тогда |
вместо |
(2.46) |
имеем |
|
|
|
|
|
— *fc+,=0, |
(*=0. 1,2 |
ІѴ— 1), |
(2.49) |
|||
|
•* = |
<>• |
|
|
|
|
|
Из (2.49) можно заключить, что ял = 0 |
(£ = 0, |
1, 2, ..., |
|||||
N — 1 ) . Следовательно, ів соответствии с |
(2.48) |
|
Рь
Полученное соотношение является рекуррентным. Оно позволяет выразить значение вероятности pk+i через все предыдущие
»
Pfc+i |
= |
— |
Р'і = = ~7Г7І |
Рь-і |
= |
|
|
|
|
k |
|
= |
Х" |
• • -XlX° |
Р0 = р0Т\ |
- ^ . |
(2.50) |
|
|
|
t і=0 |
|
Вероятность p0 , через которую выражаются вероятности всех остальных состояний, находится из условия норми-
53
ровки |
(2.47): |
N—\ |
Ii |
|
JV—I |
||
|
, + J ] Pk = Po+Po J |
] П |
|
Откуда |
fc=0 |
6=0 |
i=0 |
следует, что |
|
|
|
|
+Sn |
|
|
|
/V—1 |
k |
(2.51) |
|
|
|
|
|
Л=0 |
(=0 |
|
Формулы (2.50), (2.51) позволяют по заданным интенсивностям Xk, цн определить финальные вероятности процесса гибели и размножения при конечном N:
Пример из теории надежности. Процесс гибели и раз
множения может быть применен для изучения работы
|
|
Рабочие |
п |
|
|
|
элементы |
|
|
|
Нагруженный |
Л/ |
|
|
|
|
|
||
|
резерв |
/77 |
|
|
|
Облегченный |
Ремонтное |
г |
|
|
резерв |
I |
устройство |
|
|
Ненагруженный |
|
|
|
|
резерв |
s |
|
|
I |
Устройство |
|
|
|
^резервирования |
|
|
Рис. 2.7.
сложных радиоэлектронных систем, в которых происхо дит восстановление отказавших элементов за счет имею щегося резерва. Рассмотрим пример идеализированной
системы |
подобного |
рода [15]. |
|
||
Пусть |
в системе |
(рис. 2.7) имеется |
/г основных рабо |
||
чих элементов, |
устройство |
резервирования объемом т + |
|||
+ /+s единиц |
и ремонтное |
устройство, |
рассчитанное на |
г элементов. Предполагается, что рабочие элементы, рав но как и все остальные, одинаковы по показателям на дежности, причем время безотказной работы каждого элемента распределено по показательному закону (т. е.
54
поток отказов пуассоновский). Каждый элемент после отказа поступает в ремонтное устройство для восстанов ления. Пусть время пребывания в ремонтном устройстве также распределено по показательному закону с интен сивностью ір,. После восстановления элемент направляет ся в устройство резервирования, основная функция кото рого состоит в том, чтобы при отказе рабочего элемента замещать его работоспособным резервным элементом. Устройство резервирования содержит в себе резервные элементы, находящиеся в трех разных режимах. Из об
щего |
количества m элементов составляют н а г р у ж е н |
н ы й |
резерв. Элементы нагруженного резерва находят |
ся в режиме рабочих элементов и, следовательно, отка зывают с одной и той же интенсивностью X; I элементов составляют резерв, работающий в о б л е г ч е н н о м ре жиме, и поэтому интенсивность ѵ отказов этих элементов меньше, Чем интенсивность X. Последняя группа элемен тов устройства резервирования — н е н а гр у ж е н н ы й резерв объемом s элементов. Предполагается, что в этом состоянии элементы не отказывают.
В целом рассматриваемая идеализированная система функционирует следующим образом: каждый отказав ший рабочий элемент мгновенно поступает в ремонтное устройство и мгновенно замещается элементом из нагру женного резерва; если ремонтное устройство переполне но, то отказавший элемент ставится в очередь; каждый вышедший из строя или перешедший в основное рабочее состояние элемент из нагруженного резерва мгновенно замещается элементом из облегченного резерва; каждый отказавший или перешедший в нагруженный резерв эле мент из облегченного резерва мгновенно замещается элементом из ненагруженного резерва; каждый восста
новленный элемент поступает в |
ненагруженный резерв. |
Всего в системе имеется N'=n+m |
+ l+<s элементов, и она |
полностью выполняет свои функции, если число исправ ных элементов не меньше п.
Если п о д |
с о с т о я н и е м с и с т е м ы понимать |
ч и с - |
|||
л о H е и с п р а в н ы х в каждый |
момент э л е иге н т о в, то |
||||
легко уяснить, что работа такой системы |
описывается |
||||
марковским |
процессом гибели |
и размножения. |
При |
||
этом процесс размножения состоит в увеличении |
числа |
||||
отказавших элементов—переходы типа хи—*Хи+і, |
а про |
||||
цесс гибели |
соответствует восстановлению |
элементов — |
|||
переходы типа |
хь.—ухи-і. |
|
|
|
55
Параметры процесса гибели и размножения (<Хі,, ць) в данном случае оказываются непосредственно завися щими от номера состояния k. Действительно,
если 0sg;A<g;s, то %и=(п + |
т)Х+чі; |
|
|
если s<à^.s |
+ l, то А*=•(п+т)%+v{l+s— к) ; |
||
если l+s<à^J\f, то Ä,fe= (n+m+s + |
l—k)l; |
||
если A^ir, то ил—/гц; |
|
|
|
если /г>/', то |
jjft=/'|.i. |
|
|
Описанная |
схема работы |
системы |
охватывает боль |
шое число частных случаев, распространенных на прак тике. Рассмотрим два примера из множества возможных вариантов и определим финальные вероятности со стояний.
1. Полное число элементов системы равно п, из них (п—т) находятся s рабочем состоянии, а остальные составляют натруженный резерв. Ремонтное устройство
«мет объем |
г^п. В этом случае интенсивности процес |
|
са гибели |
и размножения имеют вид |
Хи=(п—к)\к, |
Используя соотношения (2.50), (2.51), получаем
п(A. -J- (д.)'
2.Система имеет п рабочих элементов и неограни ченный ненагруженный резерв. Объем ремонтного уст
ройства также неограничен. Для этого случая %h=nX, [ik—k[i. С помощью (2.50), (2.51) получаем
Пример из теории массового обслуживания. Проил люстрируем теперь использование марковского процесса гибели и размножения в теории массового обслужива ния. Рассмотрим математическую модель автоматическо го телефонного узла связи, проанализированную впервые Эрлангом (см., например, [5, 8]).
Пусть на вход системы обслуживания, которая имеет N каналов, поступает пуассоновокий поток заявок с ин тенсивностью X. Предполагается, что «ремя обслужива ния заявок в каждом канале распределено по экспонен циальному закону с интенсивностью ц. Если заявка по ступает ,в систему в тот момент, когда все N каналов за няты, то она остается необслуженной (система с отказа-
56
ми); если же заявка застает свободным хотя бы один
канал, то она обслуживается любым из |
свободных |
каналов. |
|
' П о д со с то я н и е м с и с т е м ы Хк будем |
понимать |
ч и с л о з а н я т ы х о б с л у ж и в а н и е м к а н а л о в не-
заівисимо от |
их |
порядковых номеров. |
В |
таком |
случае |
||
состояние х0 |
означает, что все каналы |
свободны; состоя |
|||||
ние Хи—-занято |
k |
каналов. В состоянии |
Xh (k=l, |
2, |
|||
Я |
|
|
|
|
|
|
|
|
|
|
Чкф |
miß |
Wf? |
|
|
|
|
|
Рис. 2.8. |
|
|
|
|
N—1) на систему воздействует два потока: поток |
заявок |
||||||
с интенсивностью |
%h—X, который |
. переводит |
систему |
в состояние Xh+u и поток освобождений всех k занятых обслуживанием каналов, стремящийся перевести систе му в состояние Хи-і. Интенсивность потока освобождений
равна |
• |
|
Работа |
подобной системы массового |
обслуживания |
иллюстрируется графом состояний (рис |
2.8). Используя |
мнемоническое правило, выпишем систему дифференци альных уравнений для вероятностей состояний
% ^ = - * / > . ( ' ) + w \ W ;
dp*, (t) = - |
(я + |
kv)рк (t)+ |
хРк_, |
(t) |
+ |
+ (H-i)w>*+ 1 tf) |
|
|
|
||
( £ = 1 , 2 , |
...,N-l), |
|
|
|
|
dpN (t)fdt = |
- NwN (t) + lpN_x |
(t). |
|
||
В стационарном режиме (2.52) превращается в си |
|||||
стему алгебраических |
уравнений |
|
|
|
|
0 = - ( * + |
/e!i.)pft_j_Apft_I |
+ |
|
|
|
+ ( / г + 1 ) № ^ |
( Ä = 1 , 2 |
Л^— 1), |
{ ' ' |
57
Ее следует решать совместно с условием нормировки (2.47).
•По аналогии с (2.48) введем обозначения
|
Я Й = — %ph-i+k\iph |
|
(Is^kg^N). |
|
(2.54) |
|||
С учетом |
(2.54) вместо |
(2.53) |
получаем |
|
|
|||
я.і=0, îtft-M—nf t = 0, |
jtjv = 0 |
( й = 1 , 2, .. , N—l). |
(2.55) |
|||||
Система |
(2.55) |
имеет |
решение |
J T / I = Ö |
(iß—1, |
2, |
..., N). |
|
•Следовательно, |
|
|
|
у 1 |
|
|
|
|
|
|
X |
/ |
|
|
|
|
|
P>=(-j)' |
wPo |
р Л = ( т ) 6 |
-W Po(k = 0,\,2, |
...,N). |
||||
|
|
|
|
|
|
|
|
(2.56) |
Из условия нормировки (2.47) с |
помощью |
(2.56) |
||||||
находим |
|
|
|
|
|
|
|
|
|
|
*-(S тдгГ- |
|
|
( 2 '5 7 ) |
|||
так что финальные вероятности определяются |
соотно |
|||||||
шением |
|
|
|
|
|
|
|
|
|
*~ (т)Ч (É (т)ЧГ • |
|
<2'58) |
|||||
Располагая |
формулами для |
вероятностей |
состояний |
|||||
ph, можно получить ряд других |
важных характеристик |
системы обслуживания. Например, вероятность обслу живания заявки р о б е л равна вреояпности того, что.заяв ка застанет свободным хотя бы один канал р о б с л = 1 — P N - Среднее число занятых каналов < & > ' также вычисляет ся с помощью вероятностей (2.58) :
N
<é> = 2 kPk
Нетрудно также найти соотношения для среднего времени 'простоя канала, для вероятностей занятости и полной загрузки системы {5, 8].
®
2.5.Импульсные марковские процессы с дискретными
состояниями
В статистической радиотехнике, теории автоматиче ского регулирования можно указать целый ряд задач, в которых используются марковские разрывные процес сы и м п у л ь с н о г о хар актер а [3, 17—20].
Характерной особенностью большинства импульсных процессов является наличие опорного (в частном случае, нулевого) уровня, на котором начинаются и заканчива ются отдельные импульсы. Это обстоятельство непосред ственным образом отражается на матрице вероятностей перехода (2.33), которая в данном случае приобретает вид
P ( U + A0 =
- 1 + Х И ( / ) Д < |
|
\lt(t)àt |
Х„(0А' |
••• |
*ш(0Д< |
Х„(0Д* |
|
1 +Хн(0Д< |
о |
... о |
|
Х„ |
0 |
|
i+K„(t)àt |
... |
о |
| _ Ѵ № " |
о |
|
о |
... |
i+xNN(t)&t |
(2.59)
Здесь в качестве опорного уровня выбран уровень (со стояние) с номером 1. Ненулевыми в матрице (2.59) яв ляются элементы, которые соответствуют переходам из состояния ХІ во все остальные; из состояний ХІ (іфі) переходы возможны только в опорное состояние ХІ и в самоё себя, остальные переходы запрещены. Одна из возможных реализаций импульсного процесса, описывае
мого |
матрицей (2.59), представлена на рис. 2.9. |
|
Для марковского процесса потоки, переводящие си |
||
стему |
.из состояния в состояние, являются |
пуассонов- |
скими |
и, следовательно, р а с п р е д е л е н и е |
д л и т е л ь |
н о с т е й импульсов (равно как и пауз на первом уров не) является э к с п о н е н ц и а л ь н ы м с соответствую щей интенсивностью. Составляя по матрице (2.59) граф состояний и используя мнемоническое правило (§ 2.3),
получим систему уравнений (2.40) |
для вероятностей со- |
||
' стояний иміпульоного процесса в виде |
|
||
Чг= |
- S х« (*) л W + £ |
(0 * (0. |
(£-6 °) |
|
|
і=2 |
|
59