книги из ГПНТБ / Коваленко И.Н. Полумарковские модели в задачах проектирования систем управления летательными аппаратами

/'6 Й, / € й, іф}. Потребуем, чтобы все эти функции бы­ ли неотрицательными и, кроме того,

2 яи w — * ■

Таким образом, при фиксированных і и t числа Лц (/) можно рассматривать как задающие распределение ве­ роятностей на множестве й.

Марковский процесс v(t) с множеством состояний й определяется следующими свойствами.

1. Если задано значение v(fo)—i, то поведение процесса v(t) после момента t0 не зависит от значений ѵ (/) при t < t 0.

функцией распределения Я (^ < 7)= 1 — ехр

В момент /і процесс переходит в состояние } ф і с вероят­ ностью

20

Допустим, что в момент tn( n ^ 1) процесс v(f) пере­ шел в состояние і. Тогда tn+\ определялся как случайная величина с функцией распределения

В момент tn+\ процесс переходит в состояние / £ Q с вероятностью jtij(£n+i). При этом, вообще говоря, может случиться, что за конечный интервал времени накопится бесконечное множество скачков, так что описанная кон­ струкция определит процесс лишь до первого момента накопления скачков. Однако с прикладной точки зрения такая ситуация является весьма исключительной. Доста­ точным условием того, что fn—►оо при п—*оо, т. е. усло­ вием, при котором отрезки (£„, £„+і] покрывают всю полу­ прямую ![0, оо], является неравенство

i£Q.

Основные характеристики марковского процесса с конечным или счетным множеством состояний

Пусть pj(t) — вероятность того, что v ( t ) = j (/£ ß)-

где pij(t) =P(v(t) =/W (0) =l).

Таким образом, pj(t) можно выразить через функции Pij{t), называемые переходными вероятностями марков­ ского процесса.

Рассмотрев близкие моменты времени і и t + h и ис­ пользовав определяющие свойства марковского процесса, найдем

+2 Pu*(o * * /(o + ° (0-

ЪФІ

21

При Л—у О

/; : . ( /) - - Х у(П/;,7 (0 + 2 Ріь№ * № ' ^ Q’ j £ Q- ^1' 50)

чфі

В нашем рассуждении было существенно, что Іг>О, однако, можно показать, что //,•;(/) обладает также дву­ сторонней производной.

Уравнения (1.50) принято называть уравнениями Колмогорова. Система этих уравнений при фиксирован­ ном і имеет единственное решение при начальных усло­

виях:

Ра(0) = 1; Pij(0) = 0; j^=i,

по крайней мере в случае, когда Xj(t) <С, j £ Q.

Часто интересно иметь явный вид вероятностей Pij(t). Это можно вывести с помощью следующего рассуждения. По формуле полной вероятности

где р]уЦі) — вероятность события, состоящего в том, что

ѵ’СО =/ и в интервале (0; t) произошло т скачков про­ цесса \(t) при условии, что ѵ(0) = /'.

Функции, служащие членами выписанного ряда, мо­ жно рассчитывать по простой рекуррентной формуле. Однако, чтобы сделать это, необходимо ввести несколько более общие функции. Именно, обозначим через т)

(t <;т) условную вероятность события, состоящего в том,

т ) = 2 j р\т~'ЧФь](и)ыр — J \j (x)dx\dti. кф] t

(1.53)

' Здесь используется условие, что і „ —"оо при п —"оо.

22

Т о гд а

Коэффициенты разложения найдем, приравнивая ко­ эффициенты при одинаковых степенях е в левой и правой частях:

при т = 0

1 Обозначение «( -s)» показывает, что по т произведено сумми­ рование.

24

Т о гд а

а формулы для слагаемых последней суммы приведены выше.

Пусть. А — некоторое множество состояний процесса

марковский процесс v{t), характеристики которого зада­ ются формулой

состояний в момент / = 0. Предположим далее, что f{i), /С П — некоторая числовая функция, действительная или

лучим, что т)т есть суммарное время пребывания процес­ са v(t) в множестве состояний А в течение интервала

(0; Т).

Покажем, как найти М[г\] и М[г|2], если они сущест­ вуют *.1

1 Здесь II далее символом М[...] обозначено математическое ожи­ дание случайной величины или функции.

25

Имеем:

Однородные марковские процессы с конечным или счетным множеством состояний

Указанным термином определяют марковские процес­ сы с конечным или счетным множеством состояний, для которых интенсивности перехода Хц(1) не зависят от і-

кФ І

В данном случае это система уравнений с постоянны­ ми коэффициентами и ее можно решить методом преобра­

марковский процесс v(t) обладает эргодическим распре­ делением pj, а сам процесс называют эргодическим.

Свойство эргодичности молено объяснить так. Вероят­ ность застать процесс ѵ(/) в некотором состоянии в мо­ мент t стремится при t —*oo к некоторой вероятности, не зависящей от состояния процесса в момент /= 0, Если

26 .

процесс обладает эргодическим распределением, то пос­ леднее определяется системой уравнений:

процесс ѵ(£) с конечным множеством состояний. Скажем, что состояние / достижимо из состояния I, если Хц>0, ли­

что і и / — сообщающиеся состояния. Класс состояний С назовем замкнутым, если из любого состояния внутри С не достижимы состояния вне С. Признаком замкнутости класса состояний С служит равенство Хц = 0 для всех

і € С, j~£ С.

Во множестве П состояний процесса ѵ(/) выделится конечное число замкнутых классов С],...,С,., сообщающих­ ся состояний, называемых эргодическими классами; сос­ тояния, не попавшие ни в один из классов СЬ...,СГ, назы­ ваются несущественными состояниями. Если і некоторое состояние, принадлежащее классу Cs(l sglss^r), то это состояние сообщается с каждым из состояний, принад­ лежащих тому же классу Cs, и не сообщается ни с одним состоянием, не принадлежащим Cs. Из состояния і не достижимо ни одно состояние, не принадлежащее Cs.

Если процесс в некоторый момент времени попал в один из эргодических классов состояний, он навсегда в нем и останется. С другой стороны, в каком бы состоянии процесс ни находился при t = 0, он с вероятностью, рав­ ной единице, в некоторый момент попадает в какой-ни­ будь из эргодических классов состояний.

Рассмотрим систему уравнений:

J^ Cs]

ігф]

(1.73)

2 jecs

при некотором 5=1, 2,../. Эта система обладает единст­ венным решением.

27

Обозначим

Если ij j — любые состояния процесса, то можно за­ писать

где Со— множество несущественных состояний процесса

ѵ( / ) .

Для i € C s ( l^ s ^ r ) имеем:

возможен переход лишь в соседнее состояние. Таким об­ разом

-28

Такой однородный марковский процесс носит назва­ ние процесса «размножения и гибели»1.

Процессы размножения и гибели выступают в качест­ ве моделей функционирования многих систем массового обслуживания.

Обозначим

МН-2• • • Цл

Если

- СО, (1.81)

л=0 л—О

то процесс размножения и гибели обладает эргодическим распределением

Цел

л=0

1.3. ПОЛУМАРКОВСКИЕ ПРОЦЕССЫ.

ЛИНЕЙЧАТЫЕ ПРОЦЕССЫ

Марковские процессы с конечным или счетным мно­ жеством состояний представляют особый интерес, для ре­ шения прикладных задач теории массового обслужива­ ния. Однако при этом появление новых заявок и оконча­ ние обслуживания заявок, уже имеющихся в системе, не должно зависеть от предшествующей истории. Иными словами, должен выполняться марковский принцип не­ зависимости будущего от прошедшего при известном на­ стоящем.

Нет нужды доказывать, что в большинстве ситуаций, встречающихся в практике проектирования и обслужива­ ния систем управления, такого рода предпосылки далеки от действительности. В связи с этим приходится исполь­ зовать случайные процессы более сложного характера.

Обозначим через v(t) некоторый процесс, в любой момент времени описывающий состояние СМО (предпо­

1 Название заимствовано из приложения к биологии, где подоб­ ными процессами описывается динамика различных популяций, на­ пример, бактерии.

29