Добавил:

ivanov666 Опубликованный материал нарушает ваши авторские права? Сообщите нам.

Вуз:

Башкирский Государственный Аграрный Университет

Предмет:

[НЕСОРТИРОВАННОЕ]

Файл:

Специальные разделы математики. Учебное пособие (курс лекций)

.pdf

Скачиваний:

Добавлен:

07.09.2026

Размер:

2 Мб

Скачать

☆

<<< < Предыдущая 1 2 3 4 5 6 7 89 / 159 10 11 12 13 14 15 > Следующая >>>

Лекция 6

• с дискретными состояниями и дискретным временем (цепь Маркова);

• с непрерывными состояниями и дискретным временем (марковcкие последовательности);

• с дискретными состояниями и непрерывным временем (непрерывная цепь Маркова);

• с непрерывным состоянием и непрерывным временем.

В данной работе будут рассматриваться только марковские

процессы с дискретными состояниями S

, S2, ..., Sn.

Граф состояний. Марковские процессы с дискретными состояниями удобно иллюстрировать с помощью так называемого графа состояний (рис. 6.1), где кружками обозначены состояния

, S2, ... системы S, а стрелками – возможные переходы из состо-

яния в состояние. На графе отмечаются только непосредственные переходы, а не переходы через другие состояния.

Рис. 6.1. Граф состояний системы S

Возможные задержки в прежнем состоянии изображают «петлей», т. е. стрелкой, направленной из данного состояния в него же. Число состояний системы может быть как конечным, так и бесконечным (но счетным). Пример графа состоянии системы S представлен на рис. 6.1.

6.2.Марковскаяцепь

 иматрицапереходавероятностей

Марковский случайный процесс с дискретным временем и счетным пространством (дискретных) состояний называют марковской цепью. Для такого процесса моменты t

- 81 -

, t2, ..., ког-

СПЕЦИАЛЬНЫЕ РАЗДЕЛЫ МАТЕМАТИКИ

0()

()0

()

да система S может менять свое состояние, рассматривают как последовательные шаги процесса, а в качестве аргумента, от которого зависит процесс, выступает не время t, а номер шага 1, 2,..., k,... Случайный процесс в этом случае характеризуется последовательностью состояний S(0), S(1), S(2),..., S(k),..., где S(0) – начальное состояние системы (перед первым шагом); S(1) – состояние системы после первого шага; S(k) – состояние системы после k-го шага...

Событие {S(k) = S

шага система находится в состоянии S

}, состоящее в том, что сразу после k-го

, (i = 1, 2,...), является слу-

чайным событием. Последовательность состояний S(0), S(1), ..., S(k),... можно рассматривать как последовательность случайных

событий. Такая случайная последовательность событий называется марковской цепью, если для каждого шага вероятность перехода из любого состояния S когда и как система пришла в состояние S

, в любое Sj не зависит от того,

. Начальное состояние

S(0) может быть заданным заранее или случайным.

Вероятностями состояний цепи Маркова называются вероятности Р S будет находиться в состоянии S

(k) того, что после k-го шага (и до (k + 1)-го) система

, (i = 1, 2,... n). Очевидно, для

любого k

()

∑

=11

. (6.1)

Начальным распределением вероятностей марковской цепи называется распределение вероятностей состояний в начале процесса:

, …,

. (6.2)

В частном случае, если начальное состояние системы S в точ-

ности известно S(0)= S

то начальная вероятность

= 1, а все

остальные равны нулю.

Вероятностью перехода (переходной вероятностью) на k-м шаге из состояния Si, в состояние Sj называется условная вероятность того, что система S после k-го шага окажется в состоянии Sj при условии, что непосредственно перед этим (после k-1 шага) она находилась в состоянии Si:

- 82 -

)}

Лекция 6

pk PSksSk s

() {()(

==−=1

Поскольку система может пребывать в одном из п состояний, то для каждого момента времени t необходимо задать п вероятностей перехода Р

, которые удобно представить в виде следу-

ющей матрицы:

PP P



11 21 1



PP P

21 22 2

 

... ... ... ...



PP P

ii in

 

... ... .... ...

 

nn nn12



... ...

...

...PP P





 

. (6.3)

    



где Pij – вероятность перехода за один шаг из состояния Si в состояние Sj. Первый индекс указывает номер предшествующего, а второй – номер последующего состояния, Р держки системы в состоянии S

– вероятность за-

Матрица (6.3) называется переходной или матрицей переходных вероятностей.

Если переходные вероятности не зависят от номера шага (от времени), а зависят только от того, из какого состояния в какое осуществляется переход, то соответствующая цепь Маркова называется однородной.

Переходные вероятности однородной марковской цепи P

об-

разуют квадратную матрицу размера n × n.

Отметим некоторые ее особенности.

1. Каждая строка характеризует выбранное состояние системы, а ее элементы представляют собой вероятности всех возможных переходов за один шаг из выбранного (из i-го) состояния, в том числе и переход в самое себя.

2. Элементы столбцов показывают вероятности всех возможных переходов системы за один шаг в заданное (j-е) состояние (иначе говоря, строка характеризует вероятность перехода системы из состояния, столбец – в состояние).

3. Сумма вероятностей каждой строки равна единице, так как переходы образуют полную группу несовместных событий:

- 83 -

СПЕЦИАЛЬНЫЕ РАЗДЕЛЫ МАТЕМАТИКИ

11,,

jn==

()

,, ,,

∑

jn=

. (6.4)

4. По главной диагонали матрицы переходных вероятностей стоят вероятности Рii того, что система не выйдет из состояния Si, а останется в нем.

Если для однородной марковской цепи заданы начальное распределение вероятностей (6.4) и матрица переходных вероятностей ||Pij|| (6.3), то вероятности состояний системы Рi(k)

,; ,

определяются по рекуррентной формуле

Pk Pk Pinj n

() () ,,

=−===

∑

ijji

. (6.5)

Пример 1.

Рассмотрим процесс функционирования системы – автомобиль. Пусть автомобиль (система) в течение одной смены (суток) может находиться в одном из двух состояний: исправном

) и неисправном (S2). Граф состояний системы представлен

на рисунке 6.2.

В результате проведения массовых наблюдений за работой автомобиля следующая матрица вероятностей перехода:

08 02

где Р



Pij=



09 01



= 0,8 – вероятность того, что автомобиль останется в ис-



 

правном состоянии; Р12 = 0,2 – вероятность перехода автомобиля из состояния «исправен» в состояние «неисправен»; Р21 = 0,9 – вероятность перехода автомобиля из состояния «неисправен» в состояние «исправен»; Р22 = 0,1 – вероятность того, что автомобиль останется в состоянии «неисправен».

Рис. 6.2. Граф состояний автомобиля

- 84 -

=⋅+⋅=⋅ +⋅ =

10 0002 10101() () () ,,,=⋅+⋅=⋅ +⋅ =

=⋅+⋅=⋅+⋅ =

=⋅+⋅=⋅+⋅=

,,=⋅+⋅=⋅+⋅=

Лекция 6

Вектор начальных вероятностей состояний автомобиля задан



Р()0



, т. е. Р1(0) = 0 и Р2(0) = 1.









Требуется определить вероятности состояний автомобиля че-

рез трое суток.

Решение

Используя матрицу переходных вероятностей, определим

вероятности состояний Р

(k) после первого шага (после первых

суток):

РРРР Р

10 0008 10909() () () ,,,

1111 221

РРРР Р

2112 222

. .

Вероятности состояний после второго шага (после вторых

суток) таковы:

РРРР Р

21 109080109081() () () ,, ,, ,

1111 221

РРРР Р

21 109020101019() () () ,, ,, ,

2112 222

. .

Вероятности состояний после третьего шага (после третьих

суток) равны

РРРР Р

32 2081 08 019090819() () () ,,,,,

1111 221

РРРР Р

32 2081 02 019010181() () () ,,,

2112 222

. .

Таким образом, после третьих суток автомобиль будет находиться в исправном состоянии с вероятностью 0,819 и в состоянии «неисправен» с вероятностью 0,181.

Пример 2.

В процессе эксплуатации ЭВМ может рассматриваться как физическая система S, которая в результате проверки может ока- заться в одном из следующих состояний: S исправна; S2 – ЭВМ имеет неисправности в оперативной памяти, при которых она может решать задачи; S3 – ЭВМ имеет существенные неисправности и может решать ограниченный класс задач; S4 – ЭВМ полностью вышла из строя.

В начальный момент времени ЭВМ полностью исправна (состояние S1). Проверка ЭВМ производится в фиксированные моменты времени t1 t2, t3. Процесс, протекающий в системе S,

- 85 -

, – ЭВМ полностью

СПЕЦИАЛЬНЫЕ РАЗДЕЛЫ МАТЕМАТИКИ





,,=⋅=⋅ =

10 10101() () ,,=⋅=⋅ =

10 10202() () ,,=⋅=⋅ =

может рассматриваться как однородная марковская цепь с тремя шагами (первая, вторая, третья проверки ЭВМ). Матрица переходных вероятностей имеет вид

03 04 01 02

 

0020503



Pij=



0004 06



,,,

  

 

Определите вероятности состоянии ЭВМ после трех проверок.

Решение

Граф состояний имеет вид, показанный на рисунке 6.3.

Против каждой стрелки проставлена соответствующая вероятность перехода. Начальные вероятности состояний Р1(0) = 1 и Р2(0) = Р3(0) = Р4(0) = 0.

По формуле (6.5), учитывая в сумме вероятностей только те состояния, из которых возможен непосредственный переход в данное состояние, находим:

Рис. 6.3. Граф состояний ЭВМ

РРР

10 10

1111

РРР

10 10404() ()

2112

РРР

3113

РРР

4111

- 86 -

3() ()

=⋅=⋅=

=⋅+⋅=⋅+⋅=

21 11027() () () () ,=⋅+⋅+⋅=

21 111044() () () () () ,=⋅+⋅+⋅+⋅=

=⋅=⋅=

=⋅+⋅=⋅+⋅=

=⋅+⋅+⋅=

32 2220680() () () () () ,=⋅+⋅+⋅+⋅=

Лекция 6

РРР

21 03 03 009() () ,, ,

1111

РРРР Р

21 103040402020() () () ,, ,, ,

2112 222

РРРР РР Р

3113 2233 33

РРРР РР РР Р

4114 2243 34 444

РРР

32 00903027() () ,,,

1111

РРРР Р

32 2009 04 020020076() () () ,,,,,

2112 222

РРРР РР Р

32 220217() () () () ,

3113 2233 33

РРРР РР РР Р

4114 2243 34 444

Итак, вероятности состояний ЭВМ после трех проверок сле-

дующие: Р

(3) = 0,027; Р2(3) = 0,076; Р3(3) = 0,217; Р4(3) = 0,680.

6.3.Марковскиепроцессы  снепрерывнымвременем

Марковский процесс описывает поведение стохастической системы, в которой наступление очередного состояния зависит только от непосредственно предшествующего состояния системы. Марковское свойство означает, что вероятность любого состояния системы в будущем зависит только от ее состояния в настоящем и не зависит от того, когда и каким образом система пришла в это состояние (при фиксированном настоящем будущее не зависит от прошлого). Переходную вероятность также называют одношаговой переходной, поскольку она описывает изменение состояния системы между последовательными моментами времени. Двухшаговая вероятность перехода определяется как вероятность того, что система, находясь в одном состоянии, переходит в другое состояние в результате двух последующих испытаний, где переход за два шага может пройти через некоторое промежуточное состояние.

Марковские процессы используются для изучения краткосрочного и долгосрочного поведения стохастических систем. Число состояний системы может быть как конечным, так и бесконечным, но счетным.

- 87 -

СПЕЦИАЛЬНЫЕ РАЗДЕЛЫ МАТЕМАТИКИ

Марковские процессы с дискретным временем имеют многочисленные приложения, но гораздо более типичны системы, в которых переход из состояния в состояние происходит в случайные моменты времени (поломки прибора, заявки и т. п.)

Мы будем рассматривать только марковские процессы с дискретными состояниями.

Процесс с дискретными состояниями и непрерывным временем называется непрерывной марковской цепью. В случае непрерывных марковских цепей удобно пользоваться графом состояний, на котором против каждой стрелки, ведущей из состояния в состояние, поставлена интенсивность потока событий, переводящего систему по данной стрелке. Такой граф состояний стохастических систем называют размеченным. На графе состояний системы с непрерывным временем мы не будем изображать петли, соответствующие задержке системы в данном состоянии, т. к. такая задержка всегда возможна.

В случае дискретного состояния и дискретного времени стохастический процесс задается переходной матрицей, где элементы – это вероятности перехода из состояния в состояние. Такая матрица является однородной матрицей переходов, поскольку все переходные вероятности фиксированы и не зависят от времени.

В случае дискретных состояний и непрерывного времени стохастическая система, задаваемая интенсивностью перехода из состояния в состояние, описывается дифференциальными уравнениями Колмогорова, которые рассмотрим ниже. Наиболее востребованы в прикладных задачах марковские цепи эргодические и поглощающие.

6.4.Эргодическиемарковскиецепи

Цепь Маркова называют неприводимой (регулярной), если любое состояние может быть достигнуто из любого другого состояния за конечное число переходов. В этом случае все состояния цепи называются сообщающимися, а переходная матрица будет называться регулярной. Если процесс, протекающий в системе, длится достаточно долго, то возникает вопрос о предельном пове-

- 88 -

Yyyy

Лекция 6

дении вероятностей. В некоторых случаях существуют предельные (финальные) вероятности состояний, не зависящие от того, в каком состоянии система S находилась в начальный момент. Предельная вероятность может быть истолкована как среднее относительное время пребывания системы в данном состоянии.

Если Р – регулярная стохастическая матрица, то у нее имеет-

ся

(, ,... )

– единственный неподвижный стохастический вектор, все компоненты которого строго положительны. Существует также предельная матрица, каждая строка которой совпадает с неподвижным стохастическим вектором Y.

Состояние системы называется возвратным, если оно вновь может быть достигнуто спустя m шагов. Возвратное состояние системы является эргодическим, если оно ненулевое. Переходная матрица в этом случае будет называться эргодической. Система, для которой существуют предельные вероятности, будет также эргодической и соответствующие случайные процессы эргодическими.

Обратим внимание, что эргодические системы, как правило, склонны к стабилизации, т. е. переходный процесс протекает кратковременно и финальное состояние достигается достаточно быстро. Это обусловлено тем, что состояния системы являются сообщающимися, в такой системе возможен переход из любого состояния в любое состояние за конечное число шагов. Это значит, что матрица первоначально или после некоторого числа шагов не содержит нулевых элементов, а ориентированный граф является сильно связанным (содержит парные дуги).

Множество состояний цепи Маркова называется замкну- тым, если система, однажды оказавшаяся в одном из состояний этого множества, будет находиться в множестве в течение бесконечного интервала времени. Частным случаем замкнутого множества является единственное состояние с переходной вероят-

ностью

. В этом случае состояние называется

поглощающим.

Марковская цепь называется поглощающей, если в ней имеется одно (или более) поглощающее состояние и если поглощающее состояние может быть достигнуто из любого непо-

- 89 -

СПЕЦИАЛЬНЫЕ РАЗДЕЛЫ МАТЕМАТИКИ

= ()

()

=−

∑∑

λλ

глощающего состояния. Количество поглощающих состояний в марковской цепи равно числу единиц на диагонали ее переходной матрицы.

Непоглощающие состояния поглощающей марковской цепи называются переходными, и тогда вероятности перехода можно сгруппировать в отдельную матрицу

размера k × k, где

n – k – число поглощающих состояний.

Вероятности того, что система с поглощающим состоянием находится в каком-либо переходном состоянии, убывают по мере роста числа испытаний, и стационарный вектор вится равным вектору-строке, которая содержит

стано-

В связи с этим при исследовании поглощающих марковских цепей наибольший интерес представляет переходный режим до момента попадания в поглощающее состояние. Представляет интерес среднее время жизни системы (число шагов m) до попа- дания системы в какое-либо поглощающее состояние.

6.5.УравненияКолмогорова

При изучении марковских случайных процессов с дискретными состояниями и непрерывным временем в графе состояний над стрелками, ведущими из состояния Si в Sj, проставляют соответствующие интенсивности λij. Такой граф состояний называют размеченным.

Пусть система S имеет конечное число состояний S0, S1, ..., Sn. Случайный процесс, протекающий в этой системе, описывается вероятностями состояний P0(t), P1(t), …, Pn(t), где Pi(t) – вероятность того, что система S в момент t находится в состоянии Si. Для любого t

Вероятности состояний P дифференциальных уравнений (уравнений Колмогорова), имеющих вид

dP t

где i = 0, 1, …, n.

()

=11

∑

(t) находят путем решения системы

Pt Pt

ji j

() ()

, (6.6)

- 90 -

<<< < Предыдущая 1 2 3 4 5 6 7 89 / 159 10 11 12 13 14 15 > Следующая >>>

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]