Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Случайные величины. Цепи Маркова. В 2 частях. Ч.2. Двумерные случайные величины. Учебное пособие
.pdf
61
ijij
pkp
kp
ij
0,...,0,0
21 n
ppp
00t
,
...
............
...
...
21
22221
11211
nnnn
n
n
ppp
ppp
ppp
P
0
ij
p
n
j
ij
p11
ni ,...,3,2,1
i
s
j
s
,
n
P n P
(первый индекс указывает номер предшествующего, а
второй – номер последующего состояния).
Цепь Маркова называется однородной, если
,
т.е. условные вероятности
не зависят от номера
испытаний.
Далее будем рассматривать только однородные цепи,
которые могут быть заданы с помощью вектора
- вероятности состояний в момент
времени
и матрицы
называемой матрицей перехода системы.
Элементы матрицы Pобладают следующими свойствами:
а)
б)
,
(
), т.е. сумма вероятностей каждой
строки матрицы перехода равна единице (как вероятности
событий – перехода из одного состояния
в любое
возможное состояние
т.е. матрица переходов за n шагов есть n - я степень
матрицы перехода за 1 шаг.
- образующих полную группу).
Справедлива формула
(15.1)
62
2,03,05,0
5,02,03,0
5,03,02,0
P
2
2 PP
2,03,05,0
5,02,03,0
5,03,02,0
2,03,05,0
5,02,03,0
5,03,02,0
2P
44,027,029,0
35,02,037,0
35,027,038,0
3
2
3
1
2
1
2
1
P
Пример 1. Задана матрица перехода
. Найти матрицу вероятностей
переходов за два шага.
Решение.По формуле
Заметим, что цепь Маркова представляет собой
дальнейшее обобщение схемы Бернулли уже на случай
зависимых испытаний; независимые испытания являются
частным случаем марковский цепи. Под «событием»
понимается состояние системы, а под «испытанием» изменение ее состояния.
Если «испытания» (опыты) независимы, то появление
определенного события в любом опыте не зависит от
результатов ранее произведенных испытаний.
Задания для аудиторного занятия
15.1. Цепь Маркова управляется матрицей перехода
находим
.
.
63
1
s
2
s
2
1
2
1
3
1
3
2
P
1
s
4
1
2
s
4
3
1
s
3,02,05,0
4,02,03,0
5,03,02,0
P
3,07,0
8,02,0
1
p
2
p
Определить матрицу вероятностей переходов за три
шага.
15.2.Цепь Маркова с двумя состояниями
матрицей вероятностей переходов
.
В качестве начального состояния процесса некоторое
и
задана
устройство выбирает
вероятностью
матрице. Найти вероятность того, что после первого шага
процесс перейдет в состояние
15.3. Матрица вероятностей переходов за один шаг
цепи Маркова имеет вид
Найти предельные вероятности.
Задачи для самостоятельного решения
15.4.Задана матрица перехода
. Построить граф, соответствующий
с вероятностью
.
и
.
- с
. Найти
матрицу перехода
.
64
7,03,0
9,01,0
1
p
3
p
n
sss ,...,,
21
,...,,,
210
ttt
i
s
j
s
const
ij
15.5.Задана матрица перехода
матрицу перехода
.
. Найти
§16. Понятие о непрерывном марковском процессе.
Уравнение Колмогорова
Пусть в некоторой системе S происходит марковский
случайный процесс с дискретными состояниями
.
Если переходы системы из состояния в состояние
происходят не в фиксированные моменты
а в
случайные моменты времени (что чаще встречается на
практике), то такой процесс называется марковским
процессом с дискретными состояниями и непрерывным
временем.
Марковские случайные процессы указанного типа
используются, в частности, для исследования реальных
систем массового обслуживания (СМО). Процессы в них
протекают в непрерывном времени. Под состоянием
системы понимается число требований (заявок) на
обслуживание, находящихся в системе.
Будем считать, что переходы системы из состояния
в
состояние
осуществляются под воздействием
пуассоновского потока событий с интенсивностью
. (см. [13, §14]).
Граф состояний системы с постоянными у стрелок
интенсивностями называют размеченным (рис. 16.1).
Рис. 16.1
65
1
s
2
s
i
s
tp
i
ii
stSPtp
n
i
i
tp
1
1
tp
i
1
s
n
ss ,...,
2
n
j
iji
n
j
jij
i
tptp
dt
tdp
11
ni ,...,3,2,1
;0,...,0,0
21 n
ppp
00
i
p
n
i
i
p
1
10
n
i
i
tp
1
1
i
s
dt
tdp
i
tp
i
i
s
Переход системы из состояния
в
происходит в
момент, когда наступает первое событие потока.
Вероятность события, состоящего в том, что в момент
времени t система S будет находиться в состоянии
,
как уже знаем, обозначается через
, причем
Для нахождения этих вероятностей, т.е.
вероятностей состояний системы
:
.
-
,
, нужно
решить систему дифференциальных уравнений – уравнений
Колмогорова, имеющих вид
, (16.1)
с начальными условиями
и условием нормировки
.
При составлении системы уравнений Колмогорова
удобно пользоваться размеченным графом состояний
системы.
Правило составления уравнений Колмогорова таково: в
левой части каждого из уравнений стоит производная
,
вероятности
сумма произведений вероятностей
(когда стрелка ведет в данное состояние) на интенсивности
соответствующих потоков минус суммарная интенсивность
всех потоков (когда стрелка ведет из данного состояния),
умноженная на вероятность данного
состояния, т.е.
; в правой части –
всех состояний
состояния.
66
S
.
,
,
223113
'
3
22321112
'
2
11312221
'
1
tptptp
tptptp
tptptp
1
321
tptptp
0t
k
s
10
k
p
00
i
p
ki
t
tp
i
t
const
ij
i
s
Рис. 16.2
Например, для системы
состояний которой показан на рис. 16.2, система
дифференциальных уравнений будет:
, размеченный граф
Нормировачное условие
При интегрировании такой системы следует учесть
состояние системы в начальный момент времени, т.е. при
. Так, если в этот момент она была в состоянии
полагают
Замечание. Случайный процесс, устанавливающийся в
системе при
характеризуют так называемые предельные вероятности
состояний, т.е. вероятности
Предельные вероятности существуют, если число
состояний конечно, «состояний без выхода» (из них
невозможен переход ни в какое другое состояние) нет,
потоки событий стационарны
Предельная вероятность состояния
среднее относительное время пребывания системы в этом
состоянии.
.
,
(предельный стационарный режим),
при
при
.
.
.
показывает
, то
67
dt
tdp
i
n
i
i
tp
1
1
S
.32
,423
,4
32
'
3
231
'
2
12
'
1
ppp
pppp
ppp
.1
,032
,0423
,04
321
32
231
12
ppp
pp
ppp
pp
Для нахождения предельных вероятностей в
уравнениях Колмогорова полагают все производные
равными 0 и решают систему алгебраических
уравнений (с учетом нормировки
Пример 1.Найти предельные вероятности для системы
, граф которой изображен на рис. 16.3.
Рис. 16.3
Решение. Составляем систему дифференциальных
уравнений Колмогорова:
Тогда система алгебраических уравнений,
описывающих стационарный режим системы S, примет
вид
).
68
17
12
1
p
17
3
2
p
17
2
3
p
1
s
2
s
3
s
Решая эту систему, находим
, т.е. система в среднем 70,6% будет находиться в
состоянии
; 17,6% - в состоянии
.
,
; 11,8% - в состоянии
,
69
X
1
x
2
x
3
x
p
0,22
0,29
0,49
Y
1
y
2
y
p
0,55
0,45
X
27,03 p
43,010 p
30,012 p
X
3
10
12
p
0,27
0,43
0,30
145,055,0
10312 XPXPXP
70,030,013,010,017,0
504130 XPXPXP
44,021,004,011,008,0
11,0
36
,
24
YXP
Ответы к задачам для аудиторного занятия и
самостоятельного решения
№ 2.1.
№ 2.2. а) Сложив вероятности «по столбцам», получим
вероятности возможных значений
,
.
:
,
Контроль:
б)
№ 2.3.
№ 3.1.
.
.
.
.
70
16
9
3
1
,
2
1
YXP
128
3
p
X
1
x
2
x
3
x
p
0,22
0,29
0,49
Y
1
y
2
y
p
0,40
0,60
X
11
yxp
12
yxp
13
yxp
60,01yp
6
1
60,0
10,0,
1
11
11
yp
yxp
yxp
2
1
60,0
30,0,
1
12
12
yp
yxp
yxp
3
1
60,0
20,0,
1
13
13
yp
yxp
yxp
№ 3.2.
№ 3.3.
.
.
№ 5.1.
и Y зависимы.
№ 5.2. X и Y независимы.
№ 6.1. Искомый закон определяется совокупностью
следующих условных вероятностей:
,
,
внимание, что
.Воспользовавшись формулой (6.3) и приняв во
, имеем:
;
;
.
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]