Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Основы теории вероятностей. Что следует знать студенту-математику
.pdf
6.2. Поглощающие марковские цепи
171
6.2. Поглощающие марковские цепи
Мощный прием из анализа марковских цепей состоит в том,
чтобы использовать одно или несколько поглощающих состоя
ний. Состояниеiмарковской цепи называется поглощающим,
если
щающее состояниеi, он остается в этом состоянии навсегда.
Поглощающие марковские цепи очень полезны для анализа по
следовательностей успехов. Покажем это на следующих двух
примерах.
. Это означает, что если процесс попадает в погло
=1
p
ii
-
-
-
Пример 6.3 (продолжение). Какова вероятность того, что в те
чение ближайших 14 дней будет три или более последовательных
солнечных дня, если сегодня идет дождь?
Решение. Добавим к трем состояниям в модели марковской
цепи из примера 6.3 два дополнительных состояния
где состояние
но, а состояние
Состояние
SSS
означает, что два последних дня было солнеч-
SS
— что три последних дня было солнечно.
SSS
считаем поглощающим состоянием. Матрица
SSиSSS
одношаговых переходных вероятностей в этом случае принимает вид
из/в SCR
00100200700
S
C
R
SS
SSS
æ
ç
ç
ç
ç
ç
ç
è
,,,
050 028 022 0 0
,,,
040 0 30 030 0 0
,,,
001002
,,00070
00001
Поскольку процесс, попав в состояние
SS SSS
,
SSS
ö
÷
÷
÷
.
÷
÷
÷
ø
, остается в нем на
всех следующих шагах, три последовательных дня солнечной по
годы произойдут в ближайшие 14 дней, если и только если про
цесс в нашей модели окажется в состоянии
Поэтому
()14
p
даст нам вероятность того, что случится три
R SSS,
или больше последовательных дня солнечной погоды за будущие
14 дней, если сегодня идет дождь. Матрица
P
спустя 14 дней.
SSS
()14
получается умно
жением матрицыPна себя 14 раз, и имеет вид
-
,
P
-
-
-
172
Глава 6. Первое представление о марковских цепях
,,,,,
0 0214 0 0186 0 0219 00178 0 9203
P
æ
ç
,,,
0 0320 0 0278 0=0328 0 0265 0 8809
ç
()
14
ç
0 0334 0 0290 0 0342 0 0277 0 8757
,,,,,
ç
001
, 17 0 0102 0 0120 0 0097 0 9564
ç
ç
è
,,,,
00001
,,
ö
÷
÷
÷
.
÷
÷
÷
ø
Искомая вероятность находится в строке 3, она равна 0,8757.
Пример 6.5. Чему равна вероятность получить либо пять или
больше последовательно выпавших орлов, либо пять или больше
последовательно выпавших решек, либо и то и другое, за 25 брос
ков симметричной монеты?
Решение. Используйте марковскую цепь с шестью состояния
ми
01 5,, ,K
ками монеты. Для
следних
. Состояние 0 соответствует началу эксперимента с брос
i = 15,,K
бросков составляют последовательность длиныi,
i
состояниеiозначает, что исходы по-
состоящую либо только из орлов, либо только из решек. Состояние 5 сделаем поглощающим состоянием. Одношаговые переходные вероятности для такой марковской цепи равны
==
pp
ii i,,+
11
05
для
14££i
,
, и все остальные
p551=
pij= 0
p
01
.Вероятность получить либо пять или более последовательных орлов,
либо пять или более последовательных решек, или и то и другое,
за 25 бросков, равна
25
P
=
()
вы найдете
25
p
05
25()
.Вычислив
p
05
0 0 2336 01212 0 0629 0 0326 0 5496
,,,,,
æ
ç
0 0 2252 01168 0
, , ,0606 00314 0 5659
ç
ç
0 0 2089 01084 0 0562 0 0292 0 5974
,,,,,
ç
00
,1774 0 0920 0 0478 0 0248 0 6580
ç
ç
001168006060031400
, , , , 163 0 7748
ç
ç
000001
è
0 5496
,=
,,,,
. Удивительно высокая вероятность! Боль
,,
ö
÷
÷
÷
÷
÷
÷
,
÷
÷
ø
.
шинство людей сильно недооценивают длины таких последова
тельностей.
Задача 6.5. Чему равна вероятность получить пять или больше
последовательных орлов за 25 бросков симметричной монеты?
(Ответ: 0,3116.)
Задача 6.6. Чему равна вероятность получить последователь
ность 123456 за 500 бросков симметричной игральной кости? (От
вет: 0,0106.)
-
-
-
,
1=
-
-
-
-
6.2. Поглощающие марковские цепи
173
Задача 6.7. Чему равна вероятность получить две идущих по
дряд суммы в 7 очков до выпадения суммы в 12 очков при после
довательных бросках двух игральных костей? (Ответ: 0,4615.)
Задача 6.8. Джон и Пит играют в игру, бросая симметричную
кость с красными наклейками на четырех гранях и синими на
клейками на остальных двух. Игра заканчивается либо когда крас
ный выпадет четыре раза подряд (в этом случае выигрывает
Джон), либо когда синий выпадет два раза подряд (в этом случае
выигрывает Пит), либо когда будет сделано десять бросков. Како
вы вероятности выигрыша для Джона и для Пита? (Ответ: 0,4325
и 0,4459.)
Задача 6.9. Вы подбрасываете симметричную монетку, пока не
выпадет последовательность ОРО или ООР. Чему равна вероятность
того, что последовательность ООР выпадет первой? (Ответ:
2
.)
3
Задача 6.10. Симметричную монетку подбрасывают 20 раз.
Чему равна вероятность того, что выпадет последовательность
ОООО, и чему равна вероятность того, что выпадет последовательность ОООР? (Ответ: 0,4780 и 0,7462.)
Задача 6.11. Вы сражаетесь с двухголовым драконом. Каждый
раз, как вы замахиваетесь на дракона мечом, у вас есть 75% вероятность отрубить одну голову и 50% вероятность промахнуться.
Если вы промахнулись, у дракона немедленно отрастают либо
одна, либо две дополнительных головы до того, как вы успеете
еще раз взмахнуть мечом. Вероятность отрастания одной дополни
тельной головы равна 0,7, а двух дополнительных голов 0,3. Вы
выигрываете, если сумеете срубить все головы дракона, но вам
придется бежать, спасая свою жизнь, если дракон отрастит пять
или больше голов. С помощью анализа марковской цепи вычис
лите ваши шансы победить. (Ответ: 0,5210.)
-
-
-
-
-
-
-
Задача 6.12. В азартной игре в «свинью» вы раз за разом бро
саете одну игральную кость. Если выпадет 1, ваш ход завершен
и вы получаете ноль очков. В противном случае вы можете оста
новиться когда захотите, и ваш выигрышный счет будет равен
сумме выпавших за все броски очков. Согласно правилу «остано
вись на 20», вы решили остановиться, как только сумма выпавших
-
-
-
174
Глава 6. Первое представление о марковских цепях
очков составит 20 или больше1. С помощью анализа марковских
цепей найдите распределение вероятности вашего счета в конце
игры, если вы придерживаетесь правила «остановись на 20».
(Ответ: (0,6245, 0,0997, 0,0950, 0,0742, 0,0542, 0,0352, 0,0172) для
(0, 20, 21, 22, 23, 24, 25) с
E(,сїет в конце игры) = 814
.)
Задача 6.13. Джо Далтону до зарезу нужно увеличить свой ка
питал с $600 до $1 000, чтобы выплатить долги до полуночи. Он
идет в казино, чтобы сыграть в рулетку. Он решает каждый раз
ставить на красное и идти ва-банк: ставить либо всю имеющуюся
у него сумму, либо сумму, необходимую для того, чтобы получить
искомый капитал, в зависимости от того, какая сумма меньше. То
есть он поставит $200, если у него в кармане $200 или $800, и по
ставит $400, если у него есть $400 или $600. Какова вероятность
того, что Джо добьется поставленной цели? (Ответ: 0,5819.)
Задача 6.14. Вернитесь к задаче 5.26 из главы 5. С помощью
анализа марковских цепей вычислите вероятность того, что гость
5
проиграет игру. (Ответ:
.)
9
6.3. Задача о разорении игрока
Хорошей иллюстрацией применения поглощающей марковской
цепи является задача о разорении игрока, которая восходит к Крис
тиану Гюйгенсу (1629—1695) и Блезу Паскалю (1623—1662). На
примере этой задачи о случайном блуждании будет показано, что
поглощающие вероятности также можно вычислить, решив систему
линейных уравнений вместо того, чтобы находить произведения
матриц. Этот метод использования линейных уравнений можно
также применять, чтобы вычислять математическое ожидание вре
мени до поглощения. Задача о разорении игрока состоит в следую
-
-
-
-
-
1
Это правило остановки можно объяснить так. Предположим, ваш
текущий счет равенxочков, и вы решили бросить кость еще раз. Тогда
математическое ожидание изменения вашего счета равно
1
1
kx
´-´= -
å
26k
=
6
6
так называемый принцип рассуждений «смотри вперед на один шаг».
x
20
, и это число неположительное при
66
x ³ 20
. Это
6.3. Задача о разорении игрока
175
щем. ИгрокиAиBс начальным капиталом вaиbдолларов соот
ветственно играют в азартную игру до тех пор, пока один из них не
разорится. В каждой партии игрокAвыигрывает один доллар у иг
рокаBс вероятностьюpи проигрывает ему один доллар с вероят
ностью
qp=-1
от друга. Чему равна вероятность
концов выиграет, и чему равно математическое ожидание
. Последовательные партии игры независимы друг
Pab(,)
того, что игрокAвконце
Eab(,)
ко
личества партий до того, как один из игроков разорится?
Величины
Pab(,)иEab(,)
можно найти, используя поглощаю
щую марковскую цепь. Эта марковская цепь будет иметь состоя
ния
01,, ,K ab+
рока
A
составляет
состояния. Одношаговые переходные вероятности равны
pq
ii, -=1
Pab(,)
, а остальные
того, что игрокAв конце концов окажется победителем,
можно найти, вычисливn-шаговую переходную вероятность
, где состояниеiозначает, что текущий капитал иг
составляетiдолларов (а текущий капитал игрока
abi+-
долларов). Состояния 0 и
для
= 0
p
ij
iab=+-12 1,, ,K
—поглощающие
ab+
. Вероятность
pp
ii, +=1
p
aa bn,()+
для достаточно больших значенийn. Однако существует более элегантный подход, состоящий в следующем. Для
определим
концов попадет в поглощающее состояние
состояниеi. По определению,
как вероятность того, что марковская цепь в конце
f
i
ab+
and
0=
f
0
f
ab+
iab=+01,, ,K
, если ее стартовое
. Остальные
=1
можно найти, решив систему линейных уравнений
fpf qf i ab
=+ = +-
i
+-11
ii
В частности,
уравнения для
даст нам искомую вероятность
f
a
объясняется тем, что здесь применен закон
f
i
условной вероятности: слагаемое
в состоянииiвыиграл игрокA, а слагаемое
нииiвыиграл игрокB. Поскольку уравнения для
12 1для , , , .K
соответствует случаю, когда
pf
i +1
— когда в состоя
qf
i -1
— это так на
f
i
Pab(,)
.Вид
зываемые линейные разностные уравнения, можно найти их точ
ное решение. Детали решения мы опускаем, и приведем здесь
только знаменитую формулу разорения игрока для
fPab
= (,)
a
:
-
-
-
-
-
-
-
B
,
,
f
i
-
-
-
Pab
(, )
ì
ï
ï
=
í
ï
ï
î
-
(/)
1
-
qp
(/)
1
a
+
ab
a
qp
+
ab
если p q
если p q=
¹
,
.
176
Глава 6. Первое представление о марковских цепях
Чтобы найти
Eab(,)
, определим
как математическое ожида
e
i
ние числа переходов марковской цепи, необходимое для того, что
бы достичь либо состояния 0, либо состояния
с состоянияi. По определению,
ee
ab0
+
. Остальные
0==
, если начать
ab+
e
i
можно
найти, решив линейные уравнения
epeqei ab
=+ + = + -
1121
i
+-
11
ii
для , , , .K
Здесь мы использовали закон условного математического ожи
дания: количество партий от начального состоянияiраспределено
с вероятностьюpкак единица плюс число партий от стартового
состояния
тий со стартового состояния
ответствует первой партии игры, а
, и с вероятностьюqкак единица плюс число пар
i +1
. Таким образом, слагаемое 1 со
i +1
pe qe
+
ii+-
11
— математическому
ожиданию количества дополнительных партий. Система линейных
уравнений для
= (,)
eEab
a
задается выражением
Eab
(, )
также имеет точное решение. В частности,
e
i
ì
a
-
ï
=
qp
-
í
ï
ab если p q=
î
ab
+
qp
-
1
1
-
(/)
-
qp
(/)
+
ab
qp
a
если p q
¹
,
.
Приведем пример применения формулы разорения игрока.
Представьте себе, что вы входите в казино в Монте-Карло, у вас
есть 100 евро, и вы хотите удвоить эту сумму. Вы выбираете играть
в рулетку и каждый раз ставите на красное. За один раунд вы либо
удвоите вашу ставку с вероятностью
18
, либо потеряете ее с ве
p =
37
роятностью
19
. Поэтому если вы будете ставить каждый раз по
q =
37
$5 (при этом
$50 (
ab==2
ab==20
), вероятность достичь поставленной цели будет равна
), или $10 (
ab==10
), или $25 (
ab==4
), или
0,2533, 0,3680, 0,4461 и 0,4730 соответственно. Математическое
ожидание количества ставок будет равно 365,19, 97,66, 15,94 и 4,00
соответственно. Это показывает, что если ваша единственная
цель — достичь максимальной вероятности выиграть в казино зара
нее определенную сумму, то лучше делать крупные ставки, чем ма
ленькие.
-
-
-
-
-
-
-
-
6.4. Предельное поведение марковских цепей
177
6.4. Предельное поведение марковских
цепей
Рассмотрим марковскую цепь с конечным числом состояний
(условие конечности количества состояний важно в анализе ста
ционарных состояний марковских цепей). Процесс начинается
в одном из состояний и последовательно переходит из одного со
стояния в другое, причем вероятность перехода из состояния
в состояниеjза один шаг обозначается
. Что можно сказать
p
ij
о распределении вероятности состояния после очень большого
числа переходов? Исчезнет ли влияние начального состояния на
процесс полностью в конечном итоге? Чтобы ответить на эти во
просы, вводятся два условия.
Условие
. Марковская цепь не состоит из двух или больше
C
1
непересекающихся замкнутых множеств состояний, где множество
состоянийCназывается замкнутым, если для
ходная вероятность
Условие
. Множество состояний нельзя разбить на несколь-
C
2
ко непересекающихся множеств
.
p
= 0
ij
SS
,,K
с
d ³ 2
d1
шаговый переход из состояния, лежащего в
в состояние, лежащее в
Условие
выполняется почти во всех приложениях марков-
C
1
ских цепей, а вот условие
,где
S
k +1
SS
d +=11
далеко не всегда. Условие
C
2
.
S
iCÎ
и
jCÏ
пере-
таких, что одно-
,всегдаприводит
k
позво-
C
2
ляет исключить периодичность переходов из состояния в состоя
ние, как, например, в случае марковской цепи с тремя
состояниями и вероятностями
pp
12 13
в остальных случаях. В этой марковской цепи
принимает значения 0 или 1, поэтому
(а также ни одна из вероятностей
05==.,pp
21 31
n11()
по очереди
p
()nn
не существует
p
lim
11
®¥
n()
не имеет предела приn,
p
ij
1==,иpij= 0
стремящемся к бесконечности).
Если выполняются условия
и
C
, предельные (или стацио
C
1
2
нарные) вероятности
()
p
j
n
p=®¥lim
ij
n
I
-
-
i
-
-
-
существуют для всех
ния i. Вероятности
p
ij I, Î
j
и не зависят от начального состоя
можно вычислить как единственное реше
ние системы, состоящей из уравнений баланса
-
-
178 Глава 6. Первое представление о марковских цепях
pp
å
jkjk
kI
Î
вместе с уравнением нормализации
са легко можно объяснить с помощью уравнений Колмогорова —
-
Чепмена
n
() ( )
=
ppp
å
ij
kI
1
n
ik
Î
для
p=
. Действительно, положив
kj
å
jIÎ
jI
Î
. Уравнения балан
p
=
1
j
n ®¥
в обоих частях уравнений Колмогорова — Чепмена и переставив
знак предела и знак суммирования (это можно сделать, потому
что пространство состоянийIконечно), вы получите уравнения
баланса. Читателя просят принять без доказательства тот факт, что
пределы
существуют и единственным образом определяются
p
j
набором линейных уравнений.
В качестве иллюстрации рассмотрим опять пример 6.3. Урав
нения баланса вместе с уравнением нормализации здесь имеют вид
pppp
=++
070 050 040
,,,
SSCR
pp p p
=++
010 0 28 0 30
,,,
CSCR
p
=
R
++=
ppp
SCR
++
0
,,,
20 0 22 0 30
ppp
SCR
.
1
Чтобы решить эту систему, вам разрешается удалить одно из
уравнений баланса, чтобы получить квадратную систему линейных уравнений. Решив последние три уравнения, вы получите
p
= 060497,
S
,
pC= 0 23481,
уже были получены в примере 6.3 методом вычисления
,и
pR= 016022,
. Эти же численные ответы
n
для
P
большихn.
Вероятность
можно интерпретировать как вероятность
p
j
нахождения марковской цепи в состоянииjмного, много пере
ходных шагов спустя, независимо от того, каково ее текущее со
стояние. Эта интерпретация очевидна. Существует другая интер
претация вероятности
в состояниеjбудет равна
как предела среднего: доля переходов
p
j
, если усреднять по очень большому
p
j
количеству переходов. Эта вторая интерпретация остается верна,
если условие непериодичности
не удовлетворяется; в этом слу
C
2
чае можно показать, что
-
-
-
-
-
-
n
1
k
p
lim
jn ij
-¥
()
p=
å
n
k
=
1
для всех
jIÎ
,
6.4. Предельное поведение марковских цепей
179
независимо от начального состоянияi. Здесь опять вероятности
p
составляют единственное решение системы, состоящей из уравне
ний баланса
p
å
jIÎ
мер с марковской цепью, имеющей три состояния, с одношаговы
pp
å
jkj
kI
. Чтобы это проиллюстрировать, снова рассмотрим при
=1
j
Î
ми переходными вероятностями
и
lim
p
в остальных случаях. Эта марковская цепь периодична, и
= 0
ij
()
n
не существует, так как, например,
p
®¥
n
ij
для нечетныхn, в то время, как
. Вы непосредственно можете видеть, что после большого числа
n
переходов доля переходов в состояниеjбудет равна
, 2 и 3 соответственно. Действительно, здесь система уравне-
j =1
ний, состоящая из уравнений баланса
и
pp
31
ное решение
вместе с уравнением
05= ,
1
,
=
p
1
2
p
2
для
p=
k
1
и
=
p
3
4
и уравнения нормализации
jIÎ
pp
12 13
n
p
11
ppp
123
1
.
=
nn
() ()
1()=,pp
22 33
05==,,pp
nnn
() () ()
ppp
11
=+,pp
ppp
123
, имеет единствен-
1++=
4
21 31
===
22 33
для четных
05
,==
1
1
1
,
и
2
4
для
4
05= ,
21
Алгоритм PageRank
Теория марковских цепей имеет множество приложений. Самое
знаменитое из них — это анализ, сделанный самим Марковым,
частот появления гласных и согласных в романе Пушкина «Евгений Онегин» (также см. ниже задачу 6.15).
Очень важное приложение сравнительно недавнего времени —
использование марковских цепей для ранжирования веб-страниц.
Алгоритм ранжирования веб-страниц PageRank применяется по
исковой системой Google в качестве одного из методов оценки
релевантности, или важности, веб-страницы. Предположим, что
у вас естьnвеб-страниц со ссылками друг на друга. Пусть
число ссылок на страницеj, ведущих на другие страницы. Пред
полагается, что
что
01<<a
. Представьте себе, что случайный интернет-серфер
для всехj.Пустьa— заданное число такое,
> 0
n
j
переходит с текущей страницы, выбирая с вероятностьюaслучай
ную страницу среди тех, на которые есть ссылки на текущей стра
нице, и выбирая с вероятностью
совершенно случайную стра
1 -a
ницу. Действуя таким образом, интернет-серфер прыгает по сети
со страницы на страницу согласно марковской цепи с одношаго
выми переходными вероятностями
—
n
j
j
-
-
,
1==
0
-
-
-
-
-
-
180
Глава 6. Первое представление о марковских цепях
1
pr
=+-aa()1
jk jk
где
r
jk
= 0
1
r
jk
, если на страницуkведет ссылка со страницыj,и
=
n
j
в противном случае. Параметрaизначально был положен
равным 0,85. Включение члена
для
jk n,,,= 1 K
n
()/1 -a n
можно объяснить, пред
,
положив, что интернет-серфер время от времени начинает скучать
и случайным образом перепрыгивает на одну из страниц сети. Так
как вероятность такого прыжка очень мала, разумно предполо
жить, что она не сильно влияет на ранжирование. Из-за члена
()/1 -a nвp
построеннаямарковскаяцепьнесодержитдвухили
jk
более непересекающихся множеств и является апериодичной. По
этому эта марковская цепь имеет единственное стационарное
(предельное) распределение {
}. Эти вероятности можно оце-
p
j
нить, последовательно возводя матрицу одношаговых переходных
вероятностейPво все большую и большую степень. Из-за того,
что эта матрица содержит константу
()/1 -a n
шивание, иn-я степень исходной матрицы
дится к своему пределу. Стационарная вероятность
, возникает переме-
n
очень быстро схо-
P
показывает
p
j
нам долгосрочную долю времени, которое случайный серфер потратит на страницеj.Если
pp
, страницаjболее важна, чем
>
jk
страницаk, и ей следует присвоить более высокий ранг.
Задача 6.15. В своей знаменитой статье, написанной
в 1913 году, Андрей Марков проанализировал непрерывную по
следовательность из 20 000 букв, взятую из поэмы «Евгений Оне
гин». Марков обнаружил, что вероятность того, что гласная сле
дует за гласной, равна 0,128, а вероятность того, что гласная сле
дует за согласной, равна 0,663. С помощью марковской цепи
оцените процент гласных и процент согласных в романе. (Ответ:
43,2% и 56,8%.)
-
-
-
-
-
-
-
Задача 6.16. Вернитесь к примеру 6.1. Какова в долгосрочной
перспективе доля битов, полученных некорректно? (Ответ:
1
.)
96
Задача 6.17. В некотором городе есть четыре развлекательных
заведения. Линда и Боб посещают одно из этих заведений каждые
выходные независимо друг от друга. Каждый из них посещает за
ведение, в котором был в прошлый раз, с вероятностью 0,4, либо
-
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]