Добавил:

ivanov666 Опубликованный материал нарушает ваши авторские права? Сообщите нам.

Вуз:

Башкирский Государственный Аграрный Университет

Предмет:

[НЕСОРТИРОВАННОЕ]

Файл:

Основы теории вероятностей. Что следует знать студенту-математику

.pdf

Скачиваний:

Добавлен:

07.09.2026

Размер:

2 Мб

Скачать

☆

<<< < Предыдущая 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 1819 / 2119 20 21 > Следующая >>>

6.5. Метод Монте-Карло, использующий цепи Маркова

181

случайным образом выбирает одно из оставшихся трех заведений. Какова за большой период времени в будущем доля выходных,

в которые Линда и Боб посетят одно и то же заведение? (Ответ:

Задача 6.18. Вернитесь к задаче 6.2. Чему равна доля солнеч ных дней за большой промежуток времени в будущем? (Ответ: 0,7912.) У предпринимателя Джерри Вуда есть паб на этом остро

.Чему

75= $

рас

ве. В каждый солнечный день объем продаж имеет пределение с

продаж имеет

1000= $

N(,)ms

распределение с

, а в дождливый день объем

200= $

500= $

N(, )ms

в долгосрочной перспективе равен средний объем продаж в день? (Ответ: $895,60.)

6.5. Метод Монте-Карло, использующий цепи Маркова

В этом разделе дается первое представление о методе Монте-Карло, использующем марковские цепи (Markov chain Monte Carlo, или MCMC). Этот подход можно использовать для решения вычислительных проблем, возникающих, среди прочего, в процессе байесовского вывода. ПустьS— очень большое, но конечное множест во, на котором задана функция распределения вероятности вестная только с точностью до мультипликативной константы. Вы числить эту константу напрямую не представляется возможным. Как в этом случае вычислить

? Идея состоит в том, чтобы построить такую марковскую цепь,

hs() что

совпадает с ее стационарным распределением, и компью

p()s

терно смоделировать множество

hs s

,,,K

ss s

стояний этой марковской цепи для большихm.Тогда можно оценить с помощью выражения

казано ниже.

для заданной функции

()()

последовательных со

m12

()

,из

p()s

()()

hs s

, как будет по

Этот раздел содержит материал повышенной сложности, взятый из книги Henk Tijms, Understanding Probability, 3rd ed., Cambridge University Press, 2012.

Глава 6. Первое представление о марковских цепях

182

Чтобы объяснить подход MCMC, требуется ввести понятие де

тального баланса (или обратимости). Говорят, что функция рас

пределения вероятности

{, }ajS

на конечном множествеSудов

летворяет уравнениям детального баланса по отношению к неприводимой марковской цепи с матрицей одношаговых пере

,если

для всех

jk S, Î

ходных вероятностей

P = ()p

ap ap

jjk kkj

Марковская матрицаPв этом случае называется неприводимой, если любое состояние достижимо из любого другого состояния, то есть для любых

n()

. Если выполняется условие неприводимости, величины

> 0

ij S, Î

существует некоторое

, такое, что

n ³1

составляют единственное стационарное распределение данной марковской цепи. Чтобы это доказать, просуммируем левые и правые части уравнений жением Эти уравнения — уравнения баланса для марковской цепи с мат-

kSÎ

,этодастнам

ap ap

jjk kkj

по

aap

.Вместесвыра-

kSÎ

для всех

jSÎ

рицей переходных вероятностейP.

Алгоритм Метрополиса — Гастингса

Алгоритм Метрополиса — Гастингса — пример метода МонтеКарло, использующего цепи Маркова. Этот алгоритм сначала объясняется для случая дискретного распределения вероятности, но основную идею алгоритма легко можно обобщить на случай не прерывного распределения вероятности.

ПустьS— очень большое, но конечное множество состоя ний, на котором задана функция распределения вероятности

{(), }p ss SÎ

,причем

p()s > 0

ностью до мультипликативной константы. Алгоритм Метрополи са — Гастингса генерирует последовательность состояний марковской цепи, которая имеет единственное стационарное рас пределение гательная функция

{(), }p ss SÎ

qt s(| ) в результате следующего перехода (для ясности изложения здесь ис пользуется обозначение функцию можно понимать как утверждение «если текущее состоя ниеs, кандидатом на роль следующего состояния будетtсвероят ностью

». Таким образом, вы сначала выбираете для каждого

qt s(| )

для всехs,и

известны только с точ

p()s

(, , )ss

. Для этого в алгоритме используется вспомо

нахождения кандидата на роль состояния

qt s(| )

вместо

). Эту вспомогательную

6.5. Метод Монте-Карло, использующий цепи Маркова

183

функцию распределения вероятности

sSÎ

{(|), }qt s t SÎ

.Этифунк ции следует выбирать таким образом, чтобы марковская матрица, содержащая

как одношаговые переходные вероятности, была

qt s(| ) неприводима. Идея состоит в том, чтобы подстроить эти переход ные вероятности таким образом, чтобы в результате у искомой марковской цепи оказалось единственное стационарное распреде ление с вероятностями

{(), }p ss SÎ

. В реализации этой идеи ключе вое значение играют уравнения детального баланса. Если выбран ная вспомогательная функция

уже удовлетворяет уравнениям

qt s(| )

детального баланса

pp()(|) ()(|)sqts tqst=

то все уже сделано: марковская цепь с

для всех

qt s(| )

вых переходных вероятностей обратима и

p()s

st S, Î

в качестве одношаго

составляет ее единственное стационарное распределение. А что делать, если уравнения детального баланса удовлетворяются не полностью? Тогда нужно скорректировать переходные вероятности путем отбрасывания некоторых переходов. Чтобы пояснить эту мысль, зафиксируем два состоянияsиt, для которых уравнение детального баланса не удовлетворяется. Не будет ограничением предположить, что pp()(| ) ()(|)sqts tqst> Если

pp()(| ) ()(|)sqts tqst>

. (Если это не так, поменяйте местамиsиt.)

, то, нестрого говоря, процесс переходит изsвtслишком часто. Как это можно исправить? Простой прием для уменьшения количества переходов изsвtзаключается в том, чтобы использовать вероятность принятия шается сделать переход изsвtс вероятностью

: процессу разре

a(| )ts

, в противном

a(| )ts

случае процесс остается в текущем состоянииs. Возникает вопрос, как выбрать

a(| )ts

.Выбор

определяется требованием

a(| )ts

papa( )[ ( | ) ( | )] ( )[ ( | ) ( | )].s qts ts t qst st=

Взяв

a(|)st = 1

для переходов изtвs,выполучите

Таким образом, для любых

деляется выражением

(| )

(| ) min

()(|)

()(| )

st S, Î

é ê

tqst sqts

.ts

вероятность принятия опре

()(|)

tqst

()(| )

sqts

,.ts

ú û

Глава 6. Первое представление о марковских цепях

184

Наконец, одношаговые переходные вероятности, которые сле

дует использовать в алгоритме, определяются как

qts

(| )

(| ) (| )

qt s t

(| ) (

1|).s

ts¹

для

для t s

qt s t s t s,

Марковская цепь с этими одноразовыми переходными ве

роятностями удовлетворяет уравнениям детального баланса

pp() (| ) () (|)sq ts tq st

MH MH

для всех

марковской цепи распределение

. Следовательно, для этой

st,

{(), }p ss SÎ

является единствен ным стационарным распределением. Важно отметить, что для построения искомой марковской цепи достаточно знать

сточ

ностью до мультипликативной константы, так как для вычис ления вероятностей принятия используются только отношения pp()/ ()st

Подводя итог, можно сказать, что марковская цепь действует следующим образом. Если текущее состояние равноs, то кандидат в следующие состоянияtгенерируется с помощью функции распределения вероятности

{(|), }qt s t SÎ

принимается с вероятностью

a(| )ts

.Если

, то состояние

ts¹

как следующее состояние марковской цепи; в противном случае марковская цепь остается в состоянииs.

Алгоритм Метрополиса—Гастингса

Шаг 0. Выберите функции распределения вероятности

для приводима. Выберите начальное состояние

такие, что марковская матрица с элементами

sSÎ

.Присвойте

Шаг 1. Сгенерируйте кандидата в следущее состояние

мощью функции распределения вероятности

{(| ), }qt s t S

n -Î1

числите вероятность принятия

()( | )

tqs t

min

()(| )

sqts

ú û

Шаг 2. Сгенерируйте случайное числоuиз промежутка

Если

Шаг 3.

,примите

u £a

; в противном случае

nn:=+1

. Повторите шаг 1, заменив

как следующее состояние и присвойте

nn:=-1

на

n -1

{(|), }qt s t SÎ

qt s(| )

n:= 1

не

спо

.Вы

(,)01

6.5. Метод Монте-Карло, использующий цепи Маркова

185

Обратите внимание, что если выбранные плотности вероятно

сти

симметричны, то есть

qt s(| )

qt s qst(| ) ( | )=

для всех

st S, Î

,тове

роятность принятияaиз шага 1 сводится к

()

n 1

ö ÷

÷ ø

min

()

Данный алгоритм часто используется, если нужно получить оценку для математического ожидания ной функции вероятности

,гдеX— случайная величина с распределением

hx()

. Если состояния

p()s

,,,K

ss s

Eh X[( )]

некоторой задан

сгенерированы с по

m12

мощью алгоритма Метрополиса — Гастингса для достаточно боль шогоm,то

Eh X hs s

[( )] ()()=

можно оценить величиной

()

Эта оценка основана на законе больших чисел для марковской

цепи, который гласит, что

объяснение этого факта следующее. Вероятность

lim ( ) [ ( )]

®¥

hs EhX

.Эвристическое

можно пони-

p()s

мать как долю переходов в состояние s за достаточно большое время, поэтому для достаточно большогоmимеем

p()()s

,где

— число раз появления состоянияsв последовательности

ms()

ss s

,,,K

. Это дает

m12

hs s

åå å

()() () () ( )

sS sS

ÎÎ =

»=p

hsms

Алгоритм Метрополиса — Гастингса практически без измене ний можно расширить на случай плотности вероятности

p()s

на (многомерном) непрерывном множествеS, на котором вам нужно вычислить лько с точностью до мультипликативной константы.

()()

hs sds

в случае, когда плотность

Каковы наилучшие варианты для генерации функций

известна то

p()s

qt s(| )

Существуют два общих подхода: семплирование с помощью неза висимой цепи и семплирование с помощью цепи случайного блуждания.

a) В семплировании с помощью независимой цепи кандидат

в следующие состоянияtвыбирается независимо от текущего со

Глава 6. Первое представление о марковских цепях

186

стоянияsмарковской цепи, то есть предлагаемой плотности

gx()

qt s g t(| ) ()=

для некоторой

б) В сэмплировании с помощью цепи случайного блуждания кандидат в состояниеt— это текущее состояниеsплюс компью терно сгенерированная реализация некоторой случайной вели чиныZ, не зависящей от текущего состояния. В этом случае

qt s g t s(| ) ( )=-

gz g z() ( )=-

,где

для всехz, предлагаемая плотность симметрична и,

— плотность случайной величиныZ.Если

gz()

как было замечено выше, вероятность принятия сводится к

app(| ) min( ()/ (), )ts t s= 1

Очень важно, чтобы используемая марковская цепь обладала хорошим перемешиванием, тогда она будет исследовать простран ство состоянийSадекватно и достаточно быстро.

Сэмплирование по Гиббсу

Сэмплирование по Гиббсу — частный случай метода Метрополиса — Гастингса. Такое сэмплирование часто используется в байесовской статистике. Чтобы представить вам этот метод, рассмотрим дискретный случайный вектор

(,, )XX

распределением

p(, , ) ( , , ).xxPXxXx

KK== =

ddd

111

Одномерные условные распределения для

xx x x x

(| , , , , , )

111

PX xX x X x

(| ,,

=== =

11 1

,,,).Xx Xx

11 1

==K

Ключевым для сэмплирования по Гиббсу является предполо жение о том, что одномерные условные распределения полностью известны. Алгоритм сэмплирования по Гиббсу генерирует случай ные реализации одномерных распределений и определяет марков скую цепь, имеющую

p(,, )xx

в качестве единственного стаци

онарного распределения. За каждую итерацию одна компонента вектора состояний выбирается случайным образом и корректиру ется. Этот алгоритм — частный случай алгоритма Метрополиса — Гастингса с

(|) ( | , , )yx === = ¹

для двух состоянийxиyтаких, что и

(,,,,,,).xxyx x

y =

PX yX x j d j k

kjj

kk d111

x =

(,,,,,,)xxxx x

Поскольку

1для сK

qc(|) ()xy x=pиq(| )yx

смногомерным

(,, )XX

kkk d11 1

—это

6.5. Метод Монте-Карло, использующий цепи Маркова

cp()yсcdPXyXx jk

qq(|)() (| )()xy y yx xpp=

=== ¹

(| ),для

kjj

удовлетворяется, поэтому вероятность при

свойство обратимости

187

нятия равна 1. Алгоритм сэмплирования по Гиббсу имеет следую щий вид:

Шаг 0. Выберите начальное состояние

x = (,, )xx

Шаг 1. Сгенерируйте случайное целоеkиз диапазона {

Компьютерно сгенерируйте случайную выборкуyиз

,,,)K

xx x

kk d-+11

,, )K

kd+1

Шаг 2. Новое состояние

. Определите состояниеyкак

. Вернитесь к шагу 1 сx.

xy: =

1, ,K d

xx(| , ,1K

y =-(,, ,,xxy

k11

На практике обычно используется слегка модифицированный алгоритм сэмплирования по Гиббсу, в котором за каждую итера цию последовательно корректируются все компоненты вектора со стояний, а не одна компонента.

Решения некоторых задач

Ниже даны подробные решения некоторых задач. Включение детально проработанных решений полезно студентам, использую щим эту книгу для самостоятельного изучения, и стимулирует ак тивное обучение. Обязательно попробуйте решить задачу самосто ятельно прежде, чем посмотреть ее решение.

2.4. Представим два метода решения этой задачи путем вычис ления дополнительной вероятности того, что среди четырех карт не окажется ни одного туза. Всегда полезно проверить свое реше ние, используя альтернативный метод.

Решение, метод 1: Этот метод использует неупорядоченное пространство элементарных исходов. Пространство исходов состоит из всех возможных комбинаций четырех различных карт. Это про-

странство исходов имеет

ство элементов, для которых среди четырех карт нет ни одного туза,

равно

48452

странство элементарных исходов. Оно состоит из всех возможных упорядочиваний 52 карт. Это пространство элементарных исходов содержит 52! равновероятных элемента. Число возможных упоря дочиваний, в которых среди первых четырех карт нет тузов, равно

48 47 46 45 48´´´´!

же можно найти как

задачу в другом контексте. Вероятность того, что на другой карте тоже не осталось баллов, есть не что иное, как вероятность полу чить 10 орлов и 10 решек за 20 подбрасываний монетки (подумай те, почему!). Чтобы вычислить вторую вероятность, используйте в качестве пространства элементарных исходов множество, состо ящее из всех возможных последовательностей букв Р и О ны 20. Таким образом, вероятность получить 10 орлов и 10 решек

.Поэтомувероятностьнеполучитьниодноготузаравна

=/,

Решение, метод 2: Этот метод использует упорядоченное про

2.5. Часто бывает полезно переформулировать вероятностную

, и искомая вероятность равна

07187

. Вероятность не получить ни одного туза так

(!)/!,48 47 46 45 48 52 0 7187´´´´ =

равновероятных элементов. Количе-

1 0 7187 0 2813-=,,

дли

равна

201762

/,=

Решения некоторых задач

. Следовательно, и искомая вероятность

189

тоже равна 0,1762.

2.6. Оптимальная стратегия состоит в том, что дочь (отец) от крывает первой дверь 1 (2). Если ключ (автомобиль) находится за дверью 1 (2), дочь (отец) открывает дверь 2 (1). Если за первой от крытой дверью находится коза, второй нужно открыть дверь 3. Тогда четыре из шести возможных положений автомобиля, ключа и козы будут приводить к выигрышу: положения «автомобиль, ключ, коза», «автомобиль, коза, ключ», «ключ, автомобиль, коза» и «коза, ключ, автомобиль» являются выигрышными, а два поло жения «ключ, коза, автомобиль» и «коза, автомобиль, ключ» про игрышными.

2.7. Если множестваAиBне являются непересекающимися, то PA PB() ()+ рые принадлежат обоим множествамAиB. Следовательно, нужно вычесть из

дважды считает вероятность множества исходов, кото-

PA B()и

PA PB() ()+

.ПустьA— событие «выбранная карта

имеет червонную масть», аB— событие «выбранная карта является тузом», тогда

PA()=

PA B()или =+-=

135245215216

2.8. Эта вероятность равна

PB()=

PA B()и =

()1

pp p

-- =

1211

,поэтому

Решения некоторых задач

190

2.9. Переформулируем задачу и будем говорить о случайном выборе точки внутри единичного квадрата. Вероятность того, что между появлениями первого и второго участника пройдет не боль ше 10 минут, равна вероятности того, что точка, случайным обра зом брошенная в единичный квадрат, попадет внутрь заштрихо ванной области, см. рисунок. Площадь заштрихованной области

равна

565611

-´ =

. Разделив эту площадь на площадь единичного

квадрата, вы получите искомую вероятность

2.11. Представьте себе, что две карты вынимают из мешка по очереди, одну за одной. Тогда по правилу произведения веро

ятность получить две красные карты равна

1421132013

´=

,аверо-

ятность получить одну красную и одну черную карту равна

1421720721142014

´+´=

. Альтернативное решение можно получить,

применив урновую модель из раздела 1.1: вероятность вынуть две

14221

красные карты равна

красную и одну черную карту равна

, а вероятность вынуть одну

1417121

ç ç

2.20.ПустьA— событие «первая рыбка была пираньей», аB— событие «вынутая из аквариума рыбка — пиранья». Искомая веро ятность — это

основной формуле

равны

и 1 соответственно. Пусть

. Эту вероятность можно вычислить по

PAB(|)

PAPBA

PAB

(|)

()(| )

. Значения

PA()иPB A(| )

()

— событие «первая рыбка

2 в аквариуме была не пиранья». Тогда по закону условной вероят ности

PB PBAPA PBAPA() (| )() (| )() .=+ =´+´=1

Следовательно,

PAB(|)

3423

. Альтернативный способ по

1212123

лучить ответ — применить правило Байеса в форме шансов из раз дела 2.4.

<<< < Предыдущая 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 1819 / 2119 20 21 > Следующая >>>

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]