Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Основы теории вероятностей. Что следует знать студенту-математику
.pdf
5.4. Статистический анализ результата компьютерного моделирования
161
Код программы на Python для расстояния
между двумя случайными точками внутри
единичного квадрата
import numpy as np # библиотека для математических вычислений
import numpy.random as rnd # модуль для случайных чисел
import numpy.linalg as la # модуль для вычислений линейной ал
гебры
-
def randompointinunitsquare(): # возвращает случайную точку, ле
жащую внутри единичного квадрата
return rnd.rand(2)
def simulation(n): # эта функция генерируетnпар точек
delta = np.zeros(n) # размещает в памяти массив длины
foriin range(n): # дляnпар точек
randompointinunitsquare()
P =
randompointinunitsquare()
Q =
delta[i]=la.norm(
return delta
def main(): # задает значения параметров и печатает вывод
1000000 # количество итераций
n =
rnd.seed(15534) # затравочное число 15534 запускает генератор
случайных чисел
delta = simulation(n) # вывод функции simulation()
print(‘average :’, np.mean(delta)) # математическое ожидание
расстояния
print(‘variance:’, np.var(delta)) # дисперсия расстояния
main()
) # расстояние междуPи
PQ-
(,)PQ
n
Q
Код программы на Python для расстояния
между двумя случайными точками внутри
единичного круга
-
import numpy as np # библиотека для математических вычислений
import numpy.random as rnd # модуль для случайных чисел
import numpy.linalg as la # модуль для вычислений линейной ал
гебры
-
162
Глава 5. Метод Монте-Карло и вероятности
def randompointinunitcirle(): # возвращает случайную точкуP,ле
жащую внутри единичного круга
hit = 0
while hit==0: # метод попаданий и промахов
P =- + ´12
rnd.rand(2) # случайная точка в квадрате
hit = la.norm(P)<1# принятьPкак результат, еслиPлежит
внутри круга, иначе повторить
return
P
def simulation(n): # эта функция генерируетnпар точек
delta = np.zeros(n) # размещает в памяти массив длины
(,)PQ
n
foriin range(n): # дляnпар точек
randompointinunitcirle()
P =
randompointinunitcirle()
Q =
delta[i]=la.norm(
) # расстояние междуPи
PQ-
Q
return delta
def main(): # задает значения параметров и печатает вывод
1000000 # количество итераций
n =
rnd.seed(15534) # затравочное число 15534 запускает генератор
случайных чисел
delta = simulation(n) # вывод функции simulation()
print(‘average :’, np.mean(delta)) # математическое ожидание
расстояния
print(’variance:’, np.var(delta)) # дисперсия расстояния
-
main()
ГЛАВА 6
ПЕРВОЕ ПРЕДСТАВЛЕНИЕ
О МАРКОВСКИХ ЦЕПЯХ
Эта глава познакомит вас с самыми основными понятиями
и свойствами марковских цепей. Марковская цепь, или цепь
Маркова, — это последовательность случайных величин, эволюци
онирующих со временем и слабо зависящих друг от друга. Эту
чрезвычайно полезную модель разработал в 1906 году русский ма
тематик А.А. Марков (1856—1922). В своей знаменитой статье,
написанной в 1913 году, он использовал эту вероятностную модель, чтобы провести статистический анализ частоты появления
гласных и согласных букв в тексте пушкинского романа «Евгений
Онегин». Марков эмпирически показал, что соседние буквы в романе Пушкина не являются независимыми, но подчиняются марковской теории о поведении зависимых случайных величин. Важнейшее свойство марковских цепей состоит в том, что их память
распространяется в прошлое только до текущего состояния.
Модель марковской цепи — чрезвычайно мощная вероятностная
модель, в настоящее время она используется в бесчисленном множестве приложений из самых разных областей, таких как распо
знавание речи, анализ ДНК, телекоммуникации, анализ запасов
и т .д. Марковская цепь — не исключение из правила, гласящего,
что простые модели часто наиболее полезны для анализа практи
ческих задач.
-
-
-
-
6.1. Модель марковской цепи
Марковскую цепь можно представить как динамический стоха
стический процесс, в котором переход из состояния в состояние
осуществляется случайным образом, и для которого имеет место
свойство: только текущее состояние влияет на последующее со
стояние. Другими словами, память процесса распространяется
только на самое последнее состояние. Живописной иллюстра
-
-
-
164
Глава 6. Первое представление о марковских цепях
цией к этому может служить изображение лягушки, прыгающей
по листам кувшинки с одного на другой с соответствующими ве
роятностями перехода, которые зависят только от положения по
следнего листа, на котором оказалась лягушка. Для того чтобы
подключить некоторую задачу к модели марковской цепи, необ
ходимо правильно выбрать случайную величину (величины) со
стояния цепи, чтобы выполнялось свойство отсутствия памяти
процесса. Вот основные этапы построения модели марковской
цепи:
Выбрать случайную величину, обозначающую состояние мар
•
ковской цепи, так, чтобы ее текущее состояние содержало всю
информацию о прошлом, необходимую для будущих состояний.
Задать одношаговые переходные вероятности для перемещения
•
из одного состояния системы в другое за один шаг.
Используя понятие состояния и выбирая это состояние подходящим образом, с помощью марковских цепей можно решить
удивительно много вероятностных задач. В этой главе предполагается, что множество рассматриваемых состояний такой цепи,
обозначаемоеI, является конечным. Это важное предположение.
Теория марковских цепей включает в себя очень много дополнительных тонкостей, когда пространство состояний счетно.
Для одношаговых переходных вероятностей используется обозначение
-
-
-
-
-
pij= вероятность перейти из состояния i всостояниеj за один шаг
для
жны удовлетворять условиям
для каждого
. Обратите внимание, что одношаговые вероятности дол
ij I, Î
iIÎ
p
.
ij
³ 0
для всех
ij I, Î
и
å
p
=1
ij
jIÎ
Пример 6.1. Неисправное оборудование для видеоконферен
ций выдает ошибки кластерного типа. Если последний бит полу
чен корректно, вероятность получить следующий бит тоже кор
ректно равна 0,99. Если последний бит был получен некорректно,
вероятность получить следующий бит корректно равна 0,95. Какая
модель марковской цепи подходит для такого случая?
Решение. В данном случае выбор множества состояний очеви
ден. Пусть состояние 0 обозначает, что последний посланный бит
-
-
-
-
-
6.1. Модель марковской цепи
165
получен некорректно, а состояние 1 — что последний посланный
бит получен корректно. Последовательность состояний системы
описывается цепью Маркова с одношаговыми переходными веро
ятностями
p
00
005= ,,p
095= ,,p10001= ,
01
и
p11099= ,
.
В следующем примере выбор подходящего состояния более
сложен. Вам может помочь представить себя на месте кого-то,
кому нужно написать компьютерную программу для численного
решения предложенной задачи, это облегчит выбор.
Пример 6.2. Рассеянный профессор каждое утро едет на маши
не из дома в офис, а каждый вечер из офиса домой. В течение дня
его водительские права лежат либо дома, либо в офисе. Если пра
ва лежат там, откуда профессор уезжает, он берет их с собой с ве
роятностью 0,5. Какая модель марковской цепи подходит для та
кого случая?
Решение. Возможно, первое, что пришло вам в голову, —
определить два состояния 1 и 0, где состояние 1 — ситуация «когда профессор ведет машину, у него есть с собой водительские права», а состояние 0 — ситуация «когда профессор ведет машину,
у него нет с собой водительских прав». Однако эти два состояния
не удовлетворяют условию марковской цепи: состояние 0 не дает
достаточно информации, чтобы предсказать, каким станет состояние системы на следующем шаге (почему?). Чтобы написать
распределение вероятности для следующего шага, вам нужна
информация о текущем местонахождении водительских прав про
фессора. Вы получите модель марковской цепи, если просто доба
вите эту информацию в описание состояний. Поэтому три состоя
ния системы следует определить так:
•
состояние 1 = профессор ведет машину, и его водительские пра
ва при нем,
•
состояние 2 = профессор ведет машину, а его водительские пра
ва находятся там, откуда он уехал,
•
состояние 3 = профессор ведет машину, а его водительские пра
ва находятся там, куда он едет.
Это описание состояний удовлетворяет марковскому свойству,
гласящему, что текущее состояние должно содержать достаточно
информации, чтобы предсказать будущие состояния. Эта модель
марковской цепи имеет пространство состоянийI= {1, 2, 3}. Чему
-
-
-
-
-
-
-
-
-
-
-
166 Глава 6. Первое представление о марковских цепях
равны одношаговые переходные вероятности
? Единственно
p
ij
возможные одношаговые переходы из состояния 1 — это переходы
в состояния 1 и 2 (проверьте это!). Одношаговый переход из со
стояния 1 в состояние 1 происходит, если профессор не забывает
взять водительские права в следующую поездку, поэтому
Аналогично рассуждая, получим
p
12
. Очевидно, что
05= ,
p
11
p130=
05= ,
Одношаговый переход из состояния 2 совершается всегда только
в состояние 3, поэтому
p
и
1=
23
pp
21 22
. Единственно воз
0==
можные переходы из состояния 3 — в состояние 1 и в состояние 2.
Одношаговый переход из состояния 3 в состояние 1 происходит,
если профессор берет права с собой в следующую поездку, поэто
му
.Аналогично,
05= ,
p
31
p
32
. Очевидно, что
05= ,
p
33
.Самый
0=
полезный способ представить одношаговые переходные вероятно
сти — написать их в виде матрицы:
из/в 1 2 3
05 05 0
,,
1
æ
ç
001
2
ç
ç
3
05 05 0
,,
è
ö
÷
÷
÷
ø
Анализ поведения марковской цепи
в зависимости от времени
В марковских цепях ключевую роль играютn-шаговые переход
ные вероятности. Для любого
ны как
n =12,,K
эти вероятности определе
-
.
.
-
-
-
-
-
n()
= вероятность перейти из состояния i всостояниеj за n шагов
p
ij
для всех
. Обратите внимание, что
ij I, Î
()1
pp
ij
.Каквычислить
=
ij
этиn-шаговые переходные вероятности? Далее вы увидите, что
эти вероятности можно вычислять с помощью произведений мат
риц. Многие вычисления для марковских цепей можно свести
к матричным вычислениям.
Так называемые уравнения Колмогорова — Чепмена для вы
численияn-шаговых переходных вероятностей
-
1
n
n
()
ppp
ij
()
=
å
ik
Î
kI
для
ij I, Î
kj
и n = 2,3,... .
n()
p
ij
имеют вид
-
-
6.1. Модель марковской цепи
167
Это рекуррентное соотношение означает, что вероятность пе
рейти из состоянияiв состояниеjзаnшагов получается суммиро
ванием вероятностей взаимоисключающих событий перейти из
состоянияiв некоторое состояниеkза первые
шагов, и затем
n -1
перейти из состоянияkв состояниеjза оставшийсяn-й шаг. Фор
мальное доказательство этих уравнений следующее. Для начально
го состоянияi,пустьA— событие «система оказалась в состоянии
послеnшагов процесса», и
j
в состоянии k после
вероятности,
()
PB p
k
=
n
()
-1
ik
и
n -1
() (| )( )=
PA PAB PB
å
kI
(| )=
PAB p
Î
kkj
шага». Тогда, согласно закону условной
, откуда следуют уравнения Колмого
— событие «система оказалась
B
k
k
.Таккак
k
()()=
PA p
n
ij
рова — Чепмена.
Давайте теперь докажем, чтоn-шаговые переходные вероятно
сти можно вычислить, умножив матрицу одношаговых переходных
вероятностей на себяnраз. Чтобы это сделать, обозначим P матрицу, элементами которой являются одношаговые вероятности
,и P
p
ij
сти
(m)
m()
p
ij
матрицу, элементами которой являются вероятно-
. В матричных обозначениях уравнения Колмогорова —
Чепмена принимают вид
(n)
P
Это дает
() ()32
P P P PPP
= ´=´´
те, что
PP P´´ ´L
()n
P
, в краткой записи
() ()21
PPPPP
задаетсяn-членным матричным произведением
(n -1)
= P
=´=´
Ї P для n = 2,3,... .
. Далее, вы получите
. Продолжая так рассуждать, вы увиди-
n
.Такимобразом,
P
()nn
PP
=
и это доказывает, что
-
-
-
-
,
-
-
,
n()
— (i,j)-й элемент n-членного матричного произведения
p
ij
n
.
P
Пример 6.3. На острове Надежды погода каждый день бывает
либо солнечной, либо облачной, либо дождливой. Погода завтраш
него дня зависит только от сегодняшней погоды и не зависит от
предыдущих дней. Если сегодня солнечно, завтра может быть сол
нечно, облачно или дождливо с вероятностями 0,70, 0,10 и 0,20.
Переходные вероятности для погоды равны 0,50, 0,28 и 0,22, если
текущий день облачный, и 0,40, 0,30 и 0,30, если текущий день до
ждливый. Чему равна вероятность того, что через три дня будет
солнечно, если сегодня облачно? Каково распределение вероятно
сти для погоды в некоторый день из отдаленного будущего?
-
-
-
-
Глава 6. Первое представление о марковских цепях
168
Решение. На эти вопросы можно ответить, построив марков
скую цепь с тремя состояниями. Будем говорить, что погода нахо
дится в состоянииS, когда солнечно, в состоянииC, когда облач
но, и в состоянииR, когда идет дождь. Эволюция погоды
описывается марковской цепью с пространством состояний
ISCR= {,,}
. Матрица P одношаговых переходных вероятностей
этой марковской цепи имеет вид
из/в SCR
070 010 020
,,,
S
æ
ç
050 028 022
,,,
C
ç
ç
R
040 0 30 030
,,,
è
ö
÷
.
÷
÷
ø
Чтобы найти вероятность того, что через три дня будет сол
нечно, вам нужно использовать произведение матриц P
0 61160 0 23248 015592
,,,
æ
ç
3
P
0 59784 0 23731 016485
=
,,,
ç
ç
0590
, 40 0 23992 0 16968,,
è
Из этой матрицы видно, что вероятность солнечной погоды
через три дня, если сегодня облачно, равна
p
ö
÷
÷
÷
ø
()
CS
.
3
:
.
,30 59784=
Каково распределение вероятности для погоды в некоторый
день из отдаленного будущего? Интуитивно вы можете предположить, что это распределение вероятности не будет зависеть от текущего состояния погоды. Это действительно так. Перебрав не
сколько значенийn, после 9 матричных умножений можно
обнаружить, что элементы матрицы P
9
совпадают построчно
с точностью до четырех знаков после запятой. То есть
0 60497 0 23481 016022
,,,
æ
ç
()
n
P
=
0 60497 0 23481 016022
,,,
ç
ç
0 60497 0 23481 016022,,
,
è
ö
÷
для всех
÷
÷
ø
n ³ 9
.
Поэтому погода в некоторый день в отдаленном будущем будет
солнечной, облачной или дождливой с вероятностями примерно
60,5%, 23,5% и 16,0% соответственно, независимо от текущего состоя
ния погоды. Интуитивно очевидно, что для достаточно большого вре
менного интервала эти вероятности также задают доли времени, когда
погода будет солнечной, облачной или дождливой соответственно.
Многие вероятностные задачи, которые кажутся не связанны
ми с марковскими цепями, можно моделировать с помощью мар
-
-
-
-
-
-
-
-
-
6.1. Модель марковской цепи
169
ковских цепей, применив немного воображения. Покажем это на
следующем примере. В нем хорошо видно, что мыслить в терми
нах состояний и переходов из одного состояния в другое бывает
очень полезно для анализа такой задачи (и многих других задач
прикладной теории вероятностей!).
-
Пример 6.4. Одновременно бросают шесть симметричных кос
тей. Каково распределение вероятности количества разных исхо
дов
12 6,, ,K
, то есть количества разных очков, выпавших на этих
костях?
Решение. В нахождении решения вероятностной задачи часто
помогает распознать, что две задачи эквивалентны, даже когда они
выглядят по-разному. Чтобы записать задачу о костях в терминах
марковских цепей, рассмотрим эквивалентную задачу о шести последовательных бросках одной игральной кости (эта переформулированная задача — один из вариантов задачи собирателя купонов).
Для переформулированной задачи определим состояние процесса
как количество различных очков, выпавших до текущего момента
включительно. Эволюция этого состояния описывается марковской
цепью с пространством состояний
I = {,, , }01 6K
, где состояние 0 —
начальное состояние. Одношаговые переходные вероятности здесь
равны (докажите это!)
ppip
1
,,
pp
Чтобы найти искомое распределение вероятности, нужно вы
числить вероятность
идля
ii
10==,.авсеостальные
6()
p
k0
6
для
+
,
ii01 1
k = 16,...,
i
1
6
i
15== =- ££
ij66
, что даст вам вероятность
получить ровноkразличных количеств очков, бросив одну кость
шесть раз. Умножив матрицуPодношаговых переходных вероят
ностей на себя шесть раз, получим матрицу
0 0 0001 0 0199 0 2315 0 5015 0 2315 0 0154
,,,,,,
æ
ç
0 0 0000 0 0068
, , 01290 0 4501 0 3601 0 0540
ç
ç
0 0 0 0014 0 0570 0 3475 0 4681
ç
0 0 0 0 0156 0 2165 0 5248 0 2431
ç
ç
0 0 0 0 0 0878 04942 0
ç
0 0 0 0 0 0 3349 06651
ç
ç
0000001
è
,,,,01260
,,,,
,,,,
,,,
()6
:
P
ö
÷
÷
÷
,
÷
.
÷
÷
4180
,,
÷
÷
÷
ø
-
-
-
-
170
Глава 6. Первое представление о марковских цепях
p
()
01
,
()6
показывает нам искомые пере
P
6
p
()
06
0 0001
,=
6
00154
()
6
,
p
02
. Обратите внимание, что
,=
00199
,=
,
p
()
6
03
0 2315
,=
Первый ряд матрицы
ходные вероятности:
()
6
05015
04
-=p
6
()
06
,=
p
109846
()
6
,
p
0 2315
,=
05
дает нам вероятность того, что понадобится боль
,
ше 6 бросков кости, чтобы получить все шесть возможных ис
ходов.
Задача 6.1. Вернитесь к примеру 6.2. Сейчас вечер среды,
и профессор едет домой, не зная, что вечером пятницы той же не
дели на дороге, ведущей к его дому, будет проводиться проверка
водителей. Какова вероятность того, что профессора оштрафуют
за отсутствие водительских прав, если в среду вечером он оставил
свои водительские права в университете? (Ответ: 0,625.)
Задача 6.2. На острове Радуги каждый день либо солнечно,
либо дождливо. Погода на следующий день зависит только от сегодняшней погоды и вчерашней погоды. Вероятность того, что
завтра будет солнечно, равна 0,9, если последние два дня было
солнечно, равна 0,45, если последние два дня было дождливо, равна 0,7, если сегодня солнечно, а вчера было дождливо, и равна 0,5, если сегодня дождливо, а вчера было солнечно. Постройте
марковскую цепь, которая описывает смену погоды на острове Радуги, и определите одношаговые переходные вероятности. Чему
равна вероятность того, что через пять дней будет солнечно, если
сегодня и вчера шел дождь? (Ответ: 0,7440.)
,
-
-
-
Задача 6.3. Автобус аэропорта должен высадить 25 пассажиров
на 7 остановках. Каждый пассажир с одинаковой вероятностью
может сойти на любой остановке, и все пассажиры действуют не
зависимо друг от друга. Автобус делает остановку, только если
кто-то хочет выйти. С помощью анализа марковских цепей вычис
лите распределение вероятности для количества раз, когда автобус
остановится. (Ответ: (0, 0,0000, 0,0000, 0,0000, 0,0046, 0,1392,
0,8562).)
Задача 6.4. Вернитесь к примеру 6.3. Используя индикаторные
случайные величины, вычислите математическое ожидание коли
чества солнечных дней в течение ближайших семи дней, если се
годня облачно. (Ответ: 4,049.)
-
-
-
-
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]