Savelova_Metod_Monte-Karlo_2011
.pdfНа рис. 1.1 изображены распределенные по нормальному закону случайные величины N 0,ζ , ζ 0,4; 1; 2,5 .
Случайная величина N 0,1 с |
Mξ 0 , |
Dξ 1 является стандарт- |
|||||
ной, а функция |
|
|
|
|
|
|
|
|
|
2 |
z |
|
|
x2 |
|
(z) |
|
|
|
||||
|
|
exp |
|
dx |
|||
|
|
|
|||||
|
|
|
|||||
|
|
2π |
|
|
2 |
|
|
|
|
|
0 |
|
|
|
|
называется интегралом ошибок (есть другие варианты интеграла ошибок), существуют таблицы для использования его значений в расчетах.
Для случайной величины, распределенной по нормальному за-
кону N a,ζ , справедливо правило «трех сигм»:
P a 3ζ ξ a 3ζ 0,997 .
11
Это значит, что из 1000 точек, распределенных по закону N a,ζ ,
вообще говоря, только три не попадают в интервал a 3ζ, a 3ζ
(рис. 1.2).
Пусть ξ – случайная величина, для которой Dξ . Тогда
имеет место неравенство П.Л. Чебышева:
P ξ Mξ h Dh2ξ ,
где h 0 произвольно.
Имеет место теорема (закон больших чисел П.Л. Чебышева).
Пусть ξ1,ξ2 ,...,ξn ,... – последовательность попарно независи-
мых случайных величин с равномерно ограниченными дисперсия-
ми Dξ |
i |
C2 |
, тогда при любом h 0 выполнено |
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
n |
1 |
n |
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
ξi |
Mξi |
|
|
|
||
|
|
|
lim P |
|
|
|
|
|
h |
0 . |
|||
|
|
|
|
|
|||||||||
|
|
|
n |
|
|
n i 1 |
n i 1 |
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Справедлива центральная предельная теорема (ЦПТ) Линде-
берга и Леви. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Пусть ξi , i 1, 2,..., n,... |
взаимно независимы и одинаково рас- |
|||||||||||||||||
пределены, Mξ |
i |
a , Dξ |
i |
2 . Тогда имеет место ЦПТ |
||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
η |
|
a |
|
|
1 |
x |
|
|
z2 |
|
||||
|
|
|
n |
|
|
|
|
|||||||||||
|
|
lim P |
|
|
|
|
x |
|
|
|
e |
|
2 dz , |
|||||
|
|
|
|
|
|
|
|
|
||||||||||
|
|
ζ |
|
n |
|
|
||||||||||||
|
|
n |
|
|
|
|
|
2π |
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
12 |
|
|
|
|
|
|
|
|
|
1 |
n |
ζ |
2 |
|
где ηn |
ξi , Mηn a , Dηn |
|
. |
||
|
|
|
|||
|
n i 1 |
n |
Следовательно, при n 1 имеет место приближенное равенство
|
|
ηn a |
|
|
3ζ |
0,997 , |
|||
|
|
||||||||
P |
|
|
|
|
|
|
|||
|
|
|
|
|
|||||
|
|
|
|
||||||
|
|
|
|
|
|
n |
|
которое используется в методе Монте-Карло для оценки точности приближенных вычислений.
В дальнейшем нам понадобятся некоторые распределения, ко-
торые встречаются довольно часто в различных приложениях тео-
рии вероятностей.
Распределение χ 2 с n степенями свободы определяется плотно-
стью
|
|
|
|
n |
1e |
x |
|
||||
|
|
|
|
|
|
|
, |
|
|||
p |
|
x |
C x 2 |
2 |
|
0 x , |
|||||
n |
|
n |
|
|
|
|
|
|
|
||
где нормирующий множитель |
|
|
|
|
|
|
|
||||
|
|
|
|
|
n |
|
|
|
1 |
||
|
|
|
Cn 2 |
2 |
|
n |
. |
||||
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
2 |
|
Имеет место теорема Пирсона.
Если ξ1,...,ξn независимы и распределены по нормальному за-
|
n |
кону N 0,1 , то случайная величина |
η ξi2 подчиняется χ 2 за- |
|
i 1 |
кону распределения с n степенями свободы.
На рис. 1.3 приведены графики плотности распределения χ 2
при n = 1, 3, 5, 10.
13
Распределение Стьюдента с m степенями свободы имеет плот-
ность
|
|
|
x2 |
m 1 |
|
|
|
|
||||||
|
|
|
2 |
|
|
|
|
|
|
|||||
pm x Bm 1 |
|
|
|
|
|
|
|
, x , |
||||||
|
|
|
|
|
||||||||||
|
|
|
m |
|
|
|
|
|
|
|
||||
|
|
|
|
|
m 1 |
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2 |
|
|
|
|
|
||||
Bm |
|
|
|
|
|
|
|
|
|
. |
||||
|
|
|
|
|
|
|
m |
|||||||
|
|
|
m |
|
||||||||||
|
|
|
|
|
|
|
|
|||||||
|
|
|
2 |
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
Имеет место теорема Стьюдента.
Пусть ξ и η – независимые случайные величины, ξ распреде-
лена по нормальному закону N (0,1) , а η подчиняется закону χ 2 с m степенями свободы. Тогда случайная величина
t m ξ
η
14
подчиняется закону распределения Стьюдента с m степенями сво-
боды.
При m t распределение Стьюдента стремится к нормаль-
ному закону распределения. На рис. 1.4 приведены графики рас-
пределения Стьюдента при m 4 и плотность нормального рас-
пределения N 0,1 .
1.2. Выборка. Выборочные оценки числовых характеристик случайных величин
Пусть ξ , – |
случайная величина; |
θ – множество |
значений параметра, ее |
характеризующих; |
p x,θ – плотность |
распределения искомой случайной величины, а ξ ξ1,...,ξn – вы-
15
борочный вектор, представляющий собой взаимно независимые
компоненты, имеющие одно и то же распределение. Выборкой
будем обозначать реализации выборочного вектора
xx1,..., xn
ξ .
Примечание. Случайная величина обозначается буквой ξ . Соот-
ветственно выборка – ξ ξ1,...,ξn . Значения случайной величины
|
x1,..., xn . В |
обозначаются как x , , соответственно x |
некоторых случаях мы будем отождествлять эти понятия, как, на-
пример, при взятии интегралов для вычисления математического ожидания, дисперсии и т.д.
Величина
n |
|
|
|
L x / θ p xi / θ |
(1.1) |
i 1
называется функцией правдоподобия и представляет собой плот-
|
|
|
|
ность распределения выборочного вектора ξ . |
|
|
|
Пусть η θ |
функция параметра θ . |
|
|
Обозначим |
|
|
, называемую |
t x функцию выборочного вектора |
x |
оценкой величины η θ .
Пример 1.1. Случайная величина ξ имеет неизвестные парамет-
ры – математическое ожидание a и дисперсию ζ2 . Дана выборка x1, x2 ,..., xn объема n. Для a предложена оценка
1 n
x n xi .
i 1
16
Для ζ2 – оценки
|
|
|
1 |
|
|
|
|
|
|
|
n |
|
|
|
|
|
|
|
|
||||||
|
s02 |
|
|
|
|
|
|
xi x 2 |
, |
||||||||||||||||
|
n |
1 |
|||||||||||||||||||||||
|
|
i 1 |
|
|
|
|
|
|
|
|
|||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
1 |
|
|
|
n |
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
s12 |
|
xi x 2 . |
|
|
||||||||||||||||||||
|
|
|
|
|
|
|
|||||||||||||||||||
|
|
|
|
n i 1 |
|
|
|
|
|
|
|
|
|||||||||||||
Пример 1.2. Пусть |
ξ равномерно |
распределена в интервале |
|||||||||||||||||||||||
0 x θ с плотностью |
p x,θ |
|
1 |
|
, длина интервала – неизвестный |
||||||||||||||||||||
|
θ |
||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
параметр распределения. Имеем |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
Mξ |
θ |
|
|
, |
|
Dξ |
θ2 |
. |
|
|
|
|||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||
|
|
|
2 |
|
|
|
|
|
|
|
|
|
12 |
|
|
|
|
|
|||||||
Для величины η θ θ предложены оценки |
|
|
|||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
2 n |
|
|
|
|
|
|
|
|
|||||
|
t1 x |
|
|
|
|
xi . |
|
|
|||||||||||||||||
|
|
|
|
|
|
|
|||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
n i 1 |
|
|
|
|
|
|
|
|
|||
Легко найти |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Mt |
|
|
2 |
nMξ θ , |
||||||||||||||||||||
|
|
|
|||||||||||||||||||||||
|
1 |
|
x |
|
|
|
|
|
|
n |
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
Dt |
|
|
4 |
nDξ |
θ2 |
. |
||||||||||||||||||
|
x |
|
|
|
|
||||||||||||||||||||
|
1 |
|
|
|
|
|
|
|
|
n2 |
|
|
3n |
||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||
Пусть вторая оценка имеет вид |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
t |
2 |
max x . |
|
|
||||||||||||||||||||
|
|
|
x |
|
|
|
|
|
|
|
1 i x |
|
i |
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Функция распределения t2 x |
|
выглядит так: |
|
|
|||||||||||||||||||||
|
F t2 P t2 x |
|
x |
n |
|||||||||||||||||||||
|
|
|
|
, |
|||||||||||||||||||||
|
|
||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
θ |
|
|||||
|
|
|
|
|
|
|
17 |
|
|
|
|
|
|
|
|
|
|
|
|
следовательно, плотность распределения равна
p t2 n |
xn 1 |
, 0 x θ . |
|||||||||||||||||||
|
|
|
|||||||||||||||||||
|
|
|
|
|
|
|
θn |
|
|
|
|
|
|
|
|
||||||
Тогда находим |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Mt |
|
|
n |
θ xndx |
|
n |
θ , |
||||||||||||||
2 |
|
|
|
|
|||||||||||||||||
|
|
|
θn |
|
0 |
|
|
|
|
|
n 1 |
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
Dt2 |
|
|
|
|
|
|
nθ2 |
|
|
|
|
|
|
. |
|||||||
|
n |
2 |
n 2 |
|
|||||||||||||||||
|
|
|
|
|
|
||||||||||||||||
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|||||||||
Рассмотрим третью оценку: |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
t |
|
|
|
n 1 |
t |
|
, |
|
|
|
|
|
|||||
|
|
|
|
|
|
|
2 |
|
|
|
|
||||||||||
|
|
|
3 |
|
|
|
|
n |
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
для нее получаем |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Mt3 θ , |
|
|
|
|
|
|
|
|||||||||
|
|
Dt3 |
|
|
θ2 |
|
|
|
. |
|
|
|
|
||||||||
|
|
n(n |
2) |
|
|
|
|
||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Имеем числовой пример для θ 1, n=10,
t1 1,325 , t2 0,871, t3 0,958 .
Из примеров 1.1, 1.2 видно, что для одной и той же величины могут быть предложены разные оценки, и надо знать свойства оце-
нок, чтобы уметь сравнивать их между собой.
18
1.3. Требования к оценкам: несмещенность, состоятельность, эффективность
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
величины η(θ) называется не- |
|
||||||||||||
|
Определение 1.1. Оценка t(x) |
|
|||||||||||||||||||||||||||||||
смещенной, если |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
для любого θ |
|
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
Mt(x) η θ |
|
|
|
|
|
|
|
||||||||||||||||
или |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
Mt(x) ... t(x)L(x / θ)dx |
η θ . |
|
(1.2) |
|
|||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
Rn |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Пример 1.1 (продолжение). |
|
|
Для |
оценки x |
|
математического |
|
|||||||||||||||||||||||||
ожидания a находим |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
Mx |
1 |
nMξ a , |
|
|
|
|
|
|
|
|
|||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
n |
|
|
|
|
|
|
|
|
|
|
|
|
|||
т.е. |
x |
|
|
– несмещенная оценка. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||
|
Для оценки дисперсии s2 |
получаем |
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Ms2 |
|
1 |
|
|
n |
|
|
2 |
|
|
|
|
|
|
|
1 |
|
|
n |
|
|
|
|
|
|
2 |
|
|||
|
|
|
M |
|
|
|
|
x x |
|
|
|
|
|
M |
|
x a |
|
a x |
|
||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||
|
|
|
|
|
0 |
|
n |
|
|
i |
|
|
|
|
|
n 1 |
|
i |
|
|
|
|
|||||||||||
|
|
|
|
|
|
|
1 i 1 |
|
|
|
|
|
|
|
|
i 1 |
|
|
|
|
|
|
|
|
|||||||||
|
|
1 |
|
|
|
n |
|
|
|
|
|
|
|
|
1 |
|
|
|
n |
|
|
|
1 |
|
n |
|
|
|
|
||||
|
|
|
|
M xi a 2 2 xi a |
|
a x j |
a xi |
a x j |
|
||||||||||||||||||||||||
n |
1 |
|
n |
|
2 |
||||||||||||||||||||||||||||
|
i |
|
|
|
|
|
|
|
|
|
|
|
|
j 1 |
|
|
|
n |
i, j 1 |
|
|
|
|||||||||||
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
1 |
|
|
|
2 |
|
Dξ |
|
n |
|
Dξ . |
|
|
|
|
|||||||||||
|
|
|
|
|
|
|
|
|
|
|
nDξ |
|
|
|
|
Dξ |
|
|
|
|
|||||||||||||
|
|
|
|
|
|
|
|
n 1 |
|
|
|
n2 |
|
|
|
|
|||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
n |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
Мы воспользовались независимостью элементов выборки и полу- |
|
||||||||||||||||||||||||||||||||
чили вывод: оценка s2 |
является несмещенной оценкой дисперсии |
|
|||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
ζ2 . |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Для другой оценки дисперсии s |
2 имеем |
|
|
|
|
|
|
|
|
|||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
19 |
|
|
|
|
|
|
|
|
|
|
|
|
Ms2 |
|
n 1 |
Ms2 |
|
n 1 |
Dξ , |
||
|
|
|
|||||||
|
1 |
|
n |
0 |
|
n |
|||
|
|
|
|
|
|||||
т.е. s2 |
– смещенная оценка дисперсии, но при этом |
n 1 |
1 при |
||||||
|
|||||||||
1 |
|
|
|
|
|
|
|
n |
|
|
|
|
|
|
|
|
|
n . Поэтому говорят, что оценка – асимптотически несмещен-
ная.
Пример 1.2 (продолжение)
Оценки t1 и t3 – несмещенные, но оценка t1 имеет большую дисперсию, чем оценка t3 при n 1 . Оценка t2 является асимпто-
тически несмещенной и при n 100 практически мало чем отлича-
ется от оценки t3 .
Определение 1.2. Оценка t(x) для величины θ называется
несмещенной оценкой с минимальной дисперсией, если для любой
другой несмещенной оценки |
|
для всех θ выполнено нера- |
t1(x) |
||
венство |
|
|
|
|
|
Dt(x) Dt1(x) .
Теорема 1.1 (единственности несмещенной оценки с минималь-
ной дисперсией)
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Если t1(x) |
и |
t2 (x) – две несмещенные оценки с минимальной |
||||||||||||||
дисперсией для величины η θ , |
θ , то P t1 |
t2 1. |
||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Доказательство. |
Пусть |
Dt1(x) Dt2 (x) d , Dt3 (x) d . Возь- |
||||||||||||||
мем оценку t |
|
1 |
t |
t |
|
|
. Имеем |
|
|
|
||||||
|
2 |
|
|
|
||||||||||||
3 |
x |
2 |
1 |
x |
|
|
x |
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
Mt |
|
1 |
Mt |
|
Mt |
|
|
η |
θ |
, |
||||
|
|
|
|
2 |
||||||||||||
|
|
3 |
x |
2 |
|
|
1 |
x |
x |
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
20 |
|
|
|
|
|