Savelova_Metod_Monte-Karlo_2011
.pdf
|
|
|
|
n |
|
||
ln L x,θ1,θ2 |
|
n |
|
1 |
|
||
|
|
xi θ1 |
2 0 . |
||||
|
|
2θ22 |
|||||
θ2 |
2θ2 |
|
i 1 |
|
Из данных уравнений находим оценки
|
|
ˆ |
|
1 |
n |
|
|
|
|
θ1 |
|
|
xi x , |
||||
|
|
|||||||
|
|
|
|
|
n i 1 |
|
|
|
ˆ |
|
1 |
n |
|
|
2 |
2 |
|
θ2 |
|
|
|
xi θ1 |
|
s1 . |
||
|
|
|
||||||
|
|
|
n i 1 |
|
|
|
Оценки ММ находим из системы уравнений
θ1 m1 ,
θ2 θ12 m2 ,
так как имеем
α1 Mξ θ1 ,
α2 Mξ2 Dξ Mξ 2 θ2 θ12 .
Из приведенной системы получаем оценки ММ:
|
|
|
|
1 |
|
n |
|
|
|
θ1 |
|
|
xi x , |
||||
|
|
|
||||||
|
|
|
|
n i 1 |
|
|
||
|
|
1 |
|
n |
2 |
2 |
2 |
|
θ2 |
|
|
xi |
θ1 |
s1 . |
|||
|
||||||||
|
|
n i 1 |
|
|
|
Таким образом, оценки ММП и ММ для нормального распреде-
ления совпадают.
Пример 1.3 (продолжение). Для распределения с плотностью
|
1 |
x |
1 |
1 |
|
|
p x,θ |
θ |
, 0 x 1, |
||||
|
||||||
|
θ |
|
||||
|
31 |
|
и неизвестным параметром |
|
θ 0 |
ранее была получена оценка |
||||
ММП: |
|
|
|
|
|
|
|
ˆ |
|
1 |
n |
|
1 |
|
|
θ |
|
|
ln |
|
. |
||
n |
x |
||||||
|
|
i 1 |
|
|
|||
|
|
|
|
i |
|
ММ дает нам уравнение для вычисления параметра :
|
|
1 |
1 |
|
1 |
|
1 |
|
|||
α Mξ |
|
xθ dx |
, |
||||||||
|
|
||||||||||
1 |
|
θ |
|
|
|
|
|
1 θ |
|||
|
|
|
|
|
|
|
|||||
|
|
|
0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
n |
|
|
||
|
α1 m1 |
|
xi . |
||||||||
|
|
|
|||||||||
|
|
|
|
|
n i 1 |
|
|
Отсюда находим оценку ММ:
θ 1x 1 .
Этот пример показывает, что оценки ММП и ММ различны.
1.5. Интервальное оценивание. Доверительные интервалы для параметров нормального распределения
Пусть t(x) – оценка параметра θ по выборке x1,..., xn .
Определение 1.6. Интервал t ,t называется доверительным
интервалом с коэффициентом доверия β , если выполнено
|
t θ t |
|
|
|
P |
β . |
(1.17) |
Обычно |
рассматривают значения |
β 0,90; 0,95; 0,99; |
0,999. |
Пусть Ft z |
|
|
|
– функция распределения оценки t(x) : |
|
||
|
32 |
|
|
|
|
|
|
|
Ft (z) P t(x) z η z t(x) L x,θ dx |
, |
Rn
где
1, u 0, η u 0, u 0
единичная функция Хевисайда.
Пусть выполнены уравнения (рис. 1.5)
Ft zβ |
1 β |
, |
|||
2 |
|||||
|
|
|
|||
Ft zβ |
|
1 β |
. |
||
|
|||||
|
2 |
|
|
Очевидно, выполнено равенство
P zβ z zβ Ft zβ Ft zβ |
1 β |
|
1 β |
β , |
|
2 |
2 |
||||
|
|
|
откуда находим
P zβ t θ zβ+ P t zβ θ t zβ β .
33
Пример 1.6. Пусть F x,θ |
х |
, |
0 x θ , функция распределе- |
|
θ |
||||
|
|
|
ния случайной величины ξ с неизвестным параметром θ 0 . Рас-
смотрим оценку для θ:
|
t2 |
max xi . |
|
||||||||
|
|
|
|
|
1 i n |
|
|||||
Имеем |
|
|
|
|
|
|
|
|
|
|
|
|
z n |
|
|
|
|
||||||
Ft2 z |
|
|
|
, |
0 z θ . |
||||||
|
|
|
|||||||||
|
θ |
|
|
|
|
||||||
Решаем уравнение |
|
|
|
|
|
|
|
|
|
|
|
z n |
1 β |
|
|||||||||
|
β |
|
|
|
|
|
, |
||||
|
2 |
|
|
||||||||
|
|
|
|
|
|||||||
|
θ |
|
|
|
|||||||
откуда находим |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
z |
n |
1 β |
. |
||||||||
|
|||||||||||
|
β |
|
|
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
В результате получаем доверительный интервал с коэффициентом доверия β:
P θn
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
1 β |
|
|
|
1 β |
|
|
2 |
|
|
|
|
2 |
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
t2 |
θn |
|
|
|
P t2 n |
|
|
|
|
θ t2 n |
|
|
|
|
|
β . |
||
|
|
|
|
1 |
β |
|
|
β |
||||||||||||
2 |
2 |
|||||||||||||||||||
|
|
|
|
|
|
1 |
|
|
|
|||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Рассмотрим три задачи построения доверительных интервалов для параметров нормального распределения.
Задача 1. Имеется x1,..., xn выборка элементов случайной ве-
личины ξ N a,ζ , распределенной по нормальному закону, для которой среднеквадратичное отклонение ζ Dξ известно, а ма-
34
тематическое ожидание a Mξ неизвестно. Требуется дать оценку параметра а и построить доверительный интервал с коэффициен-
том доверия β .
Решение. Возьмем оценку
|
|
1 |
n |
|
|
|
|
|
|
|
|
|
x |
xi . |
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|||
|
|
n i 1 |
|
|
|
|
|
|
|
|
||
Величина x имеет нормальное распределение |
|
ζ |
|
|||||||||
N a, |
|
|
|
|
, так как |
|||||||
|
|
|
||||||||||
|
|
|||||||||||
|
|
|
|
|
|
|
|
|
n |
|
||
Mx a , |
|
|
|
|
|
|
|
|
||||
Dx |
1 |
|
nDξ |
ζ2 |
|
|
|
|
|
|
|
|
n2 |
n |
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
(последнее равенство верно в силу независимости элементов вы-
борки).
Справедливо равенство
|
|
|
|
|
x a |
|
|
|
|
|
|
1 |
|
z |
|
u2 |
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||
|
|
|
|
P z |
|
|
|
|
|
|
|
z |
|
|
|
|
|
e |
|
2 du (z) . |
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||
|
|
|
ζ |
|
n |
|
|
|
|
|
|
|
|
|||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
2π |
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
z |
|
|
|
|
|
|
|
|
|
|
|
||
Выберем zβ из уравнения zβ β . Тогда имеем равенство |
|
|||||||||||||||||||||||||||||
|
ζ |
|
|
|
ζ |
|
|
|
|
|
|
|
ζ |
|
|
|
|
ζ |
|
|||||||||||
P zβ |
|
|
|
x a zβ |
|
|
|
|
|
|
|
P x zβ |
|
|
|
|
|
a x zβ |
|
|
|
|
|
β . |
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||
|
|
n |
|
|
|
|
|
n |
|
|
|
|
|
|
|
|
n |
|
|
|
|
n |
|
Таким образом, построили доверительный интервал для параметра
|
|
ζ |
|
ζ |
|
|||||
а x zβ |
|
|
|
, x zβ |
|
|
|
|
с коэффициентом доверия β . |
|
|
|
|
|
|
|
|||||
|
|
|
n |
|
|
n |
|
|||
|
Задача 2. |
Требуется по выборке x1,..., xn , состоящей из эле- |
ментов случайной величины ξ N a,ζ с известным математиче-
35
ским ожиданием a Mξ, |
найти оценку и доверительный интервал |
||||||||||||||
для неизвестного параметра . |
|
|
|
|
|
|
|
|
|||||||
Решение. Пусть для ζ2 |
оценка имеет вид |
||||||||||||||
|
|
|
|
|
|
1 |
|
n |
|
|
|
|
|
|
|
|
s2 |
|
(xi a)2 . |
||||||||||||
|
|
|
|||||||||||||
|
|
|
|
|
|
n i 1 |
|
|
|
|
|
|
|||
Очевидно, что случайная величина |
|
|
|
|
|
|
|
||||||||
|
|
xi |
a |
N 0,1 . |
|||||||||||
|
|
|
|
ζ |
|||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
||||
Следовательно, по теореме Пирсона величина |
|||||||||||||||
|
ns2 |
|
|
n |
x |
a 2 |
|||||||||
|
|
|
|
|
|
i |
|
|
|
|
|||||
|
ζ2 |
|
|
||||||||||||
|
|
ζ |
|
||||||||||||
|
|
|
i 1 |
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
подчиняется χ n2 с n степенями свободы. |
|
|
|
||||||||||||
Пусть выполнено уравнение |
|
|
|
|
|
|
|
|
|||||||
|
z± |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
β |
|
|
|
|
|
|
|
|
|
1 β |
|
|||
|
χn2 x dx |
|
. |
||||||||||||
|
|
||||||||||||||
|
0 |
|
|
|
|
|
|
|
|
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Тогда имеем равенство |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
z |
|
|
|
||
|
ns2 |
|
|
|
|
|
|
|
β |
|
|
|
|||
|
|
|
|
|
|
2 |
|
||||||||
P zβ |
|
|
|
|
zβ |
|
|
χn (x)dx β , |
|||||||
|
|
2 |
|
||||||||||||
|
ζ |
|
|
|
|
|
|
|
|
z |
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
β |
|
|
|
откуда получаем доверительный интервал для неизвестного пара-
метра ζ2 с коэффициентом доверия β:
|
2 |
|
2 |
|
ns |
2 |
|
|
|
ns |
|
ζ |
|
|
|
β . |
|||
P |
|
|
|
|
|
|
|||
|
|
|
zβ |
||||||
zβ |
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
36 |
|
|
|
|
|
Задача |
3. |
По |
выборке |
|
|
x1,..., xn |
случайной |
величины |
||||||||||
ξ N a,ζ |
с неизвестными параметрами a и ζ найти доверитель- |
|||||||||||||||||
ные интервалы с коэффициентом доверия β . |
|
|
|
|
|
|||||||||||||
Теорема 1.6 (теорема Фишера). Пусть |
для математического |
|||||||||||||||||
ожидания и дисперсии предложены оценки |
|
|
|
|
|
|||||||||||||
|
|
|
|
|
|
|
|
|
|
1 |
|
n |
|
|
|
|
|
|
|
|
|
|
|
x |
xi , |
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
n i 1 |
|
|
|
|
|
|||
|
|
|
|
|
|
|
1 |
|
n |
|
|
|
|
|
|
|||
|
|
|
|
s2 |
(xi a)2 . |
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
n i 1 |
|
|
|
|
|
|
|||||
Тогда x и s2 |
независимы между собой. Величина |
ns2 |
|
подчиняет- |
||||||||||||||
ζ2 |
||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
ся χ 2 |
распределению с (n 1) степенями свободы. |
|
||||||||||||||||
n 1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Доказательство. |
Пусть |
C Cij , i, j 1,..., n |
– ортогональная |
|||||||||||||||
матрица для преобразования случайных величин |
x1,..., xn , для ко- |
|||||||||||||||||
торой выполнено |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
n |
|
|
|
|
|
|
|
1, i j, |
|
|
|
|
||
|
|
|
|
Cik C jk |
δij |
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|||||||||
|
|
|
|
k 1 |
|
|
|
|
|
|
|
0, i j, |
|
|
|
|
||
|
|
|
|
n |
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
CkiCkj |
δij , |
|
|
|
|
|
||||||||
|
|
|
|
k 1 |
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
C |
1 |
|
|
, i 1,2,..., n . |
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
ni |
|
n |
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
Обозначим
37
|
n |
|
|
|
yk |
Cki xi |
a . |
|
(1.18) |
|
i 1 |
|
|
|
Случайные величины yk , |
k 1,..., n , |
нормально |
распределены |
|
N 0,ζ , так как |
|
|
|
|
|
Myk 0 , |
|
|
|
|
1, k l, |
|
|
|
M yk , yl ζ2δkl , δkl |
k l, |
k,l 1,..., n , |
||
|
0, |
|
|
и независимы, поскольку для распределенных по нормальному за-
кону случайных величин из некоррелированности следует их неза-
висимость. Из свойств матрицы С легко получить (см. задачи 1а, 1б, 1в задания 2)
n |
|
|
|
n |
|
yk2 |
|
(xi |
|||
k 1 |
|
|
|
i 1 |
|
n |
1 |
|
n |
||
yn Cni (xi a) |
|
|
(xi |
||
|
|
|
|
||
|
|
||||
i 1 |
|
n i 1 |
n
ns2 (xi x )2
i 1
a)2 ,
a) n (x a) ,
n 1
yk2 .
k 1
(1.19)
(1.20)
(1.21)
Из уравнений (1.20) и (1.21) следует, что x и s2 независимы меж-
ду собой.
По теореме Пирсона величина
|
|
ns2 |
n 1 |
|
y 2 |
|
|
|
|
|
k |
|
|
|
|
ζ2 |
||||
|
|
|
||||
|
|
k 1 |
|
ζ |
||
|
|
|
|
|
|
|
подчиняется χ 2 |
распределению с (n 1) степенями свободы. |
|||||
n 1 |
|
|
|
|
|
|
Теорема доказана.
38
Далее воспользуемся теоремой Стьюдента: величина
|
|
|
|
x a |
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
x a |
|
|
|
|
|
|
|
|
|
|
|
|
|
t |
|
|
|
ζ |
|
n |
|
|
|
|
||
n 1 |
|
n 1 |
||||||||||
|
|
|
|
|
|
|
s |
|||||
|
|
|
|
|
||||||||
|
|
|
|
|
ns |
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
ζ2 |
|
|
|
|
|
|
подчиняется распределению Стьюдента Sn 1(x) с n 1 степенями свободы. Следовательно, выполнено уравнение
P zβ |
|
|
x a |
zβ |
zβ |
zβ |
|
|
|
Sn 1(x)dx 2 |
Sn 1(x)dx β . (1.22) |
||||
n 1 |
|||||||
|
s |
||||||
|
|
|
|
zβ |
0 |
||
|
|
|
|
|
Из уравнения (1.22) находим доверительный интервал для a с ко-
эффициентом доверия β при n 1 :
|
zβ s |
|
|
|
|
|
|
zβ s |
|
|
|
β . |
|
||
P x |
|
|
|
a x |
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|||||||||
|
|
n 1 |
|
|
|
|
|
|
|
n 1 |
|
|
|||
Для получения доверительного интервала для параметра |
ζ2 вос- |
||||||||||||||
пользуемся тем, что случайная величина |
ns2 |
имеет χ n2 1 распреде- |
|||||||||||||
|
|||||||||||||||
|
|
|
|
|
|
|
|
|
|
ζ2 |
|
|
|
|
|
ление с (n –1) степенями свободы. |
|
|
|
|
|
|
|
|
|
|
|||||
Следовательно, выполняется уравнение |
|
|
|
|
|
||||||||||
|
|
|
|
|
ns |
2 |
|
|
|
|
|
|
|
||
|
P z |
|
|
z β , |
|
(1.23) |
|||||||||
|
|
β |
|
|
ζ2 |
β |
|
|
|
|
|
где
z± |
|
|
|
|
β |
|
1 β |
|
|
|
χn2 1(x)dx |
. |
||
2 |
||||
0 |
|
|
||
|
|
|
||
|
39 |
|
|
Из уравнения (1.23) находим доверительный интервал для пара-
метра ζ2 :
2
ns P zβ
2
2 ns β . (1.24) z
β
1.6. Проверка статистических гипотез. Критерий согласия Колмогорова. Критерий χ 2
|
– выборка x1 x2 ... xn , отве- |
||
Пусть x x1,..., xn |
|||
чающая случайной величине ξ . |
Введем эмпирическую функцию |
||
распределения |
|
|
|
|
|
1 |
n |
|
Fn x |
η(x xi ) . |
|
|
|
||
|
|
n i 1 |
На рис. 1.6 изображена эмпирическая функция распределения.
40