Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Введение в теорию вероятностей и математическую статистику. Учебное пособие
.pdf
В такой реализации метод моментов дает в качестве оценки мате-
D
x
матического ожидания выборочное среднее.
В качестве примера оценим методом моментов параметры a и b
[, ]ab
равномерного распределения на интервале
. Пользуясь получен-
ными ранее выражениями для математического ожидания и дисперсии
равномерного распределения (см. раздел 2.4.1), получаем уравнения
Mx
ab
{} ,
2
{} {} .
Mx
n
1
i
n
1
i
2
() 1
ba ab
2
12 2
2
(3.13)
n
2
i
n
1
i
Решение системы (3.13) легкого найти, введя новые переменные,
()/2ba
()2,ab
ax x x
bx x x
:
nnn
111
nnn
111
iii
nnn
111
nnn
111
iii
3
iii
3
iii
2
2
2
,
2
. (3.14)
3.2.4. Оценка характеристик
методом максимального правдоподобия
Наиболее важным с теоретической точки зрения общим методом
нахождения оценок является
Фишера
. Он основан на принятии за оценку неизвестного параметра
такого его значения, при котором плотность результатов опытов достигает наибольшего значения при полученных реализациях
результатов опытов (другими словами, при имеющейся выборке). Таким
образом, нужно искать
ˆ
метод максимума правдоподобия
, , ...,
12
, для которого
fx x x .
(, , , , ) max
12
n
xx
n
ˆ
81
Функция
x
x
значение
fx x x
(, , , , )
ˆ
называется функцией правдоподобия, а
12
, при котором она достигает наибольшего значения, –
ˆ
n
оценкой максимального правдоподобия параметра . Оценки макси-
мального правдоподобия обычно определяют, максимизируя
fx x x
ln ( , , , , )
, пользуясь тем, что логарифм – строго возраста-
12
ˆ
n
ющая функция.
n
В случае независимых опытов
ln ( , , , , ) ln ( , ) ,
fx x x fx
12
ˆˆ
ni
i
1
где ˆ(, )fx – плотность наблюдаемой случайной величины . Если
ˆ
(, )fx при всех х имеет непрерывную производную по
ˆ
, то
для определения оценки максимального правдоподобия получаем
уравнение
n
i
1
ln ( , )
fx
ˆ
ˆ
i
0
. (3.15)
Естественно, что оценками параметра могут служить только те
решения уравнения максимума правдоподобия (3.15), которые зависят
от элементов выборки. Если уравнение (3.15) имеет решения, не зависящие от
, , ...,
xx
12
Если существует эффективная оценка
, то их следует отбросить.
n
ˆ
xx
,,,
12
, то на
n
основании (3.11) уравнение максимума правдоподобия принимает вид
(, , , ) 0
cxx x . Отсюда следует, что если существует эф-
12
n
фективная оценка параметра , то она является единственным решением уравнения максимума правдоподобия. В случае существования достаточной статистики для все решения уравнения максимума
правдоподобия являются функциями этой достаточной оценки (статистики).
Для нахождения оценок максимума правдоподобия полезна следующая
теорема: если параметры
и
связаны взаимно однознач-
1
2
ной непрерывной зависимостью, то их оценки максимума правдоподобия связаны той же зависимостью.
82
В качестве примера оценим методом максимума правдоподобия
математическое ожидания нормального распределения (при известной
дисперсии):
x
2
2
; (3.16)
2
(, , ) exp
fx
2
1()
2
1()
ln ( , , ) ln(2 )
fx
22
2
2
x
. (3.17)
2
2
Дифференцируя уравнение (3.17) по и подставляя результат дифференцирования в (3.15), имеем
nn
11
2( ) 0
22
2
ii
xx
ii
11
n
n
. (3.18)
Из формулы (3.18) видно, что оценка равна среднему выборочному.
Контрольные вопросы к разделу 3.2
1. Что такое статистики?
2.
Что называют статистическими характеристиками?
3.
Что такое точечная оценка статистической характеристики?
4.
Является ли точечная оценка статистикой?
5.
Какие статистики называются достаточными?
6.
Может ли существовать несколько оценок для одной статисти-
ческой характеристики?
7.
Каким образом характеризуется качество оценки?
8.
Какие оценки называются состоятельными? Можно ли исполь-
зовать несостоятельные оценки для оценивания статистических характеристик?
9.
Какие оценки называются несмещенными? Что такое смещение
оценки?
10.
Может ли несостоятельная оценка быть несмещенной?
11.
Какая оценка называется эффективной?
12.
Может ли дисперсия какой-либо оценки быть ниже, чем дис-
персия эффективной оценки?
83
13. Что такое информация Фишера?
p
14.
Объясните метод моментов для получения оценок статистиче-
ских характеристик.
15.
Сколько начальных моментов нужно использовать для полу-
чения оценок всех параметров, определяющих нормальное распределение?
16.
В чем суть метода максимального правдоподобия?
3.3. Интервальные оценки
3.3.1. Доверительный интервал
Вследствие случайности результатов опытов невозможно установить достаточно узкие пределы, из которых ошибка оценки (т.е. отклонение оценки от оцениваемой характеристики) не выходила бы с полной гарантией. Поэтому возникает задача определения по результатам
опытов таких пределов, из которых ошибка оценки не выходила бы с
заданной вероятностью. Например, приняв частоту
ку его вероятности р, установить по результатам тех же опытов такую
границу возможных отклонений от p, которую модуль ошибки
не превосходил бы с заданной вероятностью . Эта граница,
естественно, будет тоже случайной в силу случайности результатов
опытов. Таким образом, речь идет о нахождении по результатам опытов такого случайного интервала (т. е. интервала со случайными концами), который с заданной вероятностью содержал бы неизвестное
значение вероятности р. Случайный
мый результатами опытов и не зависящий от неизвестных характеристик, который с заданной вероятностью накрывает неизвестную скалярную статистическую характеристику , называется
интервалом
енту доверия
клонения оценки
рительными границами
Опишем два метода, которые часто применяются для определения
доверительных интервалов.
Первый метод является удобным в случае положительной скаляр-
ной характеристики. Он основан на нахождении распределения
для этой характеристики, соответствующим коэффици-
. Величина
. Концы доверительного интервала называются дове-
1
.
интервал, полностью определяе-
называется уровнем значимости от-
события за оцен-
доверительным
84
отношения оценки
ˆ
характеристики к самой . Если оценка
ˆ
та-
кова, что это распределение не зависит от неизвестных характеристик,
то, зная его, можно найти вероятность попадания отношения
ˆ
в
любой интервал. Также можно по заданной вероятности найти ин-
ˆ
тервал, вероятность попадания в который отношения
равна .
Любой такой интервал будет доверительным интервалом. Обычно стараются получить доверительный интервал, симметричный относительно оценки. Однако это не всегда возможно. В некоторых случаях нижняя доверительная граница получается отрицательной, что не имеет
смысла. Поэтому доверительный интервал для положительной характеристики определяют формулой
ˆˆ
max 0, (1 ) (1 )
. (3.19)
При
1
0;1
этот интервал симметричен относительно
симметрия не достигается. Неравенства (3.19) выполняются то-
ˆ
. При
гда и только тогда, когда
11
(1 ) max 0, (1 )
ˆ
. (3.20)
Поэтому формула (3.19) определяет доверительный интервал для ,
соответствующий коэффициенту доверия , если
удовлетворяет
уравнению
11
P
(1 ) max 0, (1 )
FF
ˆˆ
max 0, (1 ) (1 )
Здесь
ˆ
Второй метод состоит в том, что для каждого возможного значе-
()Fx
– функция распределения случайной величины
ˆ
11
.
(3.21)
ˆ
.
ния неизвестной статистической характеристики выбирают такую
85
область, содержащую , в которую оценка
ятностью . Эта область в общем случае зависит от и, конечно, от .
Поэтому обозначим ее как
После этого для каждого фиксированного значения оценки
определяют множество значений
множество в общем случае зависит и от
его как ˆ()
ˆ
при этом значении . Следовательно, при любом
. Очевидно, что
()D
. Тогда можем записать, что
()D
ˆ
()PD
ˆ
тогда и только тогда, когда
ˆˆ
() ()PPD
ˆ
попадает с заданной веро-
. (3.22)
, при которых
ˆ
, и от , поэтому обозначим
ˆ
()
ˆ
. Это
. (3.23)
ˆ
()D
Это равенство показывает, что ˆ()
тельный интервал для характеристики , соответствующий коэффици-
енту доверия
.
представляет собой довери-
3.3.2. Доверительный интервал
для математического ожидания
Задача определения доверительных интервалов для математического ожидания и дисперсии для произвольного числа опытов n решена
только для случая нормально распределенной случайной величины.
Вычислим математическое ожидание и дисперсию среднего выборочного:
nn
11
Mx M M M
{} {} { }
Dx M x M x M M
{} { } {}
ii
nn
ii
11
nn
2
11
nn
11
ii
86
. (3.24)
2
ii
2
x
1
MM
2
n
nn
11{}
MM D
22
nn
ii i
11
ii
ii
11
ii
{} {}
{}
2
nn
D
. (3.25)
n
Равенство (3.25) выполняется, если элементы выборки независимы.
Если дисперсия
{}D
известна, то доверительный интервал для ма-
тематического ожидания находится очень просто. Для этого достаточно
заметить, что среднее арифметическое
как линейная функция нор-
мально распределенных случайных величин распределено нормально.
{}xM
Поэтому распределение величины
будет следующим:
fx M
{} exp
nnx
D
2{}
2
D
2{}
. (3.26)
В этом случае получаем следующее выражение для вероятности:
Px M
nnx
Сделав замену
Px M dt
2exp
2{}
D
txnD
{} exp 2 ( )
D
Приравняв (3.28) к , найдем
{} {}
xMx
DD
(3.29)
nn
{}
D
n
0
, получаем
n
, для которого
{}
{}
D
n
2
2
0
2
2{}
D
t
. (3.27)
dx
2
2
. (3.28)
87
есть доверительный интервал для математического ожидания с коэф-
x
фициентом доверия .
При большом числе опытов n этот метод можно применить для
{}M
приближенного определения доверительных интервалов для
при
любом распределении величины , так как при большом n распределение величины
стремится к нормальному. Оценивать математическое
ожидание при известной дисперсии приходится при измерении какойлибо величины прибором, точность которого известна. В этом случае
математическое ожидание результатов измерений равно сумме измеряемой величины и систематической ошибки прибора, а дисперсия
равна известной дисперсии ошибки прибора.
Контрольные вопросы к разделу 3.3
1. Что такое доверительный интервал?
2.
Что называют коэффициентом доверия?
Объясните суть оценивания при помощи доверительного интер-
3.
вала.
4.
Можно ли строить доверительные интервалы для векторных ста-
тистических характеристик?
5. Какие методы построения доверительного интервала вы знаете?
6.
В чем, по вашему мнению, состоит трудность построения дове-
рительных интервалов на практике?
7.
Что может служить серединой доверительного интервала?
Для какого случая задача построения доверительного интервала
8.
решена полностью?
9.
Какие, по вашему мнению, оценки предпочтительнее: точечные
или интервальные? Ответ обоснуйте.
3.4. Проверка статистических гипотез
3.4.1. Важнейшие распределения
математической статистики
Распределение
Пирсоном в 1900 году. Пусть
величины, распределенные по стандартному нормальному закону,
2
(читается как хи-квадрат) было открыто Карлом
, , ...,
12
88
– независимые случайные
n
n
F
F
F
F
~(0,1)
N
i
. Тогда распределение случайной величины
называется распределением
2
случайной величины
Если
2
~()n
22
– независимые случайные величины и
,
12
, то
~()n
2
~( )nn
12 12
2
с n степенями свободы,
имеет место
{}Mn
. В силу центральной предельной
2
~()n
{} 2Dn
,
~()n
11
2
i
1
i
. Для
.
2
теоремы, при большом числе степеней свободы распределение случай-
2
ной величины
2
() (,2)nNnn
2n
, то распределение хи-квадрат совпадает с экспоненциальным
~()n
может быть приближенно нормальным:
. Более точно, ()2 (0,1)nnN при
n
. Если
распределением.
Распределение Фишера–Снедекора – это двухпараметрическое
семейство абсолютно непрерывных распределений. Пусть
независимые случайные величины, распределенные по
nN
называется
обозначается как
. Тогда распределение случайной величины
i
распределением Фишера со степенями свободы n
~(, )
nn
. Математическое ожидание и диспер-
12
2
,
(/)( / )dd
11 2 2
~(),
ii
–
,
12
2
n
, n
и
1
2
сия случайной величины, имеющей распределение Фишера, примут
следующий вид:
,
n
{} , 2;
Mn
2( 2)
nn n
{} , 4.
Если
~(, )
Dn
(2)(4)
nn n
12 2
12
, то
1~(,)
nn
дится к единице, т. е. к распределению константы, при
Если
лению к
~(, )
nn
2
()n
, то случайные величины
12
1
при
n
2
.
2
2
n
2
2
21 2
2
nn
21
89
2
(3.30)
2
. Распределение Фишера схо-
сходятся по распреде-
n
1
,nn
12
.
Распределение Стьюдента – это однопараметрическое семейство
абсолютно непрерывных распределений, названо в честь Уильяма Сили Госсета (1876–1937), который первым опубликовал работы, посвященные распределению, под псевдонимом «Стьюдент». Пусть
,, ,...,
01 2
– независимые случайные величины, распределен-
n
ные по стандартному нормальному закону. Тогда распределение слу-
n
чайной величины
дента с n степенями свободы
1
называется распределением Стью-
0
i
n
1
i
~()tn
,
. Его плотность распределения
выражается уравнением
1
n
2
(1)/2
n
() 1
fx
(/2)
nn
2
x
. (3.31)
n
Случайная величина
kn
, причем все нечетные моменты равны нулю. В частности,
{} 0M
,
{} ( 2)Dnn
~()tn
.
имеет только моменты порядков
Распределение Стьюдента сходится к стандартному нормальному
при
n
. Квадрат случайной величины, имеющей распределение
Стьюдента, имеет распределение Фишера. Распределение Стьюдента
используется для точечного оценивания, построения доверительных
интервалов и тестирования гипотез, касающихся неизвестного среднего статистической выборки из нормального распределения. В частности, пусть
что
12
~(, )
N
i
борки, а через
, , ...,
2
. Обозначим через x выборочное среднее этой вы-
2
S – ее выборочную дисперсию, тогда
– независимые случайные величины, такие
n
x
~( 1)
tn
. (3.32)
Sn
3.4.1. Критерий проверки гипотез χ2 Пирсона
Полученные экспериментально оценки распределения дают возможность только строить различные гипотезы о распределении случайной величины. Поэтому возникает задача проверки гипотез. Эта
90
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]