о законе распределения статистики или о числовых характеристиках статистики. В частности, математическое ожидание любой статистики определяется выражением
∞ |
∞ |
n |
n |
E( g( x1 ,..., xn )) = ∫ ... ∫g( x1 ...xn )∏ fξ ( xi )∏dxi . |
|||
−∞ |
−∞ |
i=1 |
i=1 |
Примером статистики является среднее арифметическое выборочных значений
|
1 |
n |
x = |
|
∑xi , так что можно ставить вопрос о нахождении закона распределения |
|
||
|
n i=1 |
|
этой статистики или ее математического ожидания, дисперсии, других числовых характеристик.
1.4 Свойства точечных оценок характеристик и параметров распределений
Характеристики распределений – это функция распределения, плотность вероятности, математическое ожидание, дисперсия, моменты, и др.
Параметры распределений – это величины, от которых зависит функция распределения или плотность вероятности и которые остаются постоянными для всех выборочных значений. Например, нормальное распределение N (a,σ 2 )
имеет два параметра a и σ 2 , экспоненциальное E(λ) – один параметр λ , рав-
номерное u(a, b) – два параметра a и b .
В общем случае параметр распределения будем обозначать θ . Одной из задач математической статистики является получение оценок характеристик или параметров распределений по выборкам из этих распределений. Поскольку здесь отыскивается точки θ в пространстве характеристик или параметров, наилучшим образом характеризующая истинное значение характеристики или параметра, то такая задача называется задачей получения точечных оценок.
11
Любая точечная оценка является функцией выборочных значений:
θ =θ (x1 , x2 ,..., xn ) .
Оценка считается хорошей, если она обладает свойствами несмещенности, состоятельности, эффективности или хотя бы частью этих свойств.
Оценка θ параметров θ называется несмещенной, если ее математическое ожидание совпадает с оцениваемым параметром:
E(θ ) =θ .
Несмещенная оценка – это оценка, точная в среднем, то есть не содержащая систематической (постоянной) ошибки.
Величина b(θ) = E(θ ) −θ называется смещением оценки θ . Смещение явля-
ется функцией параметра θ .
Если смещение является линейной функцией параметра, b(θ) =α + βθ , то оно может быть устранено. Новая оценка
θ)1 = θβ−+α1 ,
которая называется исправленной оценкой, является несмещенной. Действительно,
|
E(θ)1 ) = E( |
θ −α ) = |
E(θ ) −α |
= |
|
|||
|
|
|||||||
|
|
|
|
β +1 |
β +1 |
|
||
= |
b(θ ) +θ −α |
= |
α + βθ −α +θ = θ(β +1) |
=θ . |
||||
β +1 |
||||||||
|
|
|
β +1 |
β +1 |
|
|||
Если смещение некоторой оценки b(θ) → 0 при n → ∞, то такая оценка на-
зывается асимптотически несмещенной.
Оценка θˆ параметра θ называется состоятельной, если она сходится к параметру по вероятности, то есть если
P(|θ −θ |> ε) → 0 .
n→∞
12
Состоятельная оценка – это оценка, которая становится все более точной по мере увеличения объема выборки n .
Теорема 1.1. Несмещенная оценка θ является состоятельной, если ее дис-
персия D(θ ) → 0 .
n→∞
Доказательство основано на неравенстве Чебышева. Считая оценку случайной величиной, получим
|
|
|
P(|θ) −θ |> ε) ≤ |
D(θ ) |
, ε > 0 . |
|
|
|
|
ε 2 |
|
||
|
|
|
|
|
|
|
Так как наша |
оценка несмещенная, то есть |
E(θ ) =θ , то |
||||
P(|θ) −θ |> ε) ≤ |
D(θ ) |
→) |
0 . |
|
|
|
ε 2 |
|
|
|
|||
|
D(θ )→0 |
|
|
|
||
Оценка θ параметра θ называется строго состоятельной, если она сходится к параметру почти наверное: P(θ) п.н.→θ ) =1.
Оценка θ параметра θ называется эффективной, если ее вариация
V (θ ) = E((θ −θ)2 )
минимальна в сравнении с любыми другими оценками. Вариация оценки V (θ )
– это математическое ожидание квадрата отклонения оценки от параметра. Ее не следует смешивать с дисперсией оценки D(θ ) = E((θ − E(θ ))2 ). Вариация совпадает с дисперсией только для несмещенных оценок. Для других оценок
V(θ ) ≥ D(θ ) . Действительно,
V (θ ) = E((θ −θ) 2 ) = E((θ − E(θ ) + b(θ))2 ) = D(θ ) +b2 (θ) ≥ D(θ ) .
Итак, эффективная оценка имеет минимальный средний разброс относительно параметра по сравнению с любыми другими оценками.
13
) |
E((θ)эф −θ )2 ) |
|
||
Величина e(θ ) = |
) |
) |
, где θэф |
– эффективная оценка, называется |
|
E((θ −θ )2 |
|
|
|
эффективностью оценки θ . Всегда 0 ≤ e(θ ) ≤1. Оценка называется эффектив-
ной, если ее эффективность e(θ ) равна 1.
Оценка θ параметра θ называется асимптотически эффективной, если ее
эффективность e(θ ) → 1.
n→∞
1.5 Неравенство Рао-Крамера
Для повышения эффективности точечной оценки необходимо уменьшать ее вариацию. Однако вариацию (и дисперсию) оценки нельзя уменьшить до нуля. Существует некоторая нижняя граница вариации оценки, которая определяется неравенством Рао-Крамера. Получим это неравенство.
Предположим, что плотность вероятности fξ ( x,θ ), параметр θ которой оценивается, дифференцируема по параметру. Предположим также, что границы области аргумента x , где функция плотности вероятности fξ ( x,θ ) отлична от нуля, не зависят от θ . Это условие выполняется, например, если fξ ( x,θ ) ≠ 0
на всей действительной прямой или для x > 0 . Примером распределения, которое не удовлетворяет этому условию, является равномерное распределение вида fξ ( x,θ ) = θ1 , 0 < x <θ .
Пусть θ =θ( x1 , x2 ,..., xn ) – некоторая оценка параметра θ , полученная по вы-
борке объема n из распределения fξ ( x,θ ). По определению смещения b(θ )
оценки θ имеем
E(θ −θ − b(θ )) = 0 ,
или
14
∞ ∞ )
∫L ∫(θ −θ − b(θ ))L( X ,θ )dX = 0 ,
−∞ −∞
где L( X ,θ ) – функция правдоподобия, X =( x1 , x2 ,..., xn ) – выборка объема n
(см. раздел 1.3). Дифференцируя обе части по θ (левую часть под интегралом),
получим |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
∞ ∞ |
′ |
|
|
|
|
|
|
|
∞ ∞ |
) |
−θ |
− b(θ )) |
∂L( X ,θ ) |
dX = 0 . |
|||||
∫L ∫( −1 − b (θ ))L( X ,θ )dX + |
∫L ∫ |
(θ |
|
∂θ |
|
||||||||||||||
−∞ −∞ |
|
|
|
|
|
|
|
|
−∞ −∞ |
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
Это равенство можно переписать в виде |
|
|
|
|
|
|
|
|
|
|
|||||||||
∞ ∞ |
|
|
) |
−θ − b(θ )) |
∂ln L( X ,θ ) |
|
|
|
|
|
|
′ |
|
|
|||||
∫L ∫ |
(θ |
|
|
|
∂θ |
|
L( X ,θ )dX =1 + b (θ ) , |
||||||||||||
−∞ −∞ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
что означает выполнение равенства |
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
) |
|
|
|
|
∂ln L( X ,θ ) |
′ |
θ ), |
|
|
|
|
||||
|
|
E |
(θ −θ − b(θ )) |
∂θ |
|
|
|
=1 + b ( |
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
а также равенства |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
E |
2 |
|
) |
|
|
|
∂ln L( X ,θ ) |
′ |
|
2 |
. |
|
|
||||||
|
(θ −θ − b(θ )) |
|
∂θ |
|
|
|
= (1 + b (θ )) |
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
Применяя к левой части неравенство Шварца [14], получим |
|
|
|
|
|||||||||||||||
|
) |
|
|
|
|
|
|
∂ln L( X ,θ ) |
2 |
|
|
|
2 |
|
|||||
|
|
|
|
|
2 |
|
|
|
|
|
|||||||||
E((θ −θ − b(θ )) )E |
|
|
|
|
|
|
|
′ |
|
|
|
|
|||||||
∂θ |
|
|
≥ (1 + b (θ )) . |
|
|||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
Так как
E((θ −θ − b(θ ))2 )= E((θ − E(θ ))2 )= D(θ ),
то мы получили неравенство Рао-Крамера
D(θ )≥ |
|
|
′ |
2 |
|
|
. |
|
|
|
|
|
|||
|
|
(1 + b (θ )) |
|
|
|
||
) |
|
|
|
|
|
|
|
|
|
|
∂ln L( X ,θ ) 2 |
|
|
||
|
E |
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
∂θ |
|
|
|
|
|
|
|
|
|
|||
Учитывая существующее неравенство между дисперсией и вариацией оценки, неравенство Рао-Крамера можно записать в виде
15
V (θ )≥ D(θ )≥ |
|
|
′ |
2 |
|
|
. |
|
|
|
|
|
|
||||
|
|
(1 + b (θ )) |
|
|
|
|||
) |
) |
|
|
|
|
|
|
|
|
|
|
|
∂ln L( X ,θ ) 2 |
|
|
||
|
|
E |
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
∂θ |
|
|
|
|
|
|
|
|
|
|
|||
Неравенство Рао-Крамера дает нижнюю границу для дисперсии и вариации оценки, определяемую правой частью неравенства.
Неотрицательная величина
|
|
∂ln L( X ,θ ) 2 |
|
∞ ∞ |
∂ln L( X ,θ ) |
2 |
||
I (θ)= E |
|
∂θ |
|
= |
∫L ∫ |
∂θ |
|
L( X ,θ )dX |
|
|
|
−∞ −∞ |
|
|
|||
называется информацией о параметре θ (по Фишеру), содержащейся в выборке объема n . С учетом введенного понятия информации неравенство Рао-Крамера можно записать в виде
V (θ))≥ D(θ))≥ (1 + b′(θ ))2 .
I(θ )
Для несмещенной оценки V (θ )= D(θ ), b(θ ) = 0 , и неравенство Рао-Крамера
приобретает простой вид
D(θ))≥ I(1θ ) , V (θ))≥ I(1θ ) ,
или
D(θ )I(θ ) ≥1, V (θ )I(θ ) ≥1.
Если вариация оценки θ совпадает с нижней границей, определяемой неравенством Рао-Крамера, то эта оценка является эффективной, т.е. для эффектив-
ной оценки неравенство Рао-Крамера превращается в равенство. Из неравенства
Рао-Крамера следует, что эффективность несмещенной оценки определяется
выражением
e(θ)) = V (θ)1)I(θ ) .
Обозначим
16
|
∂ln fξ ( x,θ ) 2 |
|
|
∞ |
∂ln fξ ( x,θ ) 2 |
|
|||
|
|
|
|
= |
|
|
|
fξ ( x,θ )dx , |
|
∂θ |
∂θ |
||||||||
i(θ)= E |
|
|
∫ |
|
|||||
|
|
|
|
|
−∞ |
|
|
|
|
где fξ ( x,θ ) – плотность вероятности генеральной совокупности, и назовем эту
величину информацией о параметре θ |
(по Фишеру), содержащейся в одном |
|
n |
выборочном значении. Учитывая, что |
L( X ,θ ) = ∏ fξ ( xi ,θ ) , легко показать, |
|
i=1 |
что информация о параметре, содержащаяся в выборке объема n , в n раз больше информации, содержащейся в одном выборочном значении, т.е.
I(θ ) = ni(θ ).
Обобщением неравенства Рао-Крамера на случай векторного параметра θ =(θ1 ,θ2 ,...,θm ) и несмещенной оценки θ =(θ)1 ,θ)2 ,...,θ)m ) является следую-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
) − I −1(θ |
)) неот- |
||||||||||||
щее утверждение: для несмещенной оценки θ |
|
|
матрица ( D(θ |
|||||||||||||||||||||||||||||
рицательно определенная, т.е. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
) − I −1(θ |
)) ≥ 0 , |
|
|
|
|
|
|
|
|
(1.1) |
||||||||||||
|
|
|
|
|
|
( D(θ |
|
|
|
|
|
|
|
|
||||||||||||||||||
где |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
) = (di, j )= E((θ)i − E(θ)i ))(θ)j − E(θ)j |
))), i, j = |
|
|
|
, |
|
|
||||||||||||||||||||||
|
|
|
|
1,m |
||||||||||||||||||||||||||||
|
|
D(θ |
||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
, |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
– дисперсионная матрица вектора оценки θ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|||||
|
|
|
∂ln L( X ,θ |
∂ln L( X ,θ ) |
∂ |
ln L( X ,θ |
||||||||||||||||||||||||||
|
|
|
|
|||||||||||||||||||||||||||||
I (θ )=( Ii, j ) = E |
|
) |
|
|
= −E |
|
) , i, j =1,m, |
|||||||||||||||||||||||||
|
|
|
|
|
∂θi |
|
∂θ j |
|
|
|
|
|
∂θi ∂θ j |
|
||||||||||||||||||
|
|
|
|
|
|
|
||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
– информационная матрица Фишера.
Неравенство Рао-Крамера (1.1) можно записать также в виде det D(θ ) det I(θ )) ≥1,
где det означает определитель матрицы. Величину
e(θ) ) = (det D(θ) ) det I(θ ))−1 ≤1
17