2. Информация Фишера.
По
определению информация Фишера
,
а при выполнении условий регулярности
(
– соотношение 3.1):
.
Вычисление интеграла в правой части оказывается не всегда удобным, поэтому часто пользуются иным способом вычисления информации Фишера.
Утверждение 3.6.
Пусть выполнены условия регулярности R1-R5, функция правдоподобия дважды дифференцируема по и
тогда,
.
Доказательство:
При выполнении условий регулярности R1-R5 справедливо соотношение (3.1):
Продифференцировав левую и правую часть по получим:
,
,
,
,
,
,
.
Слева
от знака равенства располагается
информация Фишера
,
поэтому, окончательно:
.
Утверждение доказано.
Утверждение 3.7. (аддитивность информации Фишера)
Пусть
в наблюдении
случайные величины
(
)
совместно независимы и имеют плотности
вероятности
соответственно. Если выполнены условия
утверждения 3.6, тогда информация Фишера
:
,
где
информация Фишера, содержащаяся в
наблюдении, образованном одной случайной
величиной
.
Доказательство:
Поскольку случайные величины ( ) совместно независимы и имеют функции плотности вероятности ( ), то функция правдоподобия :
,
тогда,
.
В условиях утверждения справедливо утверждение 3.6:
,
откуда
,
где
- информация Фишера, содержащаяся в
наблюдении, образованном одной случайной
величиной
.
Утверждение доказано.
Утверждение 3.8. (информация Фишера в случае выборки)
Пусть наблюдение является выборкой из распределения с плотностью вероятности . Если выполнены условия утверждения 3.6, тогда информация Фишера
,
где
– информация Фишера, содержащаяся в
наблюдении, образованной случайной
величиной, например,
.
Доказательство:
В условиях утверждения справедливо утверждение 3.7, согласно которому информация Фишера:
,
.
Поскольку
случайные величины
(
)
образуют выборку, то все плотности
вероятности одинаковы,
,
тогда:
,
и следовательно,
.
Утверждение доказано.
Замечание
Пусть выполнены условия теоремы 3.4 и – выборка, тогда для всякой статистики , являющейся несмещенной оценкой величины , согласно неравенству Рао-Крамера (теорема 3.4):
.
В силу утверждения 3.8 , тогда:
,
где
– величина, не зависящая от
.
Полученное неравенство показывает, что
в условиях регулярности (и некоторых
дополнительных условий) дисперсия
всякой несмещенной оценки в случае
выборки не может убывать быстрее, чем
.
3. Эффективные оценки. Экспонентное семейство распределений.
Определение 3.9.
Оценка
называется эффективной
оценкой
,
если
1) является несмещенной оценкой :
,
2)
дисперсия оценки
совпадает с нижней границей Рао-Крамера:
.
Утверждение 3.10.
Пусть выполняются условия теоремы 3.4, тогда
1)
если
является эффективной оценкой
,
то функция правдоподобия
имеет вид
,
где
,
и
некоторые функции.
2) если функция правдоподобия имеет вид
,
тогда
является эффективной оценкой
.
Доказательство:
1)
Пусть
является эффективной оценкой, тогда
согласно определению 3.9:
,
где . Согласно следствию 3.5 из этого равенства следует, что:
,
поскольку
по определению
,
то
,
тогда:
.
Предполагая, что существуют интегралы от левой и правой частей, проинтегрируем по :
,
потенцируя получим:
,
где
,
.
2)
Пусть функция правдоподобия
имеет вид:
,
логарифмируя и дифференцируя левую и правую часть по , отсюда получим:
,
,
,
,
отсюда
в силу следствия 3.5 для дисперсии
получим равенство:
,
где
,
тогда по определению оценка
является эффективной.
Утверждение доказано.
Утверждение
3.10 оказывается очень полезным, поскольку
в большинстве случаев функция правдоподобия
легко выписывается исходя из условий
рассматриваемой задачи. Если при этом
функция правдоподобия является
экспонентной:
,
то
при выполнении некоторых условий из
утверждения 3.10 непосредственно следует,
что
является эффективной оценкой величины
.
Заметим,
что если выполнены условия теоремы 3.4
и существует эффективная оценка для
,
то существуют эффективные оценки для
функций вида
,
где
и
действительные числа. Действительно,
если
эффективная оценка
,
тогда в силу следствия 3.5:
,
,
где
.
Преобразуя последнее равенство, получим:
,
,
где
,
,
.
В силу следствия 3.5 отсюда следует, что
является эффективной оценкой
.