8. Функция правдоподобия, функция вклада и информация Фишера. Условия регулярности и свойства функции правдоподобия и функции вклада в условиях регулярности. Теорема о неравенстве Рао-Крамера.
Определение 3.1.
Пусть
– вектор случайных величин и
функция плотности вероятности (или
вероятность) вектора
.
Функция
рассматриваемая как функция параметра
при фиксированных
,
...,
называется функцией правдоподобия.
Определение 3.2.
Пусть – вектор случайных величин и – функция правдоподобия. Случайная функция
называется функцией вклада.
Определение 3.3.
Пусть
– вектор случайных величин и
– функция вклада. Функция
называется информацией Фишера о параметре , содержащейся в наблюдении .
Пусть
– множество всех возможных значений
случайного вектора
и
– множество всех допустимых значений
параметра
,
далее будем считать, что выполнены
следующие условия, которые назовем
условиями регулярности:
R1) Множество
не зависит от параметра
.
R2) На множестве функция правдоподобия положительна:
при всех .
R3) Функция правдоподобия
дифференцируема по параметру
при всех
и всех
.
R4) При всех справедливо равенство:
.
R5) При всех
существует момент
:
Теорема 3.4. (неравенство Рао-Крамера)
Пусть наблюдение представляет собой
вектор случайных величин
,
– функция правдоподобия вектора
,
параметр
,
где
– непустое множество допустимых значений
параметра,
– оценка величины
.
Если,
1) статистика является несмещенной оценкой величины ;
2) функция дифференцируема по при всех ;
3) выполнены условия регулярности R1-R5;
4) при всех существует производная:
;
тогда
,
где
информация Фишера о параметре
,
содержащаяся в наблюдении
.
Доказательство:
1) По условию 1 статистика является несмещенной оценкой :
.
Продифференцируем левую и правую часть по (производная левой части существует в силу условия 2, в правой – в силу условия 4) и в правой части внесем дифференцирование под знак интеграла (в силу условия 4):
Преобразуем правую часть в силу условия R2 (также как при выводе 3.1):
|
(3.2) |
2) При выполнении условий регулярности справедливо соотношение (3.1):
Умножим левую и правую часть на и внесем в правой части как множитель, не зависящий от переменных интегрирования , …, :
|
(3.3) |
3) Из (3.2) вычитаем (3.3):
.
По условию 1 теоремы статистика является несмещенной оценкой :
.
В
условиях регулярности (условие 3 теоремы)
математическое ожидание функции вклада
равно нулю (соотношение 3.1):
.
Таким образом:
.
В соответствии со свойством ковариации:
.
Таким образом,
.
Отсюда,
,
поскольку по определению информация Фишера .
Теорема доказана.
9. Функция правдоподобия, функция вклада и информация Фишера. Условия регулярности, формулировка теоремы о неравенстве Рао-Крамера (без доказательства) и следствие из теоремы о неравенстве Рао-Крамера. Обобщение неравенства Рао-Крамера для векторных оценок. Неравенства для отдельных компонент вектора оценки.
Определение 3.1.
Пусть – вектор случайных величин и функция плотности вероятности (или вероятность) вектора . Функция рассматриваемая как функция параметра при фиксированных , ..., называется функцией правдоподобия.
Определение 3.2.
Пусть – вектор случайных величин и – функция правдоподобия. Случайная функция
называется функцией вклада.
Определение 3.3.
Пусть – вектор случайных величин и – функция вклада. Функция
называется информацией Фишера о параметре , содержащейся в наблюдении .
Пусть – множество всех возможных значений случайного вектора и – множество всех допустимых значений параметра , далее будем считать, что выполнены следующие условия, которые назовем условиями регулярности:
R1) Множество не зависит от параметра .
R2) На множестве функция правдоподобия положительна:
при всех .
R3) Функция правдоподобия дифференцируема по параметру при всех и всех .
R4) При всех справедливо равенство:
.
R5) При всех существует момент :
Теорема 3.4. (неравенство Рао-Крамера)
Пусть наблюдение представляет собой вектор случайных величин , – функция правдоподобия вектора , параметр , где – непустое множество допустимых значений параметра, – оценка величины . Если,
1) статистика является несмещенной оценкой величины ;
2) функция дифференцируема по при всех ;
3) выполнены условия регулярности R1-R5;
4) при всех существует производная:
;
тогда
,
где информация Фишера о параметре , содержащаяся в наблюдении .
Следствие 3.5.
В условиях теоремы 3.4 равенство
имеет место тогда и только тогда, когда оценка и функция вклада связаны линейно, причем:
,
где
.
Доказательство:
1) Пусть выполнено равенство , тогда
,
поскольку по определению . В пункте 3 доказательства теоремы 3.4 было показано, что
,
тогда
.
Отсюда по свойству ковариации следует, что оценка и функция вклада связаны линейной зависимостью:
|
(3.4) |
Вычисляя математическое ожидание левой и правой частей (3.4), получим:
.
В условиях теоремы 3.4 справедливы условия регулярности, при выполнении которых , тогда:
.
Статистика является несмещенной, то есть , тогда:
.
Вычисляя дисперсию левой и правой части (3.4), получим:
.
Поскольку
по определению
,
то
и поскольку выполнено равенство
,
то
.
Таким образом,
,
где .
2) Пусть статистика и функция вклада связаны линейной зависимостью:
,
тогда по свойству ковариации:
.
В пункте 3 доказательства теоремы 3.4 было показано, что
,
отсюда,
,
тогда,
,
так как по определению .
Поскольку статистика
и функция вклада
связаны линейно и выполнено равенство
,
то, как и в пункте доказательства 1,
вычисляя математическое ожидание и
дисперсию левой и правой части соотношения:
,
можно
показать, что
и
.
Следствие доказано.
Замечание
В многомерном случае неравенство
Рао-Крамера формулируется следующим
образом: пусть
– вектор случайных величин,
– многомерный параметр,
,
,
…,
–
несмещенные оценки
,
,
…,
,
тогда при некоторых условиях:
|
(3.5) |
,где
– дисперсионная матрица случайных
величин
,
,
…,
(
),
– информационная матрица Фишера (
),
– матрица производных (
),
символ
означает транспонирование. Неравенство
(3.5) следует понимать в следующем смысле:
для любого вектора-столбца
,
.
Выражение,
стоящее слева, есть квадратичная форма
,
а выражение, стоящее справа, – квадратичная
форма
:
.
Преобразуем
выражение, стоящее слева, обозначив
вектор-столбец случайных величин
и вектор-столбец функций
:
.
Поскольку
,
…,
несмещенные оценки
,
…,
,
то
,
тогда,
.
Таким образом,
,
поскольку
,
так как
– не случайная величина, тогда,
.
Выберем
произвольным образом
,
,
и представим, что в векторе
-ая
компонента равна единице, а все остальные
компоненты равны нулю:
,
тогда
левая часть неравенства окажется равной
,
а правая – соответствующему диагональному
элементу
:
,
Отсюда
следует, что диагональные элементы
матрицы
являются нижними границами дисперсий
оценок
,
…,
.
10. Функция правдоподобия, функция вклада и информация Фишера. Свойства информации Фишера в условиях регулярности (вычисление с помощью второй производной, аддитивность в условиях независимости, информация Фишера для выборки). Замечание о характере убывании дисперсии несмещенной оценки, построенной по выборке.
Определение 3.1.
Пусть – вектор случайных величин и функция плотности вероятности (или вероятность) вектора . Функция рассматриваемая как функция параметра при фиксированных , ..., называется функцией правдоподобия.
Определение 3.2.
Пусть – вектор случайных величин и – функция правдоподобия. Случайная функция
называется функцией вклада.
Определение 3.3.
Пусть – вектор случайных величин и – функция вклада. Функция
называется информацией Фишера о параметре , содержащейся в наблюдении .
Утверждение 3.6.
Пусть выполнены условия регулярности R1-R5, функция правдоподобия дважды дифференцируема по и
тогда,
.
Доказательство:
При выполнении условий регулярности R1-R5 справедливо соотношение (3.1):
Продифференцировав левую и правую часть по получим:
,
,
,
,
,
,
.
Слева
от знака равенства располагается
информация Фишера
,
поэтому, окончательно:
.
Утверждение доказано.
Утверждение 3.7. (аддитивность информации Фишера)
Пусть в наблюдении
случайные величины
(
)
совместно независимы и имеют плотности
вероятности
соответственно. Если выполнены условия
утверждения 3.6, тогда информация Фишера
:
,
где
информация Фишера, содержащаяся в
наблюдении, образованном одной случайной
величиной
.
Доказательство:
Поскольку случайные величины ( ) совместно независимы и имеют функции плотности вероятности ( ), то функция правдоподобия :
,
тогда,
.
В условиях утверждения справедливо утверждение 3.6:
,
откуда
,
где
- информация Фишера, содержащаяся в
наблюдении, образованном одной случайной
величиной
.
Утверждение доказано.
Утверждение 3.8. (информация Фишера в случае выборки)
Пусть наблюдение
является выборкой из распределения с
плотностью вероятности
.
Если выполнены условия утверждения
3.6, тогда информация Фишера
,
где
– информация Фишера, содержащаяся в
наблюдении, образованной случайной
величиной, например,
.
Доказательство:
В условиях утверждения справедливо утверждение 3.7, согласно которому информация Фишера:
,
.
Поскольку случайные величины
(
)
образуют выборку, то все плотности
вероятности одинаковы,
,
тогда:
,
и следовательно,
.
Утверждение доказано.
Замечание
Пусть выполнены условия теоремы 3.4 и – выборка, тогда для всякой статистики , являющейся несмещенной оценкой величины , согласно неравенству Рао-Крамера (теорема 3.4):
.
В силу утверждения 3.8 , тогда:
,
где
– величина, не зависящая от
.
Полученное неравенство показывает, что
в условиях регулярности (и некоторых
дополнительных условий) дисперсия
всякой несмещенной оценки в случае
выборки не может убывать быстрее, чем
.