12.Неравенство информации, метод максимального правдоподобия и метод моментов.
12.1.Метод максимального правдоподобия
Рассмотрим метод максимального правдоподобия для точечной оценки параметров распределения (предложен Рональдом Фишером).
Пусть Χ
– дискретная случайная величина, которая
при выборке объемом n
получила значения x
,
x₂,
…,
.
Допустим, что
известен вид закона распределения
вероятностей, но неизвестен параметр
⍬.
Обозначим через P(
,
⍬)
вероятность того, что величина Χ
принимает значения
(
).
Определение: Функцией правдоподобия дискретной случайной величины Χ называют функцию аргумента ⍬:
L(x
,
x₂,
…,
,
⍬)
= P(x
P(x₂
…
P(
где x , x₂, …, – фиксированные числа.
Определение:
Точечной оценкой параметра
считается
такое значение
*,
при котором функция L
принимает наибольшее значение. Эту
оценку называют оценкой максимального
правдоподобия.
Т.к. функция L и lnL обычно принимают наибольшие значения при одном и том же аргументе , то оценку * определяют на основе максимизации функции lnL. Для этого функцию исследуют на максимум с помощью необходимого (а иногда и достаточного) условия экстремума. Этот метод особенно полезен в случае малых выборок (т.к. этот метод наиболее полно использует данные выборки), но часто требует довольно сложных вычислений.
Пример:
Найти методом наибольшего правдоподобия
оценку параметра λ
в распределении Пуассона
на основе проведённых опытов.
Решение:
Будем называть опытом группу из n
испытаний. При этом в каждом опыте
фиксируется число появлений рассматриваемого
события. Пусть таких опытов будет m.
Тогда число появлений события в i-ом
опыте будет
.
Подставляя полученное значение
в формулу
Пуассона, получаем:
Эти вероятности
для всех
подставим в функцию правдоподобия
.
Находим логарифм этой функции:
Возьмем первую производную по λ и прировняем её к нулю:
.
Итак,
.
Если взять вторую
производную
,
то оказывается, что она отрицательна.
Это значит, что полученное значение
максимально.
Если плотность
распределения
непрерывной
случайной величины Χ
определяется двумя неизвестными
параметрам
и
,
то функция максимального правдоподобия
имеет вид:
где
,…,
–
наблюдаемые значения Χ.
Далее находят логарифмическую функцию правдоподобия и для отыскания её максимума составляют и решают систему:
.
12.2.Неравенство информации
Определение: Теорией информации называется наука, изучающая количественные закономерности, связанные с получением, передачей, обработкой и хранением информации.
Черты случайности, присущие процессам передачи информации заставляют обратиться при изучении этих процессов к вероятностным и статистическим методам.
Определение: В математической статистике неравенством Краме́ра — Ра́о (в честь Гаральда Крамера и К. Р. Рао) называется неравенство, которое при некоторых условиях на статистическую модель даёт нижнюю границу для дисперсии оценки неизвестного параметра, выражая её через информацию Фишера.
Определение: В математической статистике и теории информации информа́цией Фи́шера называется дисперсия функции вклада выборки.
Эта функция названа в честь описавшего её Рональда Фишера.
Пусть дана
статистическая модель
,
— выборка
размера n,
определена функция
правдоподобия
и выполнены следующие условия (условия
регулярности):
L > 0 и везде дифференцируема по
;
Функция
(функция
вклада выборки) имеет конечную
дисперсию
(или, что то же самое, конечна информация
Фишера).
Для любой статистики
имеет место равенство
.
Пусть при этих
условиях дана статистика
,
которая оценивает дифференцируемую
функцию
,
причём смещение
равно дифференцируемой функции
.
Тогда справедливы следующие утверждения:
;равенство достигается тогда и только тогда, когда
представляется
в виде
.
Здесь
—
информация
Фишера.
Часто используется следующая, более слабая версия неравенства. Пусть выполнены условия регулярности, а — несмещённая оценка параметра . Тогда неравенство выглядит так:
.
Этот случай
получается из первого, если взять
и
.
Заметим, что оценка параметра называется эффективной, если для неё неравенство Крамера — Рао обращается в равенство. Таким образом, неравенство может быть использовано для доказательства того, что диcперсия данной оценки наименьшая из возможных, то есть, что данная оценка в некотором смысле лучше всех остальных.
Определение:
Пусть
—
функция
правдоподобия
для данной статистической
модели.
Тогда если определена функция
,
где
—
математическое
ожидание
при данном
,
то она называется информацией Фишера
для данной статистической модели при
n
независимых испытаниях.
Поскольку математическое ожидание функции вклада выборки равно нулю, выписанная величина равна её дисперсии.
Если выборка состоит из одного элемента, то информация Фишера записывается так:
Из того, что в
случае независимости
случайных
величин
дисперсия суммы равна сумме дисперсий
следует, что в случае n
независимых
испытаний
.
Из указанного выше
свойства дисперсий следует, что в случае
независимости случайных величин
(рассматриваемых в одной статистической
модели) информация Фишера их суммы равна
сумме информаций Фишера каждой из них.
Обозначим информацию
Фишера для случайной величины
через
.
Если T(
) — статистика, для которой определена
информация Фишера, то
.