Теория оценивания

В данном и следующих разделах по умолчанию предполагается существование необходимого числа моментов у случайных величин.

Если в утверждениях появляется параметр , то это означает, что рассматривается выборка размера.

Определение оценки и критерии качества оценок

Определение.

Статистика называется оценкой параметра, если она принимает свои значения в параметрическом множестве.

Разумными требованиями к оценкам являются

1. Несмещенность

2. Состоятельность

3. Минимальность дисперсии

Общие методы построения оценок

Идеальная или оптимальная оценка должна удовлетворять всем требованиям 1)-3). Однако нет гарантии, что такая оценка существует. Поэтому интересными являются также методы, позволяющие строить оценки, удовлетворяющие, например, требованию 2) или требованиям 2) и 1)

Метод подстановки и метод моментов

Метод подстановки заключается в использовании идеи подстановки и применяется в случае, когда данные представляют собой выборку. Пусть существуют такие измеримые функции и, что

тогда оценкой по методу постановки называется величина

Теорема.

Если функция линейна, то оценка по методу подстановки несмещена и состоятельна, если непрерывна, то состоятельна.

Доказательство.

Первая часть теоремы следует из свойств математического ожидания и закона больших чисел, вторая из свойства сходимости по вероятности (теорема (f(P))).

Доказательство завершено.

Метод моментов.

Суть метода моментовзаключается в следующем. Очевидно, выборочные среднее и дисперсия являются несмещенными оценками своих математических ожиданий, являющихся в параметрическом случае некоторыми функциями от параметра.

Если функцииинепрерывны и монотонны, то существуют обратные к ним функции и, применяя метод подстановки, получим оценки

Очевидно, что подобным образом можно использовать другие выборочные характеристики.

Метод максимального правдоподобия

Определение.

Оценкой максимального правдоподобия называется величина

Плотностьрассматриваемая при фиксированномкак функцияназываетсяфункция правдоподобия и обозначается. Т.е.

Оценки, построенные по методу максимального правдоподобия, обладают рядом важных свойств.

Например, используя критерий факторизации, легко доказать, что оценка максимального правдоподобия является функцией любой достаточной статистики.

Так же очевидно, что если - взаимно однозначная функция, то оценки максимального правдоподобия дляисвязаны соотношением.

Асимптотические свойства оценок максимального правдоподобия изложены в дальнейшем.

Улучшение оценок

Наличие достаточной статистики позволяет улучшать оценки, не являющиеся функцией этой статистики.

Теорема Рао-Блэкуэлла-Колмогорова

Теорема.

Пусть - несмещенная оценка и- достаточная статистика.

Тогда

1. Случайная величина является несмещенной оценкой

2. 

Доказательство.

Так как статистика достаточная, то условное распределение выборки и, следовательно, условное математическое ожиданиене зависит оти является оценкой. Далее, по свойству условного математического ожидания

и 1) доказано.

Для доказательства 2) заметим, что, по неравенству Йенсена для условных математических ожиданий

Доказательство завершено.

Построение оптимальных оценок

Для ряда важных семейств можно построить оценки удовлетворяющие свойствам 1),3). Они называются несмещенные оценки с минимальной дисперсией.