Метод максимального правдоподобия

Определение.

Оценкой максимального правдоподобия называется величина

Плотность рассматриваемая при фиксированном как функция называется функция правдоподобия и обозначается . Т.е.

Оценки, построенные по методу максимального правдоподобия, обладают рядом важных свойств.

Например, используя критерий факторизации, легко доказать, что оценка максимального правдоподобия является функцией любой достаточной статистики.

Так же очевидно, что если - взаимно однозначная функция, то оценки максимального правдоподобия для и связаны соотношением .

Асимптотические свойства оценок максимального правдоподобия изложены в дальнейшем.

Улучшение оценок

Наличие достаточной статистики позволяет улучшать оценки, не являющиеся функцией этой статистики.

Теорема Рао-Блэкуэлла-Колмогорова

Теорема.

Пусть - несмещенная оценка и - достаточная статистика.

Тогда

1. Случайная величина является несмещенной оценкой

2. 

Теория статистических решений

Методы классической статистики не учитывают последствий, которые могут произойти из-за неправильного выбора оценки или неправильного определения параметра. Для учета этих последствий и выбора решения, минимизирующего в некотором смысле возможные потери от неизбежных ошибок используется теория статистических решений.

Основные понятия теории статистических решений

Пусть - статистическая модель. Предположим на основе данных необходимо принять решение . В случае, если принятое решение не совпадает с правильным решением возникают потери

. Задача состоит в том, чтобы определить такое правило принятия решения , при котором средние потери были бы минимальны.

Дадим формальные определения.

Определение.

Множество решений - произвольное множество. Для того чтобы можно было рассматривать решение как функцию данных, т.е. случайную величину, это множество снабжают сигма-алгеброй .

Определение.

Измеримое отображение называется решающим правилом или функцией.

Определение.

Действительная, измеримая по паре переменных, функция называется функцией потерь, если

Определение.

Значение называют риском решающего правила при распределении

Определение.

Если семейство - параметрическое, множество , и правильным решением является (задача оценивания) , то функцию ( по )

называют функцией риска.

В дальнейшем, в основном, рассматривается лишь задача оценивания, хотя многие утверждения легко могут быть переформулированы для общего случая.

Разумным кажется следующее определение.

Определение.

Решающее правило называется недопустимым, если существует лучшее правило , т.е.

и хотя бы для одного значения

Определение.

Правило называется допустимым, если оно не недопустимо.

Смысл введения данного определения в том, чтобы при поиске хороших (в том или ином смысле) решений не рассматривать заведомо недопустимые решения. Описание класса допустимых решений в задаче оценивания приведено в дальнейшем.

Так как абсолютно наилучшего решения (единственного допустимого) обычно не существует, используют компромиссные подходы к построению решения задачи оценивания. Первым из них рассмотрим байесовский подход.