Метод максимального правдоподобия

Определение.

Оценкой максимального правдоподобия называется величина

Плотность рассматриваемая при фиксированном как функцияназываетсяфункция правдоподобия и обозначается . Т.е.

Оценки, построенные по методу максимального правдоподобия, обладают рядом важных свойств.

Например, используя критерий факторизации, легко доказать, что оценка максимального правдоподобия является функцией любой достаточной статистики.

Так же очевидно, что если - взаимно однозначная функция, то оценки максимального правдоподобия дляисвязаны соотношением.

Асимптотические свойства оценок максимального правдоподобия изложены в дальнейшем.

Улучшение оценок

Наличие достаточной статистики позволяет улучшать оценки, не являющиеся функцией этой статистики.

Теорема Рао-Блэкуэлла-Колмогорова

Теорема.

Пусть - несмещенная оценка и- достаточная статистика.

Тогда

1. Случайная величина является несмещенной оценкой

2. 

Теория статистических решений

Методы классической статистики не учитывают последствий, которые могут произойти из-за неправильного выбора оценки или неправильного определения параметра. Для учета этих последствий и выбора решения, минимизирующего в некотором смысле возможные потери от неизбежных ошибок используется теория статистических решений.

Основные понятия теории статистических решений

Пусть - статистическая модель. Предположим на основе данныхнеобходимо принять решение. В случае, если принятое решение не совпадает с правильным решениемвозникают потери

. Задача состоит в том, чтобы определить такое правило принятия решения, при котором средние потерибыли бы минимальны.

Дадим формальные определения.

Определение.

Множество решений - произвольное множество. Для того чтобы можно было рассматривать решение как функцию данных, т.е. случайную величину, это множество снабжают сигма-алгеброй.

Определение.

Измеримое отображение называется решающим правилом или функцией.

Определение.

Действительная, измеримая по паре переменных, функция называется функцией потерь, если

Определение.

Значение называют риском решающего правила при распределении

Определение.

Если семейство - параметрическое, множество , и правильным решением является (задача оценивания) , то функцию ( по )

называют функцией риска.

В дальнейшем, в основном, рассматривается лишь задача оценивания, хотя многие утверждения легко могут быть переформулированы для общего случая.

Разумным кажется следующее определение.

Определение.

Решающее правило называется недопустимым, если существует лучшее правило, т.е.

и хотя бы для одного значения

Определение.

Правило называется допустимым, если оно не недопустимо.

Смысл введения данного определения в том, чтобы при поиске хороших (в том или ином смысле) решений не рассматривать заведомо недопустимые решения. Описание класса допустимых решений в задаче оценивания приведено в дальнейшем.

Так как абсолютно наилучшего решения (единственного допустимого) обычно не существует, используют компромиссные подходы к построению решения задачи оценивания. Первым из них рассмотрим байесовский подход.

Байесовский подход

В байесовском подходе к решению задачи оценивания предполагается, что параметр является случайной величиной с некоторым распределением. Формально, назадается некоторая мераи предполагается , что случайная величинаимеет плотностьотносительно меры.

Эту плотность называют априорной плотностью .

Определение.

Байесовским риском решающего правила называется величина

Определение.

Байесовским решающим правилом называется решающее правило

Заметим, что количество различных байесовских оценок при одном и том же распределении данных велико (в принципе, каждому априорному распределению может соответствовать своя байесовская оценка).