Состоятельность и асимптотическая нормальность оценок

Если данные представляют собой выборку , то появляется возможность исследовать поведение оценок при увеличении размера выборкиn. В этом случае естественно ожидать повышения точности оценок с ростомn.

Асимптотическая нормальность оценок, полученных методом подстановки

Условия состоятельности оценок, построенных по методу подстановки, были получены ранее. Получим условия асимптотической нормальности этих оценок.

Теорема.

Пусть , функциянепрерывно дифференцируема и существуюти, тогда

Доказательство.

По центральной предельной теореме, формуле Ньютона, свойствам сходимости по вероятности и слабой сходимости получаем

Доказательство завершено.

Состоятельность и асимптотическая нормальность оценок, полученных методом максимального правдоподобия

Для регулярных семейств можно получить условия состоятельности оценок и асимптотической нормальности оценок максимального правдоподобия.

Теорема.

Пусть оценка максимального правдоподобия единственна. Тогда она состоятельна и если семействорегулярно, плотностьтрижды непрерывно дифференцируема пои существует интегрируемая случайная величина, такая что

Доказательство.

Состоятельность.

Так как - единственная точка максимума функциито

Используя неравенство Йенсена, строгую выпуклость функции и закон больших чисел, получаем что при

Асимптотическая нормальность.

По формуле Ньютона, примененной к функции , с учетом того, что

откуда

По центральной предельной теореме, используя определение

По закону больших чисел, используя соотношение

получаем

Используя свойства сходимости по вероятности и слабой сходимости, учитывая, что

получаем

Доказательство завершено.

Заметим, что дисперсия предельного нормального закона совпадает с нижней границей дисперсии в неравенстве Рао-Крамера. Это дает повод назвать оценку максимального правдоподобия (в условиях теоремы) асимптотически эффективной.

Теория статистических решений

Методы классической статистики не учитывают последствий, которые могут произойти из-за неправильного выбора оценки или неправильного определения параметра. Для учета этих последствий и выбора решения, минимизирующего в некотором смысле возможные потери от неизбежных ошибок используется теория статистических решений.

Основные понятия теории статистических решений

Пусть- статистическая модель. Предположим на основе данныхнеобходимо принять решение. В случае, если принятое решение не совпадает с правильным решениемвозникают потери

. Задача состоит в том, чтобы определить такое правилопринятия решения, при котором средние потерибыли бы минимальны.

Дадим формальные определения.

Определение.

Множество решений - произвольное множество. Для того чтобы можно было рассматривать решение как функцию данных, т.е. случайную величину, это множество снабжают сигма-алгеброй.

Определение.

Измеримое отображение называется решающим правилом или функцией.

Определение.

Действительная, измеримая по паре переменных, функция называется функцией потерь, если

Определение.

Значение называют риском решающего правила при распределении

Определение.

Если семейство - параметрическое, множество, и правильным решением является(задача оценивания) , то функцию ( по)

называют функцией риска.

В дальнейшем, в основном, рассматривается лишь задача оценивания, хотя многие утверждения легко могут быть переформулированы для общего случая.

Разумным кажется следующее определение.

Определение.

Решающее правило называется недопустимым, если существует лучшее правило, т.е.

и хотя бы для одного значения

Определение.

Правило называется допустимым, если оно не недопустимо.

Смысл введения данного определения в том, чтобы при поиске хороших (в том или ином смысле) решений не рассматривать заведомо недопустимые решения. Описание класса допустимых решений в задаче оценивания приведено в дальнейшем.

Так как абсолютно наилучшего решения (единственного допустимого) обычно не существует, используют компромиссные подходы к построению решения задачи оценивания. Первым из них рассмотрим байесовский подход.