Байесовский подход

В байесовском подходе к решению задачи оценивания предполагается, что параметр является случайной величиной с некоторым распределением. Формально, назадается некоторая мераи предполагается , что случайная величинаимеет плотностьотносительно меры.

Эту плотность называют априорной плотностью.

Определение.

Байесовским риском решающего правила называется величина

Определение.

Байесовским решающим правилом называется решающее правило

Заметим, что количество различных байесовских оценок при одном и том же распределении данных велико (в принципе, каждому априорному распределению может соответствовать своя байесовская оценка).

Допустимость байесовских оценок

Множество байесовских оценок близко к множеству допустимых оценок.

Теорема (допустимость байесовской оценки).

Пустьбайесовская оценка и она единственна. Тогда она допустима.

Доказательство.

Предположим противное и пусть лучше. Тогда

Интегрируя это неравенство слева и справа по распределению , получаем

что невозможно, потому что единственна.

Доказательство завершено.

Теорема об апостериорном риске

Следующая теорема позволяет указать путь для вычисления байесовских оценок

Теорема (об апостериорном риске)

Доказательство.

Доказательство завершено.

Случайная величина

называется апоcтериорным риском (a posteriori = после опыта) решающего правила.

Условная плотность

называется апостериорной плотностью.

Вычисление байесовских оценок при квадратичной функции потерь

Если параметр одномерен и функция потерь квадратична, т.е.

то для байесовского решения можно выписать простое представление

Доказательство следует из того, что по выражение

представляет собой квадратный трехчлен.

Пример

Пусть вектор данных представляет собой выборку из распределенияи априорное распределение параметратакже нормальное. Тогда апостериорная плотностьнормальна и

Минимаксный подход

В минимаксном подходе предлагается застраховаться от больших потерь. Именно

Определение

Решающее правило называется минимаксным решающим правилом если

Поиск минимаксного решающего правила обычно более труден, чем поиск байесовского в той же задаче. Однако в ряде случаев байесовская оценка является также и минимаксной.

Минимаксность байесовских решений

Теорема (минимаксность байесовских оценок)

Пусть - байесовская оценка и

Тогда

Доказательство.

Для любой другой оценки

Доказательство завершено.

Пример.

Пусть вектор данных представляет собой выборку из распределения. Тогда, если выбрать априорное распределение параметрабета распределением, то апостериорная плотностьтакже будет бета плотностью и решение задачи на определение параметровтаких, что

приводит к значениям

и минимаксная оценка имеет вид

Проверка статистических гипотез

В ряде случаев необходимо выбрать, какому из двух или нескольких предположений относительно семейства лучше соответствуют данные.

Основные понятия теории проверки статистических гипотез

Пусть относительно семейства есть два предположения (двегипотезы)

и

В математической статистике принято называть эти предположения гипотезами и обозначать так

Гипотезу обычно называют основной гипотезой, а гипотезу- альтернативной гипотезой (или, короче, альтернативой).

Критерием проверки гипотезы называют отображение

указывающее номер (истинной) гипотезы в зависимости от данных.

С точки зрения теории статистических решений, на первый взгляд, задача проверки статистических гипотез это задача с двумя возможными решениями и критерий есть просто решающее правило в такой задаче. Обозначим его . Однако, так как каждое из семействиможет содержать больше одного распределения, то при определении потерь должно учитываться, какое из распределений реализовалось в опыте (истинно) и какое семейство выбрано с помощью критерия.

Множество называетсякритическим множеством иликритической областью.

Гипотезы, семейства которых содержат только одно распределение, называются простыми, в противном случае – сложными. Начнем с простейшего случая двух простых гипотез.