Теория статистических решений
Методы классической статистики не учитывают последствий, которые могут произойти из-за неправильного выбора оценки или неправильного определения параметра. Для учета этих последствий и выбора решения, минимизирующего в некотором смысле возможные потери от неизбежных ошибок используется теория статистических решений.
Основные понятия теории статистических решений
Пусть
- статистическая модель. Предположим
на основе данных
необходимо принять решение
.
В случае, если принятое решение не
совпадает с правильным решением
возникают потери
.
Задача состоит в том, чтобы определить
такое правило
принятия решения
, при котором средние потери
были бы минимальны.
Дадим формальные определения.
Определение.
Множество решений
- произвольное множество. Для того чтобы
можно было рассматривать решение как
функцию данных, т.е. случайную величину,
это множество снабжают сигма-алгеброй
.
Определение.
Измеримое отображение
называется решающим правилом или
функцией.
Определение.
Действительная,
измеримая по паре переменных, функция
называется функцией потерь, если
Определение.
Значение
называют риском решающего правила при
распределении
Определение.
Если семейство
- параметрическое, множество
,
и правильным решением является
(задача оценивания) , то функцию ( по
)
называют функцией риска.
В дальнейшем, в основном, рассматривается лишь задача оценивания, хотя многие утверждения легко могут быть переформулированы для общего случая.
Разумным кажется следующее определение.
Определение.
Решающее правило
называется недопустимым, если существует
лучшее правило
,
т.е.
и хотя бы для одного значения
Определение.
Правило называется допустимым, если оно не недопустимо.
Смысл введения данного определения в том, чтобы при поиске хороших (в том или ином смысле) решений не рассматривать заведомо недопустимые решения. Описание класса допустимых решений в задаче оценивания приведено в дальнейшем.
Так как абсолютно наилучшего решения (единственного допустимого) обычно не существует, используют компромиссные подходы к построению решения задачи оценивания. Первым из них рассмотрим байесовский подход.
Байесовский подход
В байесовском подходе
к решению задачи оценивания предполагается,
что параметр
является случайной величиной с некоторым
распределением. Формально, на
задается некоторая мера
и предполагается , что случайная величина
имеет плотность
относительно меры
.
Эту плотность называют априорной плотностью .
Определение.
Байесовским риском решающего правила называется величина
Определение.
Байесовским решающим правилом называется решающее правило
Заметим, что количество
различных байесовских оценок при одном
и том же распределении данных велико
(в принципе, каждому априорному
распределению
может соответствовать своя байесовская
оценка
).
Допустимость байесовских оценок
Множество байесовских оценок близко к множеству допустимых оценок.
Теорема (допустимость байесовской оценки).
Пусть байесовская оценка и она единственна. Тогда она допустима.
Доказательство.
Предположим противное и пусть лучше . Тогда
Интегрируя это неравенство слева и справа по распределению , получаем
что невозможно, потому что единственна.
Доказательство завершено.