- •Часть I. Общие положения
- •Глава 3. Априорная неопределенность и возможные способы
- •3.2. Неполное статистическое описание данных наблюдения. Параметрическое описание априорной неопределенности
- •Эмпирический подход в задачах с априорной неопределенностью. Обучение
- •3.3.1 Простое обучение
- •3.3.2. «Рабочеподобное» обучение
- •Часть II. Методы синтеза информационных систем в условиях
- •4.2. Существенная и несущественная априорная неопределенность
- •4.3. Понятие оптимальности в условиях априорной неопределенности
- •4.3.1. Равномерно наилучшее решение
- •4.3.2. Принцип асимптотической оптимальности
- •4.3.3. Минимаксиминный принцип (минимакс минимального среднего риска)
- •4.3.4. Принцип минимума усредненного риска
- •4.3.5. Минимаксный принцип
- •4.4. Соотношения между правилами решения, полученными на основе различных принципов предпочтения
- •4.5. Использование достаточных статистик
- •Глава 5. Минимаксный подход
- •5.1. Минимаксное правило решения при наличии априорной неопределенности относительно параметров X
- •5.2. Полное незнание априорного распределения
- •5.3. Ограниченные сведения о множестве допустимых значений
- •5.4. Ограниченные сведения о статистических характеристиках
- •Г л а в а 6. Адаптивный байесов подход
- •6.1. Общие положения
- •6.2. Адаптивный байесов подход при параметрической априорной неопределенности
- •6.3. Случаи, когда множества решений u и параметров l непрерывны
- •6.4. Соответствие адаптивного байесова правила решения принципам оптимальности в условиях априорной неопределенности
- •6.4.1. Принцип предпочтения, связанный с равномерно наилучшим правилом решения
- •6.4.2. Принцип асимптотической оптимальности
- •6.4.3. Минимаксиминный принцип
- •6.4.4. Принцип минимакса
- •6.5. Принцип минимума усредненного риска
- •6.5.1. Случай одинаковой совокупности параметров при разных значениях
- •6.5.2. Случай разных совокупностей параметров при разных значениях
- •6.6. Выводы
6.5.1. Случай одинаковой совокупности параметров при разных значениях
Вернемся
к детализации правила решения u*(х)
из (6.5.10) и обсуждению его взаимосвязи
с адаптивным байесовым правилом
решения. Рассмотрим сначала
распространенный случай, когда для
всех значений
совокупности параметров
одинаковы
и совпадают с полной совокупностью
.
При этом
(6.5.13)
где
- решение
уравнения правдоподобия (6.5.4), вообще
говоря, разное при разных значениях
.
Однако постольку, поскольку величины
представляют
собой оценки одних и тех же параметров
,
истинные
значения которых не изменяются при
изменении
,
то в случае состоятельности этих
оценок (напомним, что решение уравнения
правдоподобия удовлетворяет требованию
состоятельности) и близости их к истинным
значениям
величины
слабо
зависят от
и не могут отличаться сильно друг от
друга при разных значениях
.
Возможные
отличия
при
и
,
где
и
- любые два значения
,
они обусловлены
только случайным отклонением этих
оценок от истинного значения
,
одинакового
при
и
.
Эти
случайные отклонения характеризуются
матрицей
из
(6.5.6), которая представляет собой
асимптотическую апостериорную
корреляционную матрицу для величин
отклонений
и,
вообще говоря, зависит от
.Однако
если функция
изменяется
медленно, так что выполняется второе
из неравенств (6.5.7), то величина
из
(6.5.13) практически не зависит от
(зависит значительно слабее, чем любая
другая функция
,
входящая в подынтегральное выражение
(6.5.8)). Благодаря этому ее можно сократить
в числителе и знаменателе (6.5.8) или,
что то же самое в данном случае, определить
функцию
,входящую
в (6.5.8), следующим образом:
(6.5.14)
Получающееся
с учетом равенства (6.5.14) упрощение для
выражения апостериорного риска (6.5.8)
является весьма существенным. Оказывается,
что при одинаковой для всех значений
совокупности
параметров
и при выполнении единственного условия
плавности изменения функции
количественно
это условие задается неравенством
(6.5.7), апостериорный риск и правило
решения u*(х)
вообще не зависят от
.Само
оптимальное решение находится
минимизацией выражения (6.5.8) при
подстановке в него функции
из (6.5.14).
Рассматриваемый
здесь случай одинаковой для разных
,
совокупности неизвестных параметров
может
иметь место как при дискретном, так
и при непрерывном множестве значений
.
Для
непрерывного множества значений
этот случай наиболее характерен;
более того, трудно представить себе не
слишком искусственный пример, когда
плотность вероятности
для разных значений
,
из непрерывного множества значений
зависит от разных совокупностей
параметров
(например,
при
и
при
).
Для непрерывного множества значений
процедуру
нахождения правила решения u*(х),
соответствующего минимуму усредненного
риска, можно детализировать дальше и,
кроме того, можно показать, что
получающееся при этом правило решения
совпадает асимптотически с адаптивным
байесовым правилом решения, полученным
выше.
Воспользуемся
для этого асимптотическим приближением
(6.3.2) для функции
,
из которого следует, что входящие в
выражение
(6.5.8)
для апостериорного риска функции
и
определяются
следующими выражениями:
(6.5.15)
, (6.5.16)
где
является решением уравнения (6.3.3), а
матрицы
,
,
,
определяются
выражениями (6.3.4) и зависят только от х
(непосредственно
и через
и
,
совместно с
является
решением уравнения (6.3.3)). С учетом
(6.5.15), (6.5.16) выражение для апостериорного
риска (6.5.8) принимает вид
(6.5.17)
из
которого следует, что решение u
= u*(x)
зависит от х
посредством достаточной статистики
-
оценки параметра
,
определяемой из уравнения (6.3.3).
Если
множество решений u
имеет ту же структуру, что и множество
,
и функция потерь g(u,
,
х)
является
симметричной функцией разности u
-
,
то решение u*(х)
просто совпадает с
*(х),
то есть получается точно таким же,
как адаптивное байесово решение.
При
произвольной структуре множества
решений u
оценка апостериорного риска (6.5.17),
получающаяся с использованием принципа
усреднения по неизвестным параметрам
среднего
риска, отличается от оценки апостериорного
риска (6.2.5), получающейся при адаптивном
байесовом подходе с использованием
оценки максимального правдоподобия
*
для
параметров
,
только за счет различия матриц
и
.Первая
из них фигурирует в выражении
(6.5.17),
дающем оценку апостериорного риска
при использовании принципа усреднения,
а вторая - в выражениях типа (6.2.3), (6.3.5)
при подстановке в них
=
*
в соответствии с принципами адаптивного
байесова подхода.
Таким
образом, используемые в обоих случаях
приближения для апостериорной плотности
вероятности
,
с
помощью которых вычисляются оценки
апостериорного риска и находятся
минимизирующие этот риск решения, имеют
одинаковый функциональный вид, одинаковое
математическое ожидание
*
и несколько отличные матрицы вторых
моментов. Естественно, что для всех
задач (характеризуемых структурой
множества решений U
и
видом функции потерь g(u,
,
x)),
в которых подобно задаче с функцией
потерь, являющейся симметричной функцией
разности u
-
,
вид
решения зависит только от апостериорного
математического ожидания, принцип
усреднения риска по
дает точно такое же правило решения,
как и адаптивный байесов подход. В тех
задачах, в которых решение u*(х)
зависит не только от апостериорного
математического ожидания
,
оно может несколько отличаться от
адаптивного байесова решения. Однако
из-за асимптотической близости
матриц
и
,
имеющейся, как мы
убедимся
в дальнейшем, практически всегда, эти
различия малосущественны, и во всех
реальных случаях, когда совокупность
неизвестных параметров
не
зависит от
,
правило
решения, минимизирующее усредненный
по неизвестным параметрам
риск,
совпадает с адаптивным байесовым
правилом решения.
