- •Часть I. Общие положения
- •Глава 3. Априорная неопределенность и возможные способы
- •3.2. Неполное статистическое описание данных наблюдения. Параметрическое описание априорной неопределенности
- •Эмпирический подход в задачах с априорной неопределенностью. Обучение
- •3.3.1 Простое обучение
- •3.3.2. «Рабочеподобное» обучение
- •Часть II. Методы синтеза информационных систем в условиях
- •4.2. Существенная и несущественная априорная неопределенность
- •4.3. Понятие оптимальности в условиях априорной неопределенности
- •4.3.1. Равномерно наилучшее решение
- •4.3.2. Принцип асимптотической оптимальности
- •4.3.3. Минимаксиминный принцип (минимакс минимального среднего риска)
- •4.3.4. Принцип минимума усредненного риска
- •4.3.5. Минимаксный принцип
- •4.4. Соотношения между правилами решения, полученными на основе различных принципов предпочтения
- •4.5. Использование достаточных статистик
- •Глава 5. Минимаксный подход
- •5.1. Минимаксное правило решения при наличии априорной неопределенности относительно параметров X
- •5.2. Полное незнание априорного распределения
- •5.3. Ограниченные сведения о множестве допустимых значений
- •5.4. Ограниченные сведения о статистических характеристиках
- •Г л а в а 6. Адаптивный байесов подход
- •6.1. Общие положения
- •6.2. Адаптивный байесов подход при параметрической априорной неопределенности
- •6.3. Случаи, когда множества решений u и параметров l непрерывны
- •6.4. Соответствие адаптивного байесова правила решения принципам оптимальности в условиях априорной неопределенности
- •6.4.1. Принцип предпочтения, связанный с равномерно наилучшим правилом решения
- •6.4.2. Принцип асимптотической оптимальности
- •6.4.3. Минимаксиминный принцип
- •6.4.4. Принцип минимакса
- •6.5. Принцип минимума усредненного риска
- •6.5.1. Случай одинаковой совокупности параметров при разных значениях
- •6.5.2. Случай разных совокупностей параметров при разных значениях
- •6.6. Выводы
6.4. Соответствие адаптивного байесова правила решения принципам оптимальности в условиях априорной неопределенности
Рассмотрим теперь, каким из описанных в § 4.3 принципам предпочтения и в какой мере удовлетворяет адаптивное байесово правило решения. Это позволит нам установить, является ли правило решения (6.2.18) оптимальным и если да, то каков именно смысл его оптимальности.
6.4.1. Принцип предпочтения, связанный с равномерно наилучшим правилом решения
Адаптивное байесово правило (6.2.18) удовлетворяет этому принципу в том смысле, что если равномерно наилучшее правило решения существует, то правило решения (6.2.18) обязательно будет таким правилом. Это следует из того, что правило решения (6.2.18) имеет структуру оптимального байесова правила, которое в случае существования равномерно наилучшего решения просто не зависит от g.
Более того, адаптивное байесово правило в соответствии с определениями § 6.2 (в силу выполнения требования (6.2.12)) является равномерно наилучшим приближением к оптимальному байесову правилу решения с известным значением g и обладает тем свойством, что наибольшее (по всему множеству значений g) уклонение среднего риска для этого правила от минимально возможного при данном g среднего риска меньше, чем для любого другого правила решения. Таким образом, адаптивное байесово правило решения является самым хорошим из всех приближенно равномерно наилучших правил решения.
6.4.2. Принцип асимптотической оптимальности
Адаптивное байесово правило решения, очевидно, удовлетворяет этому принципу. Это следует из того, что, во-первых, оно имеет ту же структуру, что и оптимальное байесово правило решения с заменой неизвестного значения g на оценку максимального правдоподобия g*, а во-вторых, из сходимости оценки максимального правдоподобия к истинному значению g. Тем самым асимптотически адаптивное байесово правило решения совпадает с обычным байесовым правилом и дает ту же величину среднего риска.
6.4.3. Минимаксиминный принцип
Адаптивное байесово правило решения (при всех g) лучше (не хуже) минимаксиминного правила решения. Это следует из того, что принцип выбора обоих видов правил одинаков - берется байесово правило решения, определенное с точностью до параметра g, подбирается наилучшее из наихудших значений g и подставляется в байесово правило решения - за исключением одной весьма существенной детали: в минимаксиминном правиле решения наилучшее значение выбирается из заданного числового множества его значений и не зависит от данных наблюдения х; в адаптивном правиле это значение выбирается из значительно более обширного множества значений всех g(х), в результате чего наилучшее значение подбирается для каждого х. Поскольку множество всех функций g(x) отображающих х в g, содержит в качестве подмножества и функции вида g(x) = g = const при всех x используемые при выборе минимаксиминного правила решения, то ясно, что последнее не может быть лучше адаптивного правила ни при каких истинных значениях g.