6.3. Случаи, когда множества решений u и параметров l непрерывны

Прежде чем переходить к решению второго из поставленных в § 6.2 вопросов, рассмотрим важный частный случай, когда множества решений и u значений параметров l непрерывны и имеют одинаковую структуру.

Как отмечалось выше, в этом случае решение и может быть интер­претировано как оценка параметра l, а правило решения u = u(x) ста­вит в соответствие каждому значению х значение этой оценки. Будем считать, что функция потерь является симметричной функцией разности

u - l, тогда апостериорный риск

(6.3.1)

Пусть плотность совместного распределения вероятности дважды дифференцируема по и при любых значениях , , тогда

(6.3.2)

где , - решение уравнения

(6.3.3)

(6.3.4)

взятые со знаком минус матрицы, составленные из вторых производных логарифма плотности в точке , , которые подобно и зависят только от х; - оператор градиента по компонентам ; ,- операторы градиента, ставящие в соответствие той функции, на которую действуют такие операто­ры, вектор-строку частных производных этой функции по всем компо­нентам или .Не написанные в показателе экспоненты (6.3.2) члены имеют третий и более высокий порядок относительно разностей и . Роль этих членов тем меньше, чем больше объем данных на­блюдения х; по мере его увеличения совместное распределение вероят­ности при заданном х и величины из (6.3.3) асимптотически приближаются к нормальному распределению вероятности. Используя это асимптотическое приближение, получаем

, (6.3.5)

, (6.3.6)

где -как всегда матрица, обратная матрице ; -некоторая неотрицательная функция, зависящая только от х.

Из выражения для апостериорного риска (6.3.5) следует, что опти­мальная байесова оценка параметра имеет вид

(6.3.7)

Действительно, благодаря свойствам функции потерь g(u - l) выраже­ние (6.3.6) дифференцируемо по u под знаком интеграла, при этом - нечетная функция своего аргумента и, следовательно, при подстановке u = u₀(x, ) из (6.3.7) градиент обращается в нуль, то есть обеспечивается минимум апостериорного риска.

Из выражения (6.3.6) следует, что оценка максимального правдо­подобия параметра , определяемая как решение уравнения (6.2.15), совпадает с величиной *, являющейся решением уравнения (6.3.3). Поэтому адаптивное байесово правило решения принимает вид

(6.3.8)

Тем самым уравнение (6.3.3) дает полное решение задачи - оно определяет наилучшее в условиях априорной неопределенности реше­ние задачи оценивания l и дает оценку максимального правдоподобия для параметра , описывающего неопределенность априорных знаний о законах распределения вероятности х и l.

Покажем, что правило решения (6.3.8) удовлетворяет требованию (6.2.12) равномерно наилучшего приближения к оптимальному байесову решению с известным значением . Ограничимся для простоты слу­чаем квадратичной функции потерь

Вычисляя значения апостериорного риска (6.3.5) при ,где -какая либо оценка ,и при и беря их разность, получаем сле­дующее выражение для функции

(6.3.9)

где - симметричная квадратная матрица того же порядка, что и вектор , не зависящая от и , но, возможно, зависящая от х.

Величина разности средних рисков адаптивного и оптимального при известном байесовых правил решения будет при этом равна

(6.3.10)

где для сокращения записи обозначено

(6.3.11)

Математическое ожидание матрицы представляет собой информационную матрицу Фишера для совокупности параметров g.

Из выражения (6.3.10) видно, что задача нахождения минимакс­ной оценки , обеспечивающей выполнение требования (6.2.12), в дан­ном случае с точностью до обозначений совпадает с рассмотренной в § 5.2. Из полученного там решения следует, что минимаксная оценка параметра g есть g*(x) и, следовательно, правило решения (6.3.8) дей­ствительно обеспечивает равномерно наилучшее приближение к мини­мальному байесову среднему риску для известного значения g.