2.5 Байесовский метод оценивания.

Рассмотрим теперь основные положения байесовского подхода, отличительная особенность которого заключается в том, что при его использовании случайным считается не только вектор ошибок измерения, но и вектор оцениваемых параметров. Кроме того, предполагаются полностью известными их статистические свойства, заданные совместной ф.п.р.в. fx,v (x, ν) . Как будет

показано ниже, это позволяет построить алгоритмы, обеспечивающие заданные свойства ошибок оценивания, без введения каких-либо ограничений на класс используемых оценок.

2.5.1.Основные положения и постановка задачи.

Постановка задачи оценивания (2.1.20), (2.1.21) в рамках байесовского подхода при использовании квадратичной функции потерь совпадает с той, которая сформулирована в разделе 2.3.1, т.е. оценка отыскивается из условия минимизации критерия (2.3.1), количественно характеризующего точность оценивания. Но в отличие от рассматриваемого там подхода отыскиваемый алгоритм нахождения оценки не предполагается линейным, т.е. не вводится ограничений на класс функций при минимизации критерия. Такая возможность появляется в связи с тем, что известной считается совместная плотность fx,v (x, ν) , а не только ее два первых момента

Этот критерий в рамках байесовского подхода называют байесовским риском или средними байесовскими потерями, а задача формулируется так: располагая измерениями (2.1.21) и

совместной ф.п.р.в. fx,y (x, y) найти оценку, минимизирующую (2.5.1), без введения каких либо

ограничений на класс функций, которые используются при нахождении оценки. Такую оптимальную в среднеквадратическом смысле оценку в дальнейшем будем, как правило, называть просто оптимальной оценкой.

Один из важных результатов теории статистического оценивания, заключается в том, что

оптимальной оценкой является математическое ожидание, соответствующее апостериорной

Этот результат доказывается весьма просто [2.1]. Действительно, дифференцируя интеграл (2.5.2) по оценке и приравнивая полученный результат нулю, можем записать

68

Принимая во внимание условие нормировки, получаем, что оценка, минимизирующая (2.5.1), определяется в виде (2.5.2) и таким образом задача синтеза алгоритма в рамках байесовского подхода сводится к вычислению многократного интеграла (2.5.2).

Заметим, что помимо квадратичной функции в (2.5.1), в байесовском подходе могут быть использованы и другие функции потерь, в частности, простая или модульная [2.1, 2.2, 2.4]. Важно подчеркнуть, что оценки, получающиеся в результате минимизации критериев при этих функциях потерь, также связаны с апостериорной плотностью. К примеру, для простой функции потерь в качестве оценки выступает максимум апостериорной плотности, а при модульной - медианы

апостериорных плотностей для f (xi / y) , i =1.m [2.1, 2.4].

Для решения задачи анализа точности в рамках байесовского подхода можно ввести

безусловную и условную (апостериорную) матрицы ковариаций ошибок оценивания,

точность оценивания при их конкретных значениях. В частности, диагональные элементы этих матриц определяют соответствующую точность оценивания компонент x j , j =1.n .

Матрицы ковариаций для оптимальной оценки (2.5.2) в дальнейшем будем обозначать как

2.5.2 Свойства оптимальных оценок.

Обсудим основные свойства оптимальной в среднеквадратическом смысле байесовской оценки

(2.5.2).

Свойство 1. Оценка (2.5.2) является несмещенной.

Заметим, что в рамках байесовского подхода оценка называется несмещенной, если выполняется равенство [2.1, 2.11]:

M y {xˆ( y)} = ∫xfx (x)dx = M x {x}.

Такое определение уже использовалось в разделе 2.3.

69

В справедливости этого свойства нетрудно убедиться, поскольку

My {xˆ( y)} = ∫xˆ( y) fy ( y)dy = ∫∫xf (x | y) fy ( y)dxdy =

=∫∫xf ( y | x) fx (x)dydx =∫x(∫ f ( y | x)dy)fx (x)dx = M x {x}.

Обратим внимание, что требование несмещенности оказалось выполненным, хотя заранее условие несмещенности и не накладывалось.

Свойство 2 (свойство ортогональности). Ошибка оптимальной оценки не коррелирована (ортогональна) с измерениями, т.е.

Это равенство легко доказать, если вычислять математическое ожидание последовательно, сначала по f (x / y) , а затем по f ( y) .

Аналогично можно показать, что ошибка оценки не коррелирована (ортогональна) с оптимальной оценкой, т.е.

M x,y {(x − xˆ( y))xˆ т ( y)} = 0 .

Свойство 3. Матрицы ковариаций ошибки оценки (2.5.2), удовлетворяют следующим

соответствующей ей квадратичной формы.

~

Свойство 4. Оценка (2.5.2) минимизирует определители матриц P и P( y) [2.1, 2.11].

Свойство 5. Оптимальная оценка - мерного вектора ~ , связанного с -мерным вектором m x n x

соотношение (2.5.2).

В рамках байесовского подхода также вводится понятие эффективности оценок, которое, как и при небайесовском подходе, вытекает из неравенства Рао-Крамера, записываемого в данном случае в виде [2.1, 2.11]:

Для справедливости приведенного неравенства здесь требуется, чтобы условиям регулярности удовлетворяла совместная плотность распределения fx,y (x, y) . Суть этих условий сводится к существованию первых и вторых производных по x и абсолютной интегрируемости fx,y (x, y) .

70

Оценку xˆ( y) называют эффективной байесовской оценкой, если в (2.5.9) знак неравенства переходит в равенство.

Следует обратить внимание на тот факт, что в рамках байесовского подхода устанавливается граница для безусловной матрицы ковариаций. Соотношение между (I Б )−1 и матрицей P( y) ,

которая для нелинейных задач зависит от измерений, не устанавливается.

Втеории оценивания известен следующий важный результат, который можно сформулировать как еще одно очень важное свойство [2.1].

Свойство 6. Если эффективная оценка существует, то она представляет собой оптимальную в среднеквадратическом смысле оценку, определяемую в виде (2.5.2).

Перечисленные выше свойства объясняют широкое распространение оценки (2.5.2) при решении задач оценивания в рамках байесовского подхода.

Из свойства 1 вытекает, что алгоритм (2.5.2) отыскания оптимальных в среднеквадратическом смысле оценок в рамках байесовского подхода, обеспечивает фактически нахождение

несмещенных оценок с минимальной дисперсией. Отсюда следует, что в отличие от небайесовского подхода здесь удается указать общее правило нахождения таких оценок в виде

(2.5.2).

Ранее в разделе 2.3.4 было показано, что для оптимальной линейной оценки свойство ортогональности, определяемое (2.5.7), является необходимым и достаточным. Для рассматриваемой здесь оценки данное свойство является лишь необходимым. Это означает, что если оценка оптимальна, то (2.5.7) справедливо, но не всякая оценка, удовлетворяющая (2.5.7), является оптимальной байесовской оценкой, т.е. такой - которая обеспечивает минимизацию критерия (2.5.1) без введения ограничений на класс оценок. Исключение составляет гауссовская линейная задача, что легко объясняется, поскольку как будет показано ниже, оптимальная байесовская оценка является линейной относительно измерений функцией.

Всвязи с неравенствами (2.5.8) можно говорить о том, что оптимальная в

среднеквадратическом смысле оценка минимизирует матрицы ковариаций ошибок оценивания, а

~

сами матрицы P и P( y) характеризуют потенциальную точность оптимального оценивания в

рамках баейсовского подхода. Причем матрица P - в среднем для всех измерений, а P( y) − для конкретных измерений. Диагональные элементы этих матриц соответственно определяют потенциальную точность оценивания компонент x j , j =1.n .

Из (2.5.8), (2.5.9) также вытекает, что справедлива следующая цепочка неравенств:

среднеквадратическом смысле оценка не всегда обязана быть эффективной. В этом смысле матрица I Б определяет предельно достижимую точность оценивания в рамках байесовского

71