подхода. В связи с этим матрицу (I Б )−1 так же как в небайесовском подходе называют матрицей нижней границы точности. В частности, диагональные элементы матрицы устанавливают нижнюю границу для дисперсий ошибок оптимальных оценок.

2.5.3 Решение нелинейной гауссовской задачи.

Из представленного материала следует, что для решения задачи оценивания в рамках байесовского подхода необходимо располагать апостериорной плотностью. Ее нахождение представляет собой весьма важный этап решения задачи.

Получим выражение для апостериорной плотности в нелинейной гауссовской задаче

оценивания (2.1.20), (2.1.21), т.е. считая, что совместная плотность fx,v (x, v) гауссовская. Для простоты будем полгать, что ошибки измерения и оцениваемый вектор независимы

т.е. fx,v (x, v) = N (ν;0, R)N (x; x, P x ) .

Согласно результатам раздела 1.4, можем записать следующие выражения для совместной

После получения выражений для апостериорной плотности дальнейшее решение задачи нахождения оценки, т.е. решение задачи синтеза алгоритма, сводится к вычислению интеграла (2.5.2), а решение задачи анализа точности – к вычислению интегралов (2.5.5), (2.5.6). При вычислении интегралов (2.5.2), (2.5.5) в общем нелинейном случае стараются использовать способы, как правило, приближенного представления апостериорной плотности, которые порождают экономичные в вычислительном отношении методы вычисления оценок (2.5.2) и условных матриц ковариаций (2.5.5).

72

Отдельную проблему составляет задача нахождения безусловной матрицы ковариаций. Для ее вычисления применяется так называемый метод статистических испытаний, или метод МонтеКарло [2.11]. Суть этого метода, как отмечалось в разделе 1.5, заключается в том, что матрица ковариаций заменяется ее выборочным значением, т.е.

где x j , y j , j =1.L - реализации оцениваемого вектора и самих измерений. Эти реализации формируются путем моделирования - с использованием датчиков случайных чисел на основе известной ф.п.р.в. f x, v (x,v) и соотношений (2.2.21). Оценки xˆ( y j ), j =1.L - вычисляются для

каждого набора измерений y j , j =1.L с использованием предлагаемого алгоритма. Более подробно эта процедура поясняется на конкретном примере в подразделе 2.5.5.

Учитывая достаточную громоздкость реализации описанной процедуры нахождения бузусловной матрицы ковариаций, весьма важным при решении задачи анализа точности в нелинейной задаче оказывается умение вычислять матрицу, характеризующую нижнюю границу точности. В этой связи уместно заметить, что при гауссовском характере ф.п.р.в. fx,v (x, v) эта матрица может быть получена достаточно просто в предположении, что функция s(x)

обеспечивает выполнение условий регулярности. Действительно, принимая во внимание (2.5.12), можем записать

Подставив последнее выражение в соотношение (2.5.10) и взяв математическое ожидание

73

Будем полагать, что решению подлежит рассмотренная в разделе 2.4.4 задача оценивания

Для получения алгоритма вычисления оценки (2.5.2) и апостериорной дисперсии (2.5.5), используя, например, обычный метод сеток и заменяя область с бесконечными пределами на область ± 3σ0 , можем получить следующие приближенные соотношения

а x j = jδ , k = 3σ0 / δ , δ - шаг интегрирования.

Нетрудно убедиться в том, что полученные алгоритмы соответствуют приближенному представлению апостериорной плотности в виде

то можно получить выражение, аналогичное (2.4.17), т.е.

74

Итак, пусть требуется найти оптимальную в среднеквадратическом смысле байесовскую оценку вектора x по измерениям (2.1.11), в которых x и v предполагаются совместно гауссовскими векторами. Будем считать, что fx,v (x, v) с точностью до обозначения Pv = R

определяется соотношением (1.6.18). Фактически решение этой задачи получено в разделе 1.6, в котором показано, что апостериорная плотность f (x / y) является гауссовской и определяется соотношением (1.6.21)

Нетрудно убедиться в том, что в линейной гауссовской задаче оптимальная в среднеквадратическом смысле оценка является эффективной. Действительно, при подстановке s(x) = Hx в выражении (2.5.16), получаем

Важно подчеркнуть, что апостериорная плотность в рассматриваемой задаче является гауссовской, а алгоритм вычисления оптимальной в среднеквадратическом смысле оценки - линейным относительно измерений y . Существенно также, что условная матрица ковариаций

P( y) от измерений не зависит и, следовательно, она совпадет с безусловной матрицей ковариаций

P , что в общем случае не выполняется. Это объясняется тем, что гауссовской является совместная плотность распределения оцениваемого вектора x и ошибок измерения v , а связь измерений с x

и v - линейная. Невыполнение любого из этих условий приводит к нарушению гауссовского характера апостериорной плотности и, как правило, к существенному усложнению алгоритма вычисления оптимальной оценки.

Из сказанного следует, что при решении линейной гауссовской задачи оптимальная

76

байесовская оценка совпадает с оптимальной в среднеквадратическом смысле линейной оценкой, полученной в разделе 2.3. В свою очередь в соответствии с результатами подраздела 2.3.4 отсюда вытекает справедливость следующего утверждения: задача нахождения оценки,

минимизирующей среднеквадратический критерий (2.3.1) в гауссовском случае, эквивалента задаче нахождения линейной оценки, обеспечивающей выполнение условия ортогональности (2.5.7).

В подразделе 2.3.3 уже обсуждалась связь оценки, полученной на основе ММНК, с линейной оптимальной в среднеквадратическом смысле оценкой. Там отмечалось, что, если в критерии

ММНК принять D = (P x )−1 , а Q = R−1 , то в предположении, что B = 0 , алгоритм вычисления

ММНК совпадет с оптимальным линейным алгоритмом. Обсудим причины такого совпадения. Апостериорная плотность в силу ее гауссовского характера является симметричной функцией и соответствующее ей математическое ожидание xˆ( y) , т.е. оптимальная оценка (2.5.2), совпадает со

совпадающего с критерием (2.2.14), используемым в ММНК при соответствующем выборе матриц Q и D . Этот факт и объясняет совпадение оценки ММНК с оптимальной байесовской оценкой, которая в линейной гауссовской задаче при независимых x и v совпадает с линейной оптимальной оценкой. Соответственно совпадают и матрицы ковариаций их ошибок.

Учитывая связь байесовских оценок и оценок, основанных на использовании ММНК, а также связь оценок МФП с оценками, соответствующими ОМНК при соответствующем выборе весовых матриц в наблюдаемых критериях, для линейной гауссовской задачи при независимых ошибках измерения и оцениваемого вектора можно, опираясь на соотношение (2.2.18), записать следующее аналогичное (2.2.37) выражение

устанавливающее взаимосвязь оптимальных байесовских оценок и оценок МФП. Из этого выражения вытекает, что оптимальная байесовского оценка в рассматриваемой линейной гауссовской задаче может быть сформирована в результате взвешивания априорного математического ожидания x и оценки xˆ мфп ( y) , полученной без учета априорной информации о

векторе x . Причем весовые матрицы, стоящие перед x и xˆ мфп ( y) , совпадают с матрицами,

обратными матрицам, характеризующим, по сути, точность взвешиваемых величин. Ясно, что

77

Из соотношения (2.5.27) следует, что при (P x )−1 << H тR−1H , оптимальная байесовская оценка

(2.5.2), соответствующая ей матрица ковариаций (2.5.15) и критерий (2.5.30) будут совпадать с оценкой (2.4.19), матрицей ковариаций (2.4.20) и критерием (2.4.18) метода максимума функции правдоподобия.

Необходимо иметь в виду, что при нелинейном характере функции s(x) , когда минимизируемый в ММНК критерий вида записывается как

J (x) = ( y − s(x))т R −1 ( y − s(x)) + (x − x)т (P x )−1 (x − x) ,

соответствующая этому методу оценка не будет совпадать с оптимальной среднеквадратической оценкой. Это объясняется тем, что апостериорная плотность при нелинейном характере функции, как правило, не является симметричной, а следовательно, ее максимум не совпадает с условным математическим ожиданием.

2.5.5 Повышение точности оценивания при использовании нелинейных алгоритмов.

Поскольку при отыскании оптимальной в среднеквадратическом смысле линейной оценки минимизация критерия (2.3.1) осуществляется в ограниченном классе функций, ясно, что такая оценка в общем случае будет всегда по точности уступать оптимальной байесовской оценке. Исключение составляет гауссовская линейная задача, поскольку, как следует из утверждения, представленного в предыдущем подразделе, для гауссовской линейной задачи эти оценки совпадают. Таким образом, на вопрос о возможности повышения точности оценивания в

смысле критерия (2.5.1), за счет усложнения алгоритма, в частности, придания ему нелинейного относительно измерений характера для линейной гауссовской задачи, следует дать отрицательный ответ.

Когда решается нелинейная задача или линейная задача, в которой оцениваемый вектор и ошибки измерения негауссовские, приведенное утверждение несправедливо. Иными словами, в

общем случае точность оценивания, достигаемая при использовании нелинейного алгоритма, может быть повышена по сравнению с точностью линейного оптимального алгоритма.

Проиллюстрируем это весьма важное для практических приложений утверждение на простом примере рассмотренной в разделе 2.3 задачи оценивания (задача 2.3.5) скалярной случайной величины x , равномерно распределенной в интервале [0, b], по измерениям

yi = x + vi , i =1.m ,

в которых vi , i =1.m - независимые между собой и от x случайные величины, равномерно распределенные в интервале [0, a].

78

Из результатов решения задачи 2.3.5 следует, что для оптимальной линейной оценки и соответствующей ей дисперсии справедливы следующие соотношения

Важно напомнить, что эти соотношения определяют оптимальную линейную оценку и соответствующую ей дисперсию вне зависимости от того, каков вид распределения для оцениваемой величины x и ошибок измерения vi , i =1.m . Существенно лишь, чтобы они имели заданные значения математических ожиданий и дисперсий, т.е. v = a / 2 , x = b / 2 и σ02 = b2 /12 ,

r 2 = a2 /12 . При гауссовском же их характере эти соотношения определят значения оптимальных байесовских оценок (см. задачу 2.5.2).

Получим теперь оптимальную байесовскую оценку и сопоставим соответствующую ей дисперсию с дисперсией (2.5.34) для оптимального линейного алгоритма.

Следуя изложенной в предыдущем подразделе общей схеме, запишем сначала выражения для

Для получения значений (2.5.36) при фиксированных значениях измерений требуется располагать f ( y / x) . По аналогии с тем, как это было сделано при решении задачи 2.4.4, можем записать

m

f ( y / x) = ∏ fv ( yi − x) , i=1

где

79

минимальным ymin измеренными значениями.

В рассматриваемой задаче нет необходимости привлекать приближенные методы вычисления интегралов (2.5.2), (2.5.6), поскольку они могут быть вычислены точно. Действительно, учитывая

(2.5.35)-(2.5.38) и тот факт, что

b

∫xf ( y / x)dx

в котором [c1, c2 ] - отрезок, представляющий собой пересечение априорной области [0, b] и

Важно подчеркнуть при этом, что оценка (2.5.39) нелинейным образом зависит от измерений. Выражение (2.5.39) есть следствие того факта, что апостериорная плотность в рассматриваемой

В частности, если d1 = ymax − a и d2 = ymin не выходят за пределы априорной области [0, b] , то для оптимальной оценки и условной дисперсии будут справедливы следующие соотношения

80

Из выражения (2.5.41) фактически следует, что оптимальная оценка представляет собой среднее арифметическое максимального и минимального значений измерений, подсчитанное с учетом известного математического ожидания для ошибок измерений.

Для сопоставления точности оптимальной нелинейной оценки с точностью линейной оптимальной оценки, характеризуемой дисперсией (2.5.34), следует вычислить безусловную дисперсию. Как следует из предыдущего подраздела, для вычисления этой дисперсии может быть использован метод Монте-Карло. Предварительно заметим, что в рассматриваемом примере не удается воспользоваться неравенством Рао-Крамера для вычисления нижней границы точности,

где x j , y j , j =1.L - реализации оцениваемой случайной величины и самих измерений.

Кроме того, эта же дисперсия в соответствии с (2.5.6) и методом Монте-Карло может быть

Для получения необходимых в (2.5.41), (2.5.42) реализаций оцениваемого параметра и вектора измерений используют датчик равномерно распределенных с.в. При этом сначала следует сформировать x j [0,b], а затем - m независимых между собой случайных величин vij [0, a].

использованием (2.5.39), (2.5.40).

Ниже в таблице и на Рис.2.5.1 приведены результаты расчета среднеквадратических значений ошибок оценивания, рассчитанных в соответствии с описанными процедурами в условиях, когда L =1000 , b =1, a = 0,1 , при разном количестве измерений m =1,2.....100 .

Среднеквадратические значения ошибок оптимальных линейных и нелинейных оценок для второго варианта

81

0.03

0.025

0.02

0.015

0.01

0.005

Рис. 2.5.1 Изменение СКО для оптимального линейного (сверху) и нелинейного (снизу) алгоритмов при разном числе измерений.

2

0

1

8

1

6

1

4

1

2

1

0

Рис. 2.5.2 Апостериорные ф.п.р.в. для оптимального нелинейного алгоритма при m =1,2,3.

Из представленных результатов следует, что точность нелинейного оптимального алгоритма заметно выше точности алгоритма, оптимального в классе линейных алгоритмов, что вполне согласуется с приведенным в начале подраздела утверждением. Формально такое отличие объясняется тем, что вид апостериорной функции плотности распределения вероятностей (Рис.2.5.2) заметно отличается от гауссовского характера плотности. На качественном уровне можно дать следующее объяснение такого отличия. Замечаем, что при выполнении условия

82

ymin + a − ymax

a / 2

ymin

Рис.2.5.3 К сопоставлению линейного и нелинейного оптимального алгоритмов.

Очевидно, что при увеличении числа измерений повышается вероятность появления измерения

область всех возможных измерений, которые используются при вычислении среднего арифметического, стремится к величие a , задающей размер априорной области. В то же время длина отрезка ymin + a − ymax , определяющего размер апостериорной области для оптимальной нелинейной оценки, будет стремиться к нулю. Сказанное поясняется на рисунке 2.5.3.

Полученные результаты и подтверждает тот факт, что в ряде случаев применение нелинейных алгоритмов позволяет существенно повысить точность решения задач оценивания.

2.5.6 Сопоставление байесовского и небайесовского подходов

Завершая раздел, посвященный основам байесовского подхода при решении задач оценивания, представляется целесообразным в заключение еще раз акцентировать внимание на некоторых его особенностях по сравнению с небайесовским подходом. Основное отличие здесь заключается в том, что в рамках байесовского подхода предполагается случайным вектор x , и считается заданной совместная функция плотности распределения f (x, v) , располагая которой с учетом соотношения (2.1.21) и правил преобразования случайных векторов, может быть получена функция f (x, y) . Именно эта функция фигурирует при вычислении математического ожидания в

83

минимизируемом критерии, причем естественно, что фиксации вектора x не требуется. В отличие от этого при небайесовском подходе только после фиксации искомого вектора можно ввести ф.п.р.в. f ( y / x) , которая фигурирует при вычислении критерия. Следует также заметить, что поскольку вектор x не фиксируется, то при байесовском подходе понятие состоятельности не вводится. Весьма важно подчеркнуть, что при байесовском подходе удается получить общее правило вычисления несмещенной оценки с минимальной дисперсией в виде (2.5.2). Для небайесовского подхода такого правила не существует. Все отмеченные особенности обоих подходов представлены в таблице 2.5.1.

Следует обратить внимание на тот факт, что понятие несмещенности в разных подходах вводится по-разному. Для небайесовского подхода оценка является несмещенной, если

несмещенной, если математическое ожидание от оценки совпадет с априорным математическим ожиданием x , т.е. M y (xˆ( y)) = M x (x) . Из сказанного следует, что одна и та же оценка, являясь

несмещенной в одном смысле, может оказаться смещенной в другом смысле.

Проиллюстрируем сказанное на примере анализа смещения оценок в линейной гауссовской задаче. Ранее уже подчеркивалось, что оптимальная в среднеквадратическом смысле байесовская оценка, представляющая собой условное математическое ожидание (2.5.2), является несмещенной в байесовском смысле. Для линейной задачи это очевидно, поскольку

84

M y xˆ( y) = M y (x + KH ( y − Hx))= x .

Определяя смещение оценки xˆ( y) = x + KH ( y − Hx) с позиций небайесовского подхода, т.е.,

вычисляя его как

M y / x xˆ( y) = (E − KH )x + KHx ,

замечаем, что эта величина отлична от нуля. Принимая во внимание (2.5.27), (2.5.28), обращаем внимание, что величина такого смещения тем меньше, чем выше апостериорная точность