книги / Основы теории оценивания с приложениями к задачам обработки навигационной информации. Ч. 1 Введение в теорию оценивания
.pdf2.2.2. Общеерешение задачи синтеза алгоритмов на основе метода наименьших квадратов в линейном случае
Простота получения алгоритма вычисления оценки, т.е. задачи синтеза, в рассмотренном выше примере является следствием того факта, что измерения линейным образом зависят от неизвестной амплитуды и ошибок измерения. Рассмотрим, к чему сводится ал горитм решения задачи оценивания в линейной постановке в об щем случае, т.е. тогда, когда измерения могут быть представлены в виде (2.1.11). Для обычного МНК при таких измерениях мини мизируемый критерий (2 .2 .1 ) запишется как
J MI1K(х) = ( у - Нх)Т(у - |
Нх) . |
(2.2.7) |
Нетрудно заметить, что относительно |
х функция (2.2.7) пред |
|
ставляет собой квадратичную форму |
|
|
/ мнк(х) = хтН тНх - 2хтН ту + уту , |
(2.2.8) |
которая при невырожденной Н ТН имеет единственный экстре мум, и при этом достаточное условие (2.2.4) выполнено.
Принимая во внимание соотношение (П1.1.61), систему нор мальных уравнений, соответствующую критерию (2.2.7), можно записать
Н т(у - Нх) =0 .
Условие невырожденности Н ТН будем называть условием наблюдаемости. Использование этого термина вполне оправданно, поскольку в этом случае имеем:
хшк{у) = (НтН)- 'Нгу |
(2.2.9) |
ИЛИ |
|
хШ1К(у) = К шку, |
(2 .2 .1 0 ) |
где |
|
к мж= ( я тя ) -1я т |
(2 .2 .1 1 ) |
Отсюда следует, что при отсутствии ошибок измерений и вы полнении условия наблюдаемости
хм,|К(;к) = ( Я тЯ ) “'Я тЯх = х, |
(2.2.12) |
т.е. оценка совпадает с истинным значением вектора.
Поступая аналогично при решении линейной задачи в случае
ОМНК и считая невырожденной H 1QH , запишем:
j омнк ( х ) = |
( у _ Н ху Q(y - Нх) ; |
(2.2.13) |
|
|
|
|
|
х 0М|,к(у) = |
К от,ку, |
|
(2.2.14) |
где |
|
|
|
Кшнк =(H TQH Y H tQ |
|
(2.2.15) |
|
Заметим, что, как правило, матрица |
Q не вырождена, и, таким |
||
образом, при выполнении |
условия |
наблюдаемости матрица |
H 7QH также является невырожденной.
Для ММНК (см. задачу 2.2.1) получим следующий набор соот ношений:
J мм,,к (х) = (у - Нх)т0(у - Нх) + (х - х)тD(x - х) ; |
(2.2.16) |
хт'"к(у) = х + К"мт(у - Нх), |
(2.2.17) |
где |
|
К тшк =(D + H TOH Y Н 70 . |
(2.2.18) |
Представленные соотношения сведены в табл. 2.2.2. |
|
Т а б л и ц а 2.2.2 Наблюдаемые критерии в линейной задаче оценивании
Метод |
Критерий |
|
мнк |
Г"'Чх) = Ь’- Н х У { у - Н х ) |
|
омнк |
J om'K(х) = (у — Нх)Т Q(y - |
Нх) |
ММНК |
J ммнк (д) = (у - Нх)7Q{y - |
Нх) -t |
+ (д - х)тD (x - x ) |
|
|
|
|
Алгоритм
хмпкО ) = К м"ку,
ЛГМНК = ( н тн)~1н т хшш(у) = К оы,жу,
К омнк = ( я TQH )~l H TQ
х',ш,к(у) = х + К тшк( у - Н х ) ,
к тшк =(D +H TQ H Y H 7Q
Обращаем внимание на одно весьма важное обстоятельство - все получающиеся оценки линейным образом зависят от измере ний. Это есть следствие линейности измерений (2.1.11) и квадра-
тачного характера минимизируемых критериев (2.2.7), (2.2.13), (2.2.16).
Понятно, что с использованием приведенных соотношений для рассмотренного выше примера 2 .2 . 1 легко получить представлен ные в нем выражения для оценок. Для этого достаточно учесть вид матрицы Я , которая, как нетрудно понять, записывается как
Ят = [sin(orti ), sin(<ü* 2 ),.... sin(ccrt,„)] ■ Рассмотрим еще два примера.
♦П р и м е р 2.2.2. Конкретизируем выражения для оценок в задаче оценивания неизвестной скалярной величины по скалярным измерениям
(2.1.1), выбирая в критерии (2.2.11) для простоты матрицу Q диагональ ной с элементами q, > 0 , i = 1 т , а в критерии (2.2.16), полагая D - d
Очевидно, что минимизируемый критерий и в этом случае имеет вид параболы, и, поскольку матрица Н Т = [1,1.... 1], выражения для оценок
будут определяться в соответствии с соотношениями, приведенными в табл. 2.2.3.
|
|
|
|
Таблица 2.2.3 |
||
|
Алгоритмы оценивания для трех вариантов МНК |
|
||||
для простейшего примера нахождения X но измерениям у ( =д; + у /9 / = 1./л |
||||||
Метод |
Кри ерий |
|
Алгори м |
|
||
МНК |
m |
|
|
1 m |
|
|
/=] |
-о м н к _ |
m |
»'м~омнк |
Ч\ |
||
|
|
|
|
2>, |
|
|
ОМНК |
m |
|
"i У\JJ/ |
~m |
||
/= 1 |
|
|
|
|
ъ, |
|
|
|
|
|
m 1=1 |
||
|
JmK(x)=d(x-x)2+ |
д-мм,,к=рзс + £ç;my., |
||||
|
_ |
d |
i=1 |
п |
||
|
+ £*,(*-*)а |
|
~ |
|||
|
|
m’4i |
4i |
|||
М М Н К |
m |
R=------- |
~ммик |
|||
d+zi, |
|
|
|
|||
|
i=l |
|
|
l= |
||
|
|
|
|
|
|
Из этих выражений следует, что в МНК оценка представляет собой среднеарифметическое от измерений y i Для ОМНК оценка определяет ся в результате «взвешивания» измерений с нормированными коэффици ентами:
т |
1 |
~омнк |
~OMHK |
||
Z4 i |
= 1 ; |
Чх |
i=i
Для ММНК изменяется нормировка, что обусловлено наличием апри орной информации, и добавляется дополнительное слагаемое.
П р и м е р 2.2.3. Будем полагать, что требуется оценить начальное значения координаты х0 и значение скорости V по измерениям типа (2.1.3).
Критерий МНК в этой задаче будет определяться как
^ мнк( * о , п = £ о ' / - * 0 - ^ ) 3
/=1
Принимая во внимание обозначения (2.1.4), легко убедиться в том, что этот критерий представляет собой квадратичную форму (2.2.8), кото
рая может быть записана в виде |
|
|
|
|
Т\ |
|
|
|
|
/г |
|
|
|
|
|
|
|
|
т |
|
Z'*- |
|
|
Е л |
|
|
Умшс(х) = (х1,х2) 1 т |
|
/=1 |
* 1 |
- 2 |
1=1 |
Е |
л 2 |
|
|
т |
|
т |
|||||
|
Е«< |
Z |
' - 2 |
|
1=1 |
|
||
|
|
|
|
|
|
|
|
|
|
i=l |
|
i=l |
|
|
1=1 |
|
|
или |
|
|
|
|
|
|
|
|
п |
п т |
( т ^ |
( т |
т |
Л т п |
|||
Умпк(х) = mxf + x i £ t r +2X]X2 |
Z h |
- Ц |
|
+ x2 I ttiy i |
+ 1 y f |
|||
|
i- 1 |
\/=l ) |
V i=l |
i=l |
) |
/=1 |
Используя соотношение (2.2.9), получим следующее выражение:
|
|
|
|
т |
-1 |
||
х\ |
|
|
т |
‘, |
1 |
||
|
|
Е |
|
||||
' ~мнк" |
|
|
|
/=1 |
|
|
|
■Г.МНК |
I |
т |
2 |
||||
т |
|||||||
Х 2 |
|
' |
, Е ' |
||||
|
|
|
|
|
|
||
|
_/=1 |
1 = 1 |
|
_ /=1 |
-----------1
Для ОМНК при диагональной матрице Q в критерии появятся со множители q t , и выражения для оценки преобразуются к виду
т т -1 т
É?/ |
£?А |
£ а д |
f =l |
i = 1 |
/=1 |
т |
т |
т |
|
1 > /,2 |
|
_ »=| |
i=i |
_ /«I |
Не представляет труда конкретизировать в этом примере и выражение для критерия и оценки применительно к ММНК.
На рис. 2.2.3 представлена реализация измеренных значений коорди нат на фоне графика, соответствующего их действительным значениям для случая, когда измерения проводятся на интервале 10 с с шагом в 1 с при х0 =1м и V = 1 м/с. На рис. 2.2.4 приведена функция, описывающая
поведение критерия J MHK(x) и представляющая собой вытянутый вдоль
одной из осей параболоид, соответствующий квадратичной форме.
Рис. 2.2.3. Реализация измерений |
Рис. 2.2.4. Минимизируемый критерий |
Уи = хо + V t , + v „ i = ljn |
J MHK{x0,V) |
|
♦ |
2.2.3.Анализ точности в методе наименьших квадратов
влинейном случае
При постановке задачи в разделе 2.1 отмечалось, что помимо решения задачи синтеза алгоритмов весьма важной является зада ча анализа точности, т.е. исследования свойств ошибок получае мых оценок. Для линейного случая с использованием соотноше ний (2.2.10), (2.2.14) для МНК и ОМНК могут быть получены яв ные выражения для ошибок оценок:
е“,,кСи) = а- - ÂM,IK(^) = а - К ш,ку = (£ - К ШЖН) а - К ы" \ ;
Еоы"к(у) = х - х отк(у) = х - К ошку = { Е - К оыпкН ) х - K 0MliKv
Поскольку для МНК и ОМНК справедливы соотношения:
Е - К"нкН = Е - (# Ttf )"' Н ТН = 0 ; |
(2.2.20) |
Е - К ошкН = Е - (HTQH)~1H rQH = 0, |
(2.2.21) |
ошибки, соответствующие этим двум методам, могут быть записа ны так:
£мнк(у) = -Л :мнку ; |
(2.2.22) |
Еошк(у) = _к ошшу |
(2.2.23) |
Для ММНК в силу того, что ( Е - К ммикН ) * 0 , уравнение для ошибок оценок примет вид
£m"'K(y) = X - х мтк(у) = { Е - К мткН ) ( х - х ) - K MM"Kv. (2.2.24)
Из полученных соотношений вытекает следующий вывод. Ошибки оценок, соответствующие МНК и ОМНК в линейном слу чае, не содержат слагаемых, зависящих от вектора оцениваемых параметров, а зависят только от ошибок измерения. В этих усло виях можно говорить об инвариантности (независимости) оши бок оценивания относительно искомого вектора. Что касается ММНК, то для него ошибка оценивания зависит еще и от значения самого оцениваемого вектора, и, таким образом, она не обладает свойством инвариантности.
Достоинство рассмотренных методов заключается в том, что на этапе синтеза алгоритмов какая-либо априорная информация ста тистического характера не привлекается. Однако ее отсутствие затрудняет решение задачи анализа точности. Такая возможность открывается, если ввести предположение о случайном характере как ошибок измерения (в случае МНК и ОМНК), так и оценивае мого вектора (в случае ММНК).
Введем такие предположения, полагая, в частности, что ошибки
измерения v,-, i = 1 являются центрированными случайными ве
личинами, для которых определена матрица ковариаций R . В этом случае из соотношений (2.2.22), (2.2.23) вытекает, что ошибки оценок для МНК и ОМНК также будут центрированными с матри цами ковариаций:
рмик = A/{ ( £ MHKV)CKMHKV)t }= (H TH)~lH TRH(HTH)~l ; (2.2.25)
роинк = (я тQH ^j 1 H JQRQH (H JQH ) 1 |
(2.2.26) |
Для того чтобы вычислить матрицу ковариаций ошибок оцени вания для ММНК, необходимо не только дополнительно ввести предположение о случайном характере оцениваемого вектора и задать статистические свойства для векторов v и х по отдельно сти, но и определить их взаимные статистические свойства. Если, к примеру, считать, что х и v некоррелированные между собой случайные векторы с математическими ожиданиями х и v = 0 и
матрицами ковариаций R , Рх , то с использованием представле ния (2.2.24) нетрудно убедиться в том, что ошибки оценивания также являются центрированными, и для соответствующей им матрицы ковариаций можем получить соотношение
рМ М Н К _ _ К ш х ш Ц ^ р х (J ? — ММНК ММНК -jT Ç2 9 27)
где матрица /Сммнк задается выражением (2.2.18).
Если в критерии (2.2.13) принять 0 = R~*, то оценки ОМНК и
матрица ковариаций их ошибок могут быть записаны как: |
|
|||||
|
хош,к(у) = |
(H TR-'H)-'HxR-ly, |
|
(2.2.28) |
||
|
|
ромнк = (я т7Г‘я ) 1 |
|
(2.2.29) |
||
Если, |
кроме |
того, |
считать, |
что |
£> = (р л) |
то |
АГММ,,К =({р х) 1 + Я |
т7?-1я ) |
H TR~l |
и выражения для |
оценки |
(2.2.17) и соответствующей ей матрице ковариаций (см. задачу 2.2.3) примут вид:
хшшк(у) = х + ((РХУ1 + Н тЯ ~ ' н У н тЯ~](у - Нх) ; |
(2.2.30) |
рммнк = ^ p * ) _1 + H rR~]H^j ' |
(2.2.31) |
Возможность вычисления матриц ковариаций ошибок оценива ния обеспечивает существенное продвижение в решении задачи анализа точности, поскольку удается охарактеризовать ее на коли чественном уровне. В частности, диагональные элементы полу ченных матриц ковариаций ошибок оценивания (2.2.25)-(2.2.27) представляют собой дисперсии ошибок оценивания компонент искомого вектора х.
Значения диагональных элементов матрицы Рх обычно назы вают априорными дисперсиями ошибки оценивания. Такое на звание вполне обоснованно, если считать, что до проведения изме рений в качестве априорной оценки целесообразно использовать значение математического ожидания х Сопоставление априор ных дисперсий с соответствующими апостериорными диспер сиями (диагональными элементами матриц ковариаций (2.2.25)- (2.2.27)), т. е. с теми, которые получены после проведения измере ний с использованием различных алгоритмов, позволяет оценить эффективность этих алгоритмов. Соответственно, матрицу кова
риаций Рх называют априорной матрицей, а матрицы (2.2.25)-(2.2.27) - апостериорными матрицами ковариаций
ошибок оценивания.
Если дополнительно наряду с предположением об известных значениях математических ожиданий и матриц ковариаций, счи тать, что ошибки измерения и оцениваемый вектор гауссовские, то в силу линейного характера преобразований (2.2.22)-(2.2.24) это обеспечивает гауссовский характер и ошибок оценивания для рас сматриваемых методов. Иными словами, становится известной ф.п.р.в. для вектора ошибок оценивания. Наличие ф.п.р.в. обеспе чивает полное описание их статистических свойств. В частности, для них могут быть рассчитаны такие характеристики, как вероят ная ошибка, предельная ошибка, квантили и т.д.
♦ П р |
и м е р |
2.2.4. Будем считать, что в примере 2.2.2 |
х является |
||
„ |
w |
„ |
- |
„ |
2 |
случайной величиной с математическим ожиданием |
х и дисперсией |
GQ , |
а ошибки измерения - центрированные, некоррелированные между собой
и с .Y случайные величины с дисперсиями r f , |
i = 1 т (неравноточные |
измерения), а в частном случае rf =r~, i = 1 т |
(равноточные измере |
ния). Получим выражения для ошибок оценивания и соответствующих им дисперсий для трех вариантов МНК, применительно к задаче оцени вания скалярной величины Л'.
При сделанных предположениях матрица R диагональная с элементам
г ? , i = 1 .т; матрица # т = [1Д..1] ; матрица |
Q диагональная с элементами |
= I / г~ в первом случае, и q-{ = 1 //-2 , i - |
l.m - во втором. Таким обра |
зом, нетрудно получить представленные в табл. 2.2.4 выражения
Уравнения ошибок оценивания и значения их дисперсии для трех вариантов МНК в простейшем примере
Метод
МНК
ом н к
ммнк
Ошибки оценки
|
|
1 |
т |
|
|
|
е - " * = ± |
£ |
„ ( |
|
|
|
|
т м |
|
|
|
gOMHK ^ |
V ç ? MI,Kv |
|
grOMUK _ |
Qi |
|
|
f-1 |
1 |
' |
4 ' |
m |
|
|
|
|
|
/=1 |
|
|
|
|
M |
|
BMM,,KÜO =p<x-*) + l 9 r HV |
|||||
|
|
|
|
f=i |
|
~ MMHIC |
Qi |
|
о |
^ |
|
* |
= |
m |
|
’P = |
» |
|
|
d + Y j ^ i |
d + J ? qi |
||
|
|
i=l |
|
|
|
Дисперсии
Неравиоточные измерения
m
&
pMHK 1=1
"m 2
|
f |
m |
1 |
V 1 |
pOMIJK _ |
|
1 |
|
|
|
v.'=l |
'V |
> |
|
|
Г |
|
|
“H |
рммнк |
1 |
|
, V ' |
1 |
1 |
|
1 |
||
~ |
l2 " + 2 - r r |
|||
|
L^o |
|
/=1 |
J |
Равноточные измерения
2 |
2 |
г? |
= r |
p мнк _ £ _
m
,.2 pOMHK _ 1_
m
2 2 pMMIIK _ G0r
r 2 + CTQWÎ
__________________________ 1
Втабл. 2.2.5 приведены результаты расчета СКО ошибок оценивания,
взависимости от числа измерений для ОМНК и ММНК при одинаковых
дисперсиях ошибок измерения |
г = \ , т= TTTÔ. |
|
|
|
|
|||||
|
|
|
|
|
|
|
|
Т а б л и ц а |
2.2.5 |
|
Значения СКО ошибок оценивания в зависимости от числа измерений |
||||||||||
|
|
для ОМНК и ММНК при разных значениях ст0 |
|
|
||||||
|
|
|
|
|
Номер измерения |
|
|
|
|
|
Метод |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
|
||||||||||
ОМНК |
1 |
0,7 |
0,58 |
0,5 |
0,45 |
0,41 |
0,38 |
0,35 |
0,33 |
0,32 |
ММНК |
|
|
|
|
|
|
|
|
|
|
а о >10, |
1 |
0,7 |
0,58 |
0,5 |
0,45 |
0,41 |
0,38 |
0,35 |
0,33 |
0,32 |
х - 0 |
|
|
|
|
|
|
|
|
|
|
ММНК |
|
|
|
|
|
|
|
|
|
|
а 0 = 1 > |
0,7 |
0,58 |
0,5 |
0,45 |
0,41 |
0,38 |
0,35 |
0,33 |
0,32 |
0,3 |
.7 = 0 |
|
|
|
|
|
|
|
|
|
|
Из результатов следует, что для ОМНК и ММНК при ао>10 отличия в точности не проявляются. Влияние априорной информации в данном
случае незначительно, поскольку <70 » г При 0 О= /• = 1 это влияние
существенно лишь при малом числе измерений. Фактически СКО для ОМНК совпадает с СКО для ММНК на предыдущем шаге. Такое пове дение легко объясняется, если принять во внимание приводимую далее в подразделе 2.2.4 возможную трактовку учета наличия априорной инфор мации в виде дополнительного измерения (2.2.46).♦
Конкретизируем теперь соотношения (2.2.25), (2.2.26), (2.2.31) для задачи оценивания двухмерного вектора, рассмотренной в примере 2.2.3.
♦ П р и м е р 2.2.5. Получим выражения для матриц ковариаций ошибок оценивания коэффициентов полинома первой степени по изме рениям типа (2.1.3), считая, что ошибки измерения являются некоррели рованными между собой центрированными случайными величинами с одинаковыми дисперсиями, равными г , а оцениваемые коэффициенты представляют собой центрированные ( х = 0 ), некоррелированные между собой и с ошибками измерений случайные величины с матрицей кова
риаций р х = <*о
<*Г