Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
Teoria_otsenivania.pdf
Скачиваний:
160
Добавлен:
02.04.2015
Размер:
2.66 Mб
Скачать

2.3. Оптимальные в среднеквадратическом смысле линейные алгоритмы оценивания.

Введя предположение о случайном характере оцениваемого вектора x и ошибок измерения v и задаваясь их статистическими свойствами, представляется логичным не только использовать этот факт при анализе точности того или иного алгоритма, но и попытаться учесть сделанные предположения уже на этапе постановки и решения задачи. Иными словами, попытаться построить алгоритм «хорошего» качества с точки зрения уровня и свойств соответствующих ему ошибок оценивания. Именно такие алгоритмы и будут рассматриваться в последующих разделах.

2.3.1 Постановка задачи получения оптимальных линейных оценок.

Итак, будем полагать, что задача оценивания (2.1.20), (2.1.21) решается в условиях, когда оцениваемый вектор x и ошибки измерения v считаются случайными. Количественная характеристика качества оценивания может быть введена с помощью скалярной функции

~

L(x x ( y)) , устанавливающей определенный штраф за отличие оценки от истинного значения

оцениваемого параметра и называемой функцией потерь. Наибольшее распространение при анализе качества оценок в задачах обработки навигационной информации получила

квадратичная функция потерь, имеющая вид

~

 

~

 

 

т

(x

~

 

n

~

2

.

 

 

 

 

 

L(x x ( y)) = (x x ( y))

 

x ( y))

= (xi xi ( y))

 

 

 

 

 

 

 

 

 

 

i=1

 

 

 

Введем связанный с этой функцией потерь критерий в виде

 

 

 

 

 

 

~

( y))

т

 

 

 

~

 

 

~

 

(2.3.1)

J = M x,y {(x x

 

(x x ( y))}= M x,y {SpP},

 

где

 

 

 

 

 

 

 

 

 

 

 

 

~

~

 

 

 

 

~

( y))

т

 

 

 

(2.3.2)

P = M x,y (x

x ( y))(x x

 

 

 

 

~

 

 

 

 

 

 

 

 

 

 

 

 

матрица ковариаций ошибок ε( y) = x x ( y) .

 

 

 

 

 

 

 

 

 

 

 

Сформулируем задачу оценивания вектора

x

по измерениям (2.1.21)

следующим образом:

найти такую оценку, которая обеспечит минимум математического ожидания для квадратичной функции потерь, т.е.

xˆ( y) = arg min M

n

~

2

 

x, y

(x x ( y))

 

.

~

 

i

 

 

x

( y)

i =1

 

 

 

 

 

 

 

Таким образом, сформулированная задача нахождения оценки сводится к минимизации следа матрицы ковариаций ее ошибок или, что то же самое, к минимизации суммы дисперсий ошибок оценивания. Этот критерий получил наименование среднеквадратического критерия, а оценка,

обеспечивающая его минимум – оптимальной в среднеквадратическом смысле оценкой. Такую оценку называют еще оценкой с минимальной дисперсией (minimum variance estimate).

44

Заметим, что критерий (2.3.1) принципиально отличается от наблюдаемых критериев, поскольку цель решения задачи заключается в обеспечении определенных требований к ошибкам оценки искомого вектора, а не к вычисленным значениям измеряемых параметров.

Введем составной случайный вектор z = (xт , y т )т , включающий вектор оцениваемых

параметров и вектор измерений. Из выражения для критерия (2.3.1) следует, что для его

вычисления в общем случае требуется располагать совместной ф.п.р.в. fx,y (x, y) . Обычно при

решении задач обработки навигационной информации статистические свойства задаются для оцениваемого вектора и ошибок измерения, которые в наиболее полном объеме характеризуются

совместной ф.п.р.в. fx,v (x, v) . При наличии fx,v (x, v) плотность fx,y (x, y) в принципе может

быть получена с использованием соотношения (2.1.21) и правил преобразования случайных векторов, рассмотренных в 1.4. Однако, следует заметить, что, во-первых, не всегда имеются

достаточные основания для введения той или иной ф.п.р.в. fx,v (x, v) , а во-вторых, даже при наличии fx,v (x, v) нахождение fx,y (x, y) не является тривиальной задачей.

С целью упрощения задачи будем считать, что имеется информация лишь о первых двух

моментах вектора z , представленная в виде его математического ожидания z = (x т

, y т )т и

матрицы ковариаций

 

 

 

 

 

 

 

 

 

 

 

 

z

 

 

P x

 

 

P xy

 

 

P

=

 

 

xy

 

т

 

 

,

(2.3.3)

 

 

 

)

P

y

 

 

 

(P

 

 

 

 

 

а при нахождении оценки используется линейное относительно измерений выражение вида

~

 

 

= x + K ( y

y) .

 

(2.3.4)

x ( y)

 

Нетрудно заметить, что при таком виде оценки выполняется следующее равенство

~ =

M y x ( y) x .

Оценка, удовлетворяющая такому условию, называется несмещенной. Это весьма важное свойство оценки, более подробно будет обсуждаться в последующих разделах.

Подставляя (2.3.4) в (2.3.2), можем записать

J = M x,y {(x x + K ( y y))т (x x + K ( y y))}=

{ } (2.3.5)

= M x,y Sp(x x + K ( y y))(x x + K ( y y))т .

Из этого выражения вытекает, что для вычисления математического ожидания в (2.3.5) теперь уже достаточно знать только z = (x т , y т )т и P z . Введенные ограничения позволяют сформулировать следующую задачу.

Располагая математическим ожиданием и матрицей ковариации для вектора z = (x т , y т )т ,

найти несмещенную оценку вида (2.3.4), обеспечивающую минимум среднеквадратического критерия (2.3.5). Поскольку предполагается линейная зависимость оценки от измерений, то речь

45

таким образом пойдет о линейных несмещенных оценках с минимальной дисперсией или, что то же самое об оптимальных в среднеквадратическом смысле линейных оценках.

2.3.2 Решение задачи нахождения оптимальных линейных оценок

Опираясь на результаты, полученные в теории оценивания, можно получить следующий весьма важный результат.

Для того, чтобы линейная оценка (2.3.4) при решении задачи (2.1.20), (2.1.21)

обеспечивала минимум критерия (2.3.5) необходимо и достаточно, чтобы матрица

K opt ,

используемая при вычислении этой оценки, удовлетворяла уравнению

 

K opt P y = P xy .

(2.3.6)

Убедимся в справедливости этого утверждения. Для начала в целях упрощения будем считать, что векторы центрированные, т.е. их математические ожидания нулевые и таким образом вместо

~

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(2.3.4) можно использовать выражение x ( y) = Ky .

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Необходимость. Представим произвольную матрицу

~

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

K в виде

 

 

 

 

 

 

 

 

 

 

 

 

 

~

 

~

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(2.3.7)

K = K opt

K ,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

где K opt - матрица, удовлетворяющая (2.3.6),

 

а δ

- малый скалярный параметр. Подставляя

(2.3.7) в (2.3.5) и раскрывая скобки, получим

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

}=

 

 

 

~

 

 

 

(K

opt

~

 

 

 

 

(K

opt

 

~

т

 

 

 

J = M x,y {Sp(x

 

 

+ δK ) y)(x

 

+ δK ) y)

 

 

 

 

= Sp[P x

K opt P yx P xy (K opt )т

+ K opt (K opt )т ]

 

 

 

 

~

yx

+ P

xy ~ т

 

~ y

(K

opt

)

т

K

opt

P

y ~ т

)+ δ

2

~ y ~ т

.

− δSp(KP

 

K

 

KP

 

 

 

 

K

 

SpKP K

Принимая во внимание, что следы прямой и транспонированной матриц совпадают, это выражение удобно преобразовать как

~

= Sp[P

x

2P

xy

(K

opt

)

т

+ K

opt

(K

opt

)

т

]

J

 

 

 

 

 

 

 

 

2δSp(P

xy ~ т

K

opt

P

y ~ т

) + δ

2

 

~

 

y

~

 

K

 

 

 

K

 

SpKP

 

K.

Поскольку матрица K opt по предположению минимизирует выбранный критерий, то должно выполняться условие

~

 

 

~

~

 

 

~

 

 

 

 

 

dJ

 

 

 

 

 

 

 

=

2Sp(P xy K т K opt P y K

т )= 2Sp(P xy K opt P y )K т = 0 .

 

dδ

 

 

δ=0

 

 

 

 

 

 

 

 

 

 

 

~

K opt должна

Очевидно, что для выполнения этого условия при

любой

матрице

K ,

удовлетворять уравнению (2.3.6).

 

 

 

 

 

 

 

Достаточность

 

 

 

 

 

 

 

Предположим теперь, что K opt удовлетворяет (2.3.6).

Покажем, что оценка

xˆ( y) = K opt y

минимизирует критерий (2.3.5).

 

 

 

 

 

 

 

Подставляя эту оценку в (2.3.5), запишем

 

 

 

 

 

46

J opt =( M x,y {Sp(x K opt y)(x K opt y)т}=).

= Sp P x 2P xy (K opt )т + K opt P y (K opt )т

~

Для произвольной матрицы K , заданной в виде (2.3.7), получим

~

~

~ ~

т .

J

= J opt 2δSp((P xy K opt P y )K

т )+ δ2SpKP y K

Поскольку по предположению второе слагаемое обращается в ноль, а третье - в силу

неотрицательности P y неотрицательно, то

~

 

J opt J ,

 

что и завершает доказательство достаточности.

 

Если матрица P y не вырождена, то тогда из (2.3.6) следует

 

K opt = P xy (P y )1 ,

(2.3.8)

и таким образом

 

xˆ( y) = Pxy (P y )1 y.

(2.3.9)

Сняв требование о центрированном характере векторов x и

y , нетрудно убедиться в том, что

приведенное доказательство полностью сохранится и на этот случай, если в качестве оптимальной

оценки принять выражение (2.3.4), в котором K = K opt , т.е.

 

xˆ( y) = x + K opt ( y y),

(2.3.10)

где K - матрица соответствующей размерности.

 

Используя (2.3.10), нетрудно получить выражение для матрицы ковариаций

 

Popt = M x, y{(x xˆ( y))(x xˆ( y))T } =

 

= Px + K opt P y (K opt )T K opt P yx Pxy (K opt )T .

 

Преобразуя это выражение с использованием (2.3.8), получаем

 

Popt = P x P xy (P y )-1 P yx .

(2.3.11)

Таким образом, алгоритм вычисления оптимальных в среднеквадратическом смысле линейных оценок и соответствующей им матрицы ковариаций при решении задачи оценивания (2.1.20), (2.1.21) задается соотношениями (2.3.10), (2.3.11).

Необходимо обратить внимание на одно весьма важное следствие из доказанного утверждения, имеющее существенное прикладное значение – алгоритм вычисления линейных оптимальных

оценок

полностью определяется первыми двумя моментами для составного вектора

z = (xт

, y т )т и не зависит от вида ф.п.р.в. fx,y (x, y) . Иными словами при произвольном виде

этих функций, имеющих одинаковые первые два момента, алгоритмы вычисления оптимальных в среднеквадратическом смысле линейных оценок и соответствующих им матриц ковариаций также будут одинаковыми.

47

2.3.3 Решение линейной задачи

Из предыдущего раздела следует, что для получения линейных оптимальных оценок необходимо располагать математическим ожиданием и матрицей ковариации для вектора

z = (x т , y т )т . Как отмечалось выше, при решении задач обработки навигационной информации считаются известными статистические свойства оцениваемого вектора и ошибок измерения. В

нелинейном случае даже при известном виде совместной ф.п.р.в. fx,v (x, v) возникает проблема

нахождения первых двух моментов вектора z = (x т , y т )т . Эта проблема легко решается для линейной задачи (2.1.10), (2.1.11), если заданы соответствующие характеристики для вектора

(x т , v т )т .

Так, если P x,v = P тx

B

B , где матрица B определяет взаимную корреляцию x и v , то

R

 

P

x

 

P

xy

 

 

 

P z =

 

 

 

=

 

 

(P xy )т

P y

 

 

.(2.3.12)

 

 

 

 

P x

 

 

P x H т + B

=

 

 

HPx + Bт

 

 

 

 

 

HPx H т + HB + BтH т + R

Принимая во внимание

тот факт, что в этом случае P xy = P x H т

+ B ,

P y = HP x H т + HB + B тH т + R ,

нетрудно конкретизировать выражения (2.3.10), (2.3.11)

(см.

задачу 2.3.1).

В частности, в случае, когда x и v некоррелированы, т.е. B = 0 , соотношения для оптимальной оценки и матрицы ковариаций ее ошибок могут быть представлены как

K opt = (P x H т )(HP x H т + R)1 ,

Popt = P x P x H т (HP x H т + R)1 HP x .

Учитывая справедливость (1.6.27), (1.6.28) можем также записать

Popt = (P x )1 + H тR1H 1 ,

K opt = Popt H тR 1 .

(2.3.13)

(2.3.14)

(2.3.15)

(2.3.16)

Интересным представляется сопоставление оптимального в среднеквадратическом смысле

линейного алгоритма с алгоритмами, рассмотренными в предыдущем разделе, т.е. с алгоритмами метода наименьших квадратов и его модификациями. Нетрудно заметить, что при B = 0 выражение (2.3.10) при подстановке в него выражения (2.3.16) и выражение (2.3.15) совпадают с выражениями (2.2.28), (2.2.29), и таким образом полученный алгоритм совпадет с

алгоритмом ММНК, если в его критерии принять D = (P x )1 , Q = R 1 . Причины такого совпадения обсуждаются в подразделе 2.5.4. Сопоставление между собой различных вариантов

48

МНК было проведено в подразделе 2.2.4. Поскольку при сделанных предположениях линейная оптимальная оценка совпадает с ММНК, полученные в этом разделе выводы относительно взаимосвязи ММНК с ОМКН и МНК в полном объеме распространяются на оптимальные в среднеквадратическом смысле линейные оценки.

В частности, если считать выполненным условие

(P x )1 << H тR1H

(2.3.17)

и, кроме того, принять R = r 2 E , т.е. полагать, что ошибки представляют

собой

некорррелированные случайные величины с одинаковыми дисперсиями, то тогда можно говорить о практическом совпадении оптимальных в среднеквадратическом смысле линейных оценок с оценками обычного МНК.

Важно подчеркнуть, что вывод о совпадении оптимальных в среднеквадратическом смысле линейных оценок с оценками ММНК справедлив лишь при отсутствии корреляции между оцениваемым вектором и ошибками измерений. При появлении такой корреляции оптимальный алгоритм изменяется, в то время как ММНК сохраняется прежним, поскольку в его критерии учет этого фактора не предусмотрен.

Проиллюстрируем сказанное на примере оценивания коэффициентов полинома первой степени по измерениям (2.1.3), считая, что ошибки измерения являются некоррелированными между собой центрированными случайными величинами с одинаковыми дисперсиями, равными r 2 , а

оцениваемые коэффициенты представляют собой центрированные ( x = 0 ), некоррелированные между собой и с ошибками измерений случайные величины с матрицей ковариаций

1

D= σ020

0

1 . Пример реализации измерений типа (2.1.3) приведен на рис. 2.3.1.

σ 12

Используя соотношения (2.3.15), (2.3.16), легко получить следующие выражения для оценок и матрицы ковариаций

 

 

 

 

 

 

 

 

1

 

 

+

m

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

σ2

 

 

r 2

 

opt

 

 

 

 

 

 

xˆ

 

=

 

 

 

 

 

0

 

 

m

 

 

 

r

2

 

 

 

 

 

 

 

 

 

 

1

ti

 

 

 

 

 

 

 

r 2

 

 

 

 

 

 

 

 

 

 

 

 

 

i=1

 

 

 

 

 

 

1

 

 

+

 

 

m

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

σ02

 

r 2

 

 

Popt =

 

 

 

 

 

 

 

 

 

 

1

 

 

 

m

 

 

 

1

 

 

 

 

 

 

 

 

ti

σ2

 

 

 

r 2

 

 

 

 

 

 

 

 

 

 

 

 

 

i=1

1

 

 

1

 

 

m

 

 

1

 

m

 

 

 

 

 

 

ti

 

 

 

yi

 

 

 

 

2

 

 

 

,

 

 

 

r

 

i=1

 

 

 

i=1

 

1

 

 

 

 

1

 

m

 

 

 

m

 

 

 

 

+

 

 

ti2

 

ti yi

 

 

σ2

 

 

r 2

 

 

1

 

 

 

 

 

 

 

i=1

 

i=1

 

 

1

 

 

m

 

 

 

 

1

 

 

 

 

 

ti

 

 

 

 

 

 

 

2

 

 

 

 

 

 

 

r

 

i=1

 

 

 

 

 

 

 

 

 

 

 

1

 

 

m

 

.

 

 

 

 

+

ti2

 

 

 

 

 

 

r 2

 

 

 

 

 

 

 

 

 

 

 

i=1

 

 

 

 

 

 

 

49

50

 

 

 

 

 

 

 

 

 

 

40

 

 

измеренные значения

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

30

 

 

 

 

 

 

 

 

 

 

20

 

 

 

 

 

 

 

 

 

 

10

 

 

 

 

 

 

 

 

 

 

0

 

 

 

 

 

 

 

 

 

 

-10

 

линейный тренд

 

 

 

 

 

 

 

 

 

 

 

 

 

 

-20

 

 

 

 

 

 

 

 

 

 

-30

1

2

3

4

5

6

7

8

9

10

0

 

 

 

 

номер измерения

 

 

 

 

 

Рис.2.3.1 Пример реализации ошибок измерений, содержащих линейный тренд.

Критерий МНК, соответствующая ему оценка и матрица ковариаций ее ошибок в этой задаче будут определяться как

 

 

 

 

 

 

m

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

J мнк (x) = ( yi x0 x1ti )2 ,

 

 

 

 

 

 

(2.3.18)

 

 

 

 

 

 

i=1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

и таким образом можно записать

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

m

1

 

m

 

 

 

 

 

 

 

m

 

1

 

xˆ

мнк

 

 

m

ti

 

 

yi

 

 

 

мнк

 

2

m

ti

 

 

 

0

=

 

i=1

 

 

i=1

 

,

P

= r

 

i=1

 

 

.

 

ˆ

мнк

 

m

m

 

m

 

 

 

m

m

 

 

 

 

 

 

 

 

 

 

 

 

x

 

 

ti

2

 

ti yi

 

 

 

 

 

 

ti

2

 

 

 

1

 

 

ti

 

 

 

 

 

ti

 

 

 

 

 

 

 

i=1

i=1

 

i=1

 

 

 

 

 

 

i=1

i=1

 

 

 

В ОМНК при диагональной матрице Q в (2.3.18) появятся сомножители qi , и соответственно выражения для оценки и матрицы ковариаций преобразуются к виду

mqi

xˆ омнк = mi=1

qi ti

i=1

m

1

 

m

 

qiti

 

 

qi yi

 

i=1

 

 

i=1

,

m

 

 

m

 

qi ti2

 

qi ti yi

 

i=1

 

i=1

 

mqi

Pомнк = mi=1

qi ti

i=1

m

1

qi ti

 

i=1

.

m

 

qi ti2

 

i=1

 

Нетрудно заметить, что при qi =

1

 

, i =

 

,

эти выражения совпадут с выражениями для

1.m

r 2

 

 

 

 

 

 

 

 

 

 

 

1

 

 

0

 

 

 

 

 

 

 

 

 

 

 

МНК, а, положив дополнительно D

 

2

 

 

и учитывая, что x = 0 , легко убедиться, что

=

 

σ0

 

 

 

 

 

0

 

 

1

 

 

 

 

 

 

 

 

 

 

 

 

σ2

 

 

 

 

 

 

 

 

1

 

 

 

50

оценки ММНК совпадут с оптимальными оценками.

 

1

 

m

 

1

1

m

Условие (2.3.17) в этом примере сводится к неравенствам

 

<<

 

,

 

<<

 

ti2 , при

σ2

r 2

σ2

r 2

 

0

 

 

 

1

 

 

j=1

выполнении которых все рассматриваемые оценки будут между собой совпадать.

2.3.4 Свойство ортогональности оптимальных линейных оценок

Докажем следующее весьма важное свойство линейной оптимальной в среднеквадратическом смысле оценки xˆ( y) . В целях простоты сделаем это для случая x = 0 .

Для того, чтобы линейная оценка xˆ( y) = Ky была оптимальной, необходимо и достаточно

выполнение условия

 

M{(x xˆ( y)) y т} = M{εy т} = 0,

(2.3.19)

означающего, что ошибка оценки ε = x xˆ( y) не коррелирована с вектором измерений y .

Когда два вектора некоррелированы, то, как отмечалось в 1.3.5, говорят также об их ортогональности. В связи с этим сформулированное свойство линейной оптимальной оценки называют также свойством или условием ортогональности [1.9].

Необходимость. Пусть оценка оптимальна,

т. е. матрица K = K opt = P xy (P y )1 ,

определяется

в соответствии с выражением (2.3.8). Отсюда с очевидностью следует, что

 

M{(x xˆ( y)) y т} = M{xy т K opt yy т} = 0.

 

Достаточность.

 

 

 

 

 

Пусть равенство (2.3.19) выполнено. Тогда можем записать

 

M{(x Ky) y т} = 0 ,

 

т.е. P xy = KP y , откуда для матрицы

K

получаем выражение (2.3.8), подтверждающее

оптимальность оценки, удовлетворяющей уравнению (2.3.19).

 

Приведенное утверждение будет также справедливо, если вместо (2.3.19) записать

 

M{(x xˆ( y))xˆ т ( y)} = M{εxˆ т ( y)} = 0,

(2.3.20)

или

 

 

 

 

 

M{(x xˆ( y)(Ly)т} = M{ε(Ly)т} = 0,

(2.3.21)

где L - произвольная матрица размерности n ×m .

 

В частности, при L = L j = (0,...0,1,0000)т

из (2.3.21) вытекает, что

 

j

 

 

 

 

 

M{εyiт} = 0,

i =

 

.

(2.3.22)

1.m

Равенства (2.3.19), (2.3.20), (2.3.21) означают тот факт, что ошибка оценки ε = x xˆ( y)

ортогональна вектору оценки xˆ( y) , вектору измерений y , произвольной линейной

комбинации его компонент и каждой компоненте по отдельности.

51

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]