Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
Teoria_otsenivania.pdf
Скачиваний:
160
Добавлен:
02.04.2015
Размер:
2.66 Mб
Скачать

2.4 Небайесовский метод оценивания.

При решении задачи оценивания в разделе 2.3 исходя из минимизации критерия, непосредственно связанного с ошибкой оценивания, были использованы два существенных ограничения. Во-первых, предполагался линейным характер алгоритмов, а во-вторых, определяя свойства случайных векторов, вводились только их первые два момента.

В настоящем разделе рассмотрим классические, или небайесовские, методы, для которых характерно предположение о случайном характере только ошибок измерения, но при этом считаются заданными не только математические ожидания и матрица ковариаций, а предполагаются полностью известными их статистические свойства. Последнее означает, что задана ф.п.р.в. f v (ν) . Оцениваемый вектор, как и в методе наименьших квадратов или его модификациях предполагается неслучайным - детерминированным вектором [2.1, 2.2].

2.4.1 Основные положения и постановка задачи.

Введение предположения о случайном характере ошибок измерения с известной ф.п.р.в. f v (ν)

дает возможность при фиксированных значениях x рассматривать измерения как случайный вектор, свойства которого определены с помощью условной к x ф.п.р.в. f ( y / x) . В полной мере

это относится и к

оценке

~

измерений

y , и к

x ( y) , представляющей собой преобразование

соответствующей

 

~

x , для

f ( y / x) ,

ей ошибке ε( y) = x x ( y) . Ясно, что, зафиксировав

соответствующей измерениям (2.1.21), можно записать следующее выражение

 

 

 

 

f ( y / x) = f v ( y s(x)) ,

 

(2.4.1)

в котором f v (.)

- ф.п.р.в. ошибок измерения.

 

 

Так, полагая, что в (2.1.21) ошибки измерения представляют собой гауссовский

центрированный вектор с известной матрицей ковариаций R ,

f ( y / x)

может быть представлена в

виде

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

f ( y / x) =

1

 

exp(

1 ( y

s(x))т R1( y s(x)) . (2.4.2)

 

 

 

 

 

 

 

(2π)m / 2

det R

 

 

2

 

 

 

 

Если, кроме того считать

vi , i =

 

 

 

независимыми между собой гауссовскими случайными

1.m

величинами с дисперсиями r 2

, i =

 

, то

f ( y / x)

преобразуется к виду

 

 

1.m

 

 

i

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

1

m

( yi si (x))

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

f ( y / x) =

 

m

m

 

exp

 

 

2

 

.

 

 

 

 

 

 

 

 

 

 

ri2

 

 

2 i=1

 

ri

 

 

 

 

 

 

 

 

 

2π 2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

i=1

 

 

 

 

 

 

 

 

 

К примеру, в задаче оценивания фазы

это

выражение конкретизируется,

если в качестве

si (x) = Asin(ωti + x) .

Введение f ( y / x) , создает предпосылки решения задачи построения алгоритма оценивания

56

путем минимизации критерия типа (2.3.1), в котором при вычислении математического ожидания вместо совместной ф.п.р.в. фигурирует условная к x ф.п.р.в. f ( y / x) . Весьма существенно, что

при этом не требуется вводить ограничения на класс используемых оценок.

Таким образом, задача синтеза алгоритма в общем нелинейном случае может быть конкретизирована следующим образом.

Найти оценку неизвестного детерминированного вектора x по измерениям (2.1.21), в которых

νm-мерный случайный вектор ошибок измерения с заданной f v (ν) ,

исходя из мнимизации

критерия

 

 

 

( y))}.

 

~

( y))

т

~

(2.4.3)

J = M y / x {(x x

 

(x x

При этом обычно требуют обеспечения других полезных свойства оценки, основные из которых рассматриваются ниже.

2.4.2 Свойства небайесовских оценок

Наиболее часто при описании свойств оценок в рамках небайесовского подхода используют такие понятия, как несмещенность, состоятельность и эффективность. Приведем определения этих

понятий и поясним их смысл.

 

 

 

В рамках классического подхода оценка

~

( y) называется несмещенной,

если ее

x

математическое ожидание совпадает с истинным значением параметра x , т.е.

 

~

 

 

(2.4.4)

M y / x{x ( y)} = x.

 

Поскольку знак математического ожидания здесь соответствует условной к оцениваемому параметру ф.п.р.в. измерений y , то фактически условие (2.4.4) имеет вид

~

~

( y) f ( y / x)dy .

M y / x {x

( y)} = x

Заметим, что таким образом введенное определение несмещенности отличается от того, которое было введено в предыдущем разделе. Там предполагалось, что математическое ожидание оценки совпадет с математическим ожиданием самого оцениваемого параметра, поскольку он предполагался случайным. Здесь же математическое ожидание оценки должно совпадать с конкретным зафиксированным значением x , которому соответствует f ( y / x) .

Как правило, при минимизации критерия (2.4.3) накладывают дополнительное требование несмещенности оценки. Оценка, обеспечивающая минимум этого критерия при выполнении требования (2.4.4), называется небайесовской несмещенной оценкой с минимальной дисперсией.

Для объяснения понятия состоятельности предположим, что имеется последовательность измерений скалярной величины

yi = x + vi , i =1.k .

Оценка x называется состоятельной, если она сходится по вероятности к истинному значению

57

оцениваемой величины при увеличении числа измерений k , т. е.

lim Pr(x e < xˆk < x + e) =1,

(2.4.5)

k →∞

 

где под xˆk понимается оценка, полученная по k измерениям, e

сколь угодно малое

положительное число. Аналогично можно определить состоятельность оценки и в векторном случае.

Определим матрицу ковариаций

 

(y))((x x(y))

 

}.

(2.4.6)

P(x) = M y / x {((x x

 

~

~

~

т

 

 

Для того, чтобы подчеркнуть тот факт, что математическое ожидание соответствует случаю фиксированного значения оцениваемого параметра, у этой матрицы введен аргумент x . Именно эта матрица и может быть использована при решении задачи анализа точности.

Понятие эффективности оценки связано с так называемым неравенством Рао-Крамера. Для

несмещенных

оценок

~

 

 

 

 

 

в

рамках

небайесовского подхода

x ( y) неравенство Рао-Крамера

формулируется следующим образом [2.1]

 

 

 

 

 

 

 

 

 

 

 

 

 

~

 

1

(x) ,

 

 

 

 

 

(2.4.7)

 

 

 

P(x) I

 

 

 

 

 

 

где

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ln f ( y / x)

ln f ( y / x)

т

 

 

 

 

 

 

 

 

 

 

 

 

 

I (x) = M y / x

 

 

 

 

 

.

(2.4.8)

 

 

 

x

x

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Из этого неравенства следует, что можно указать такую матрицу

I (x) при фиксированном

значении x ,

которая

будет

всегда меньше

либо равна

матрице

 

ковариаций

для любой

несмещенной

оценки.

В этом

смысле

матрица I 1(x)

определяет

предельно

достижимую

точность решения задачи в рамках небайесовского подхода. Будем называть эту матрицу -

матрицей, характеризующей нижнюю границу точности, или просто матрицей нижней границы. Для справедливости приведенного неравенства требуется, чтобы f ( y / x) удовлетворяла условиям регулярности, суть которых сводится к абсолютной интегрируемости и существованию первых и вторых производных по x . Оценка, для которой в (2.4.7) достигается знак равенства, называется

эффективной небайесовской оценкой. Стоящая справа в выражении (2.4.8) матрица называется

информационной матрицей Фишера.

 

 

 

 

 

 

 

 

 

 

Если найден алгоритм вычисления эффективной оценки

xˆ( y), то для нее, как следует из

(2.4.7), справедливо следующее неравенство

 

 

 

 

 

 

 

 

 

M y / x {(x

ˆ

ˆ

т

M y / x {(x

~

( y))(x

~

( y))

т

},

x( y))(x

x( y))

}

x

x

 

в сущности означающее, что какой бы ни выбирался любой другой алгоритм вычисления несмещенной оценки, соответствующая ему матрица ковариаций ошибок будет всегда меньше или равна матрице, обратной информационной матрице Фишера.

58

Использование неравенства Рао-Крамера оказывается весьма полезным при анализе точности, поскольку с его помощью удается оценить потенциально достижимую точность без построения самой процедуры оценивания.

2.4.3Метод максимума правдоподобия

Ксожалению, в рамках небайесовского подхода не удается установить общего правила нахождения оценок, минимизирующих критерий (2.4.3). В связи с этим выбор того или иного алгоритма оценивания в предположении о случайном характере ошибок измерения проводят путем сравнения соответствующих им значений критерия и сопоставления свойств получающихся оценок.

Наибольшее распространение в рамках небайесовского подхода получил алгоритм вычисления оценок, основанный на максимизации f ( y / x) как функции x при фиксированных значениях

измерений y . Эта функция в теории оценивания получила название функции правдоподобия, а

метод вычисления, основанный на ее максимизации – метод максимума функции правдоподобия (МФП) [2.1, 2.2, 2.4]. Смысл процедуры максимизации заключается в том, чтобы при фиксированных значениях измерений выбрать такое значение искомого вектора, при котором достигается наибольшее правдоподобие между измеряемыми и вычисляемыми величинами. Часто вместо функции правдоподобия имеют дело с ее логарифмом или логарифмической функцией правдоподобия ln f ( y / x) . Обычно эти функции определяются с точностью до произвольного постоянного множителя.

Итак, максимально правдоподобная оценка (maximum likelihood estimate) отыскивается путем выбора значения x , которое максимизирует f ( y / x) , т.е.

xˆ мфп ( y) = arg max f ( y / x),

(2.4.9)

x

 

либо

 

xˆ мфп ( y) = arg max ln f ( y / x).

 

x

 

Для обеспечения максимума функции правдоподобия требуется, чтобы соответствующая

оценка удовлетворяла необходимому условию максимума

 

 

d

 

f ( y / x)

 

xˆ

мфп

( y)

=

0,

 

 

 

 

 

 

dx

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

или

 

 

 

 

 

 

 

 

 

 

 

 

d

 

ln f ( y / x)

 

xˆ

мфп

( y)

= 0. .

(2.4.10)

 

 

 

 

dx

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Эти уравнения получили наименования уравнений правдоподобия.

Как и в случае МНК, приведенные условия являются лишь необходимыми для обеспечения максимума, и каждое из полученных решений должно проверяться на достаточное условие типа

59

2

 

xx т ln f ( y / x) xˆмфп( y) 0.

(2.4.11)

Таким образом, для получения оценок, соответствующих методу максимума правдоподобия, так же, как и в МНК и его модифицированных вариантах, необходимо решать задачу нахождения экстремума функции f ( y / x) или ln f ( y / x) . В общем случае эти функции могут иметь достаточно сложный многоэкстремальный характер, и для решения задачи нахождения их экстремума требуется привлечение специальных методов [2.14]. В этом смысле методы нахождения таких оценок аналогичны методам, рассмотренным в разделе 2.2.

Оценка, соответствующая максимуму функции правдоподобия, обладает следующими важными свойствами: она состоятельна; в асимптотике, при неограниченном увеличении числа измерений k → ∞ - не смещена и нормальна (имеет гауссовское распределение) [2.1, с.82]. Кроме того, в теории оценивания установлен следующий факт: если существует эффективная небайесовская оценка, то она является оценкой, максимизирующей функцию правдоподобия [2.1]. Перечисленные свойства оценки, соответствующей максимуму функции правдоподобия, и объясняют факт ее широкого использования в рамках небайесовского подхода. Однако следует иметь в виду, что эта оценка не является общим решением задачи минимизации критерия нахождения несмещенных оценок с минимальной дисперсией и даже не всегда при ограниченном объеме измерений является просто несмещенной [2.2].

2.4.4. Решение нелинейной гауссовской задачи

Конкретизируем алгоритм нахождения оценки, соответствующей максимуму функции правдоподобия в задаче (2.1.20), (2.1.21) в предположении, что ошибки измерения v

представляют собой центрированный случайный гауссовский вектор с матрицей ковариаций R . В этом случае функция правдоподобия совпадает с точностью до постоянного множителя с выражением (2.4.2), но рассматривается уже как функция аргумента x , а логарифмическая функция правдоподобия может быть записана в виде

J мфп (x) = ln f ( y / x) = −

1

( y s(x))т R1 ( y s(x)) . (2.4.12)

2

 

 

Отсюда следует, что для нахождения оценки необходимо либо отыскивать максимум этого

критерия, либо решать систему нелинейных уравнений

 

 

 

 

ln f ( y / x)

=

ds т (x)

R

1

( y s(x)) = 0 ,

(2.4.13)

x

dx

 

 

 

 

 

 

с последующей проверкой условия (2.4.11).

Нетрудно заметить, что вид критерия (2.4.12), соответствующий рассматриваемому гауссовскому случаю, с точностью до постоянного множителя совпадает с критерием (2.2.4) обобщенного метода наименьших квадратов, если в ОМНК в качестве весовой матрицы выбрать

60

матрицу Q = R1 . Из сказанного вытекает следующий вывод.

Оценка, соответствующая методу максимума функции правдоподобия в задаче оценивания x по измерениям (2.4.16) при гауссовском характере ошибок измерения,

совпадает с оценкой обобщенного метода наименьших квадратов, если весовая матрица

Q= R1 .

Взадаче (2.1.20), (2.1.21) с гауссовскими ошибками измерения достаточно просто вычисляется матрица, характеризующая нижнюю границу точности. Действительно, полагая, что функция s(x)

обеспечивает выполнение условий регулярности и принимая во внимание соотношение

ln f ( y / x)

=

 

dsт(x)

R

1

( y s(x)) ,

(2.4.14)

x

 

 

dx

 

 

 

 

 

 

 

 

 

 

 

 

легко вычислить математическое ожидание в (2.4.8) и таким образом для матрицы Фишера

получить

 

 

 

 

 

 

 

 

 

 

 

 

I (x) =

ds т (x)

R

1 ds(x)

.

(2.4.15)

dx

 

 

 

 

dx т

 

 

 

 

 

 

 

 

 

 

 

Нетрудно заметить, что, если применительно к рассматриваемой задаче считать допустимым линеаризованное описание для (2.1.21), в котором точка линеаризации совпадает с истинным значением оцениваемого вектора, то матрица ковариаций ошибок для оценок, соответствующих МФП, совпадет с I 1(x) .

В частности, можно показать, что в задаче определения координат места по точечным ориентирам вычисляемая согласно (2.2.31) матрица ковариаций для ОМНК будет совпадать с

матрицей, характеризующей нижнюю границу точности, если заменить значение x л на истинное значение x (см. задачу 2.4.1).

Рассмотрим пример получения алгоритма вычисления оценки, максимизирующей функцию правдоподобия, и вычисления нижней границы точности в задаче оценивания скалярной величины

x по измерениям

 

yi = si (x) + vi , i =1.m ,

(2.4.16)

в которых vi , i =1.m - предполагаются независимыми между собой гауссовскими случайными

величинами с одинаковыми дисперсиями r 2 , т.е R = r 2 E .

Алгоритм нахождения оценки в данном случае сведется к минимизации критерия

J мфп (x) = − 21r 2 ( yi si (x))2 ,

или решению уравнения (2.4.13), которое в данном случае принимает вид

m dsi (x)( yi si (x)) = 0 . i=1 dx

Используя выражение (2.4.15), запишем

61

 

1

m ds

i

(x) 2

 

I (x) =

 

 

 

 

 

 

.

r 2

 

dx

 

 

i=1

 

 

 

Если ввести величину среднеквадратического значения производной

H (x) =

1 m ds

i

(x)

2

 

 

 

 

 

,

 

 

m i=1

 

 

dx

 

 

тогда выражение для нижней границы точности можно записать в виде

 

P(x) I 1(x) =

r 2

.

(2.4.17)

 

 

 

 

2 (x)m

 

H

 

Это соотношение оказывается весьма полезным при проведении ориентировочного анализа ожидаемой точности оценивания в нелинейных задачах, в частности, в задаче корреляционноэкстремальной навигации, одномерный вариант которой рассматривался в разделе 2.1. Из (2.4.17) следует, что предельно достижимая точность оценивания координат может быть приближенно определена отношением величины, задающей дисперсию осредненной ошибки измерения используемого геофизического поля, к ожидаемому значению его градиента [2.11].

2.4.5 Решение гауссовской линейной задачи

Алгоритм нахождения оценки, соответствующей максимуму функции правдоподобия, существенно упрощается при рассмотрении линейной задачи (2.1.10), (2.1.11) в предположении, что ошибки измерения v представляют собой центрированный случайный гауссовский вектор с матрицей ковариаций R . Получим эту оценку и проанализируем ее свойства.

В данном случае записанный с точностью до постоянного множителя критерий (2.4.12) примет

следующий вид

 

 

J мфп (x) = ( y Hx)т R1 ( y Hx) .

 

(2.4.18)

Таким образом,

 

 

xˆ мфп ( y) = arg max N ( y, Hx, R) = arg min J мфп (x).

 

x

x

 

Отсюда получаем

 

 

xˆ мфп ( y) = K мфп y,

 

(2.4.19)

Pмфп = K мфпR(K мфп )т = (H тR1H )1 ,

(2.4.20)

где

 

 

K мфп = (H тR1H )1 H тR1 .

 

(2.4.21)

Поскольку, как отмечалось выше, для гауссовской задачи оценки, полученные с использованием ОМНК и метода максимума правдоподобия при Q = R1 , совпадают, выражения

(2.4.19), (2.4.20) идентичны - (2.2.26), (2.2.27).

62

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]