Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
Teoria_otsenivania.pdf
Скачиваний:
160
Добавлен:
02.04.2015
Размер:
2.66 Mб
Скачать

2.2 Алгоритмы оценивания на основе минимизации наблюдаемых критериев. Метод наименьших квадратов.

Обсудим далее основные подходы, используемые при решении сформулированных в предыдущем разделе задач в рамках теории статистического оценивания. Рассмотрим для начала подход к построению алгоритмов оценивания, в котором при нахождении оценок могут не вводиться предположения о случайном характере искомого вектора x и ошибок измерений ν, и следовательно, отсутствует необходимость в задании какой-либо априорной информации статистического характера.

2.2.1 Основные положения и постановка задачи метода наименьших квадратов.

Отличительная особенность этого подхода заключается в том, что задача синтеза алгоритма, т.е. получения процедуры вычисления оценки неизвестного вектора x по измерениям y , основана на выборе таких ее значений, которые обеспечивают минимизацию некоторого выбранного критерия, характеризующего меру близости между измеренными и вычисленными значениями s(x) или Hx . В качестве простейшего варианта такого критерия может быть выбрана функция

m

 

J мнк (x) = ( y s(x))т ( y s(x)) = ( yi si (x))2 .

(2.2.1)

i=1

Для критерия типа (2.2.1) будем использовать в дальнейшем термин – наблюдаемый критерий, подчеркивая тем самым факт возможности непосредственного вычисления его значений как функции x при наличии измерений y . Разности

µi = yi si (x)

обычно называют невязками измерений. Таким образом, при решении задачи оценивания на основе минимизации наблюдаемого критерия в качестве оценки следует выбрать такое значение x , при котором обеспечиваются определенные требования к невязкам измерений - их значения должны быть минимальны в смысле выбранного критерия. Алгоритмы, основанные на минимизации критерия типа (2.2.1), получили наименование метода наименьших квадратов (МНК). В англоязычной литературе для него используется термин - least squares method (LSM). В дальнейшем алгоритмы, основанные на минимизации других наблюдаемых критериев, также

будем называть алгоритмами МНК.

 

Критерий (2.2.1) и соответствующая ему оценка

 

xˆ мнк ( y) = arg min( y s(x))т ( y s(x))

(2.2.2)

x

 

имеют вполне понятный смысл– выбрать такое значение искомого параметра, при котором минимизируется сумма квадратов отклонений вычисляемых величин от их измеренных значений, т.е. минимизируется сумма квадратов невязок измерений. Геометрическая интерпретация для

24

рассмотренных примеров (см. Рис. 2.1.1- 2.1.4) достаточно очевидна - неизвестные параметры следует выбрать так, чтобы «лучшим» образом совместить вычисленную и измеренную реализации. Так, к примеру, в рассмотренной в разделе 2.1 задаче определения фазы x = ϕ0 по измерениям (2.1.15) этот критерий будет иметь вид

m

J мнк (x) = ( yi Asin(ωti + x))2 .

i=1

Определяя для J мнк(x) в соответствии с приведенными в приложении правилами (П1.15),

(П1.30) производную

s т (x)

и учитывая необходимое условие минимума, можем записать так

x

 

 

 

 

 

 

 

называемую систему нормальных уравнений

 

 

 

 

 

 

dJ мнк (x)

= −2

ds т (x)

( y s(x)) = 0.

(2.2.3)

 

 

 

dx

dx

 

 

 

 

 

 

В частности, для примера оценивания фазы эти уравнения конкретизируются к виду

m

2A( yi Asin(ωti + x)) cos(ωti + x) = 0 .

i=1

Следует напомнить, что (2.2.3) является лишь необходимым условием, и для обеспечения локального минимума требуется проверять справедливость выполнения достаточного условия

 

2

J мнк (x)

 

xˆ

мнк

( y)

0.

(2.2.4)

 

 

 

xxT

 

 

 

 

 

 

 

 

 

 

Вместо (2.2.1) в качестве наблюдаемого критерия может быть использована функция

 

 

J омнк(x) = ( y s(x))тQ( y s(x)),

(2.2.5)

в которой Q некоторая симметричная

неотрицательно определенная матрица.

Так, если

считать Q диагональной матрицей с элементами qi , i =1.m , то вместо (2.2.1) будем иметь

m

Jомнк (x) = qi ( yi si (x))2 .

i=1

Смысл введения весовой матрицы Q заключается в том, чтобы обеспечить возможность по разному учитывать вклад отличий измеренных и вычисленных значений, соответствующих различным компонентам вектора измерений. В этом случае говорят о так называемом

обобщенном методе наименьших квадратов (ОМНК). Его иногда называют методом

взвешенных наименьших квадратов (weighted least squares method).

В наиболее общем случае в качестве минимизируемого наблюдаемого критерия может быть использована функция

J ммнк (x) = ( y s(x))тQ( y s(x)) + (x x)т D(x x) ,

(2.2.6)

которая при диагональном характере матриц Q и D примет вид

25

 

 

 

 

 

m

n

 

 

 

 

 

J ммнк (x) = ∑qi ( yi si (x))2 +

d j (x j x j )2 ,

 

 

 

 

 

i=1

j=1

где

x = (x

,....x

n

)т

- некоторый известный вектор. Будем называть далее метод, основанный на

 

1

 

 

 

 

минимизации

критерия типа (2.2.6), модифицированным методом наименьших квадратов

(ММНК). Смысл второго дополнительного слагаемого заключается в том, что при отличии получаемых оценок xˆ j ( y) от некоторых назначаемых из тех или иных соображений значений xj ,

устанавливается определенный штраф, уровень которого задается коэффициентами d j , j =1.n .

Из сказанного вытекает, что нахождение оценок, соответствующих методу наименьших квадратов или одному из его обобщенных вариантов, сводится к отысканию минимума функций (2.2.1), (2.2.5) или (2.2.6). Таким образом, задача синтеза алгоритма сводится к выбору экономичного в вычислительном отношении алгоритма поиска экстремума с привлечением методов нелинейного программирования [2.13]. В общем случае эта задача не является тривиальной, поскольку минимизируемые функции могут иметь сложный многоэкстремальный характер. Решение задачи анализа точности при сделанных предположениях наталкивается на определенных трудности, поскольку для этого недостаточно используемых априорных данных.

2.2.2 Общее решение линейной задачи

Наиболее просто задача синтеза алгоритмов решается в линейной постановке, т.е. такой, в которой измерения могут быть представлены в виде (2.1.11). В этом случае, в частности, для обычного МНК минимизируемый критерий (2.2.1) запишется как

J мнк (x) = ( y Hx)т ( y Hx) .

(2.2.7)

Нетрудно заметить, что относительно x функция (2.2.7) представляет собой квадратичную форму

J мнк(x) = x тH тHx 2x тH т y + yH тHy ,

которая при невырожденной H тH имеет единственный экстремум, и при этом достаточное условие (2.2.4) выполнено.

Принимая во внимание соотношение (П1.30), систему нормальных уравнений для критерия (2.2.7) можно записать в виде

H т ( y Hx) = 0 ,

Условие невырожденности H тH будем называть условием наблюдаемости вектора x , а сам вектор – наблюдаемым вектором. Использование этих терминов вполне оправдано, поскольку в

этом случае можно получить выражение для оценки в явном виде как функции измерений

 

xˆ мнк ( y) = (H тH )1 H т y,

(2.2.8)

или

26

xˆ мнк ( y) = K мнк y,

(2.2.9)

где

 

K мнк = (H тH )1 H т .

(2.2.10)

Поступая аналогично при решении линейной задачи в случае ОМНК и считая невырожденной

H тQH , можем записать

 

J омнк (x) = ( y Hx)т Q( y Hx) ,

(2.2.11)

xˆ омнк ( y) = K омнк y,

(2.2.12)

где

 

K омнк = (H тQH )1 H тQ .

(2.2.13)

Для ММНК (см. задачу 2.2.1) получим следующий набор соотношений

 

J ммнк (x) = ( y Hx)т Q( y Hx) + (x x)т D(x x) ,

(2.2.14)

xˆ ммнк ( y) = x + K ммнк ( y Hx),

(2.2.15)

где

 

K ммнк = (D + H тQH )1 H тQ .

(2.2.16)

Заметим, что, как правило, матрица Q не вырождена, и, таким образом, при выполнении условия наблюдаемости матрица H тQH также является невырожденной.

Представленные соотношения сведены в таблицу 2.2.1

Таблица 2.2.1

Наблюдаемые критерии в линейной задаче оценивания.

Метод

Критерий

Алгоритм

 

 

 

МНК

J мнк (x) = ( y Hx)т ( y Hx)

xˆ мнк ( y) = K мнк y,

K мнк = (H тH )1 H т

 

 

 

 

xˆ омнк ( y) = K омнк y,

ОМНК

J омнк (x) = ( y Hx)т Q( y Hx)

K омнк = (H тQH )1 H тQ

ММНК

J ммнк (x) = ( y Hx)т Q( y Hx) + (x x)т D(x x)

xˆ ммнк ( y) = x + K ммнк ( y Hx),

K ммнк = (D + H тQH )1 H тQ

 

 

 

 

 

Обращаем внимание на одно весьма важное обстоятельство – все получающиеся оценки линейным образом зависят от измерений. Это есть следствие линейности измерений (2.1.11) и

27

квадратичного характера минимизируемых критериев (2.2.7), (2.2.11), (2.2.14).

Весьма полезным представляется соотношение, с помощью которого оценки ММНК выражаются через оценки ОМНК. Для его получения запишем

xˆ ммнк ( y) = x + K ммнк ( y Hx) = (E K ммнкH )x + K ммнк y. (2.2.17)

Принимая во внимание тот факт, что

(E K ммнкH ) = (D + H тQH )1 (D + H тQH )(D + H тQH )1 H тQH = = (D + H тQH )1 (D + H тQH H тQH ) = (D + H тQH )1 D,

а

K ммнк = (D + H тQH )1 H тQ = (D + H тQH )1 (H тQH )(H тQH )1 H тQ ,

оценку (2.2.12) можем представить в виде,

 

xˆ ммнк ( y) = (D + H тQH )1 (Dx + H тQHxˆ омнк ( y)) .

(2.2.18)

В линейной задаче может быть получено определенное продвижение в решении задачи анализа точности, поскольку в этом случае могут быть получены явные выражения для ошибок оценок в виде

εмнк ( y) = x xˆмнк ( y) = x K мнк y = x (H тH )1 H т (Hx + ν) = −K мнкν, (2.2.19) εомнк ( y) = x xˆомнк ( y) = x K омнк y = x (H тH )1 H т (Hx + ν) = −K омнкν, (2.2.20)

εммнк ( y) = x xˆ ммнк ( y) = (E K ммнкH )(x x) K ммнкν. (2.2.21)

Важно подчеркнуть, что ошибки оценок, соответствующих МНК и ОМНК, не зависят от вектора оцениваемых параметров, а зависят только от ошибок измерения. Ошибка оценивания для ММНК зависит еще и от значения самого оцениваемого вектора.

С учетом (2.2.18) можем также записать

εммнк ( y) = (D + H тQH )1 (D(x x) + H тQHεомнк ( y)). (2.2.22)

Из представленных соотношений понятно, что для получения каких либо количественных характеристик, необходимых при решении задачи анализа точности, необходимо привлечение дополнительной информации о свойствах ошибок измерения (в случае МНК и ОМНК) и самого оцениваемого вектора (в случае ММНК).

Конкретизируем выражения для оценок и соответствующих им ошибок для задачи оценивания неизвестной скалярной величины по измерениям (2.1.1), выбирая в критерии (2.2.11) для простоты матрицу Q диагональной с элементами qi > 0 , i =1.m , а в критерии (2.2.14), полагая D = d .

Принимая во внимание вид матрицы H т =[1,1....1] , нетрудно получить приведенные в таблице

2.2.2 выражения для оценок и их ошибок.

28

Таблица 2.2.2 Алгоритмы оценивания и их ошибки для различных методов для простейшего примера

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

оценивания вектора x по измерениям yi

 

= x + vi ,

i =

1.m

.

 

 

Метод

 

 

 

 

 

 

 

 

 

 

Алгоритм

 

 

 

 

 

 

 

Ошибки оценки

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

МНК

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

m

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1 m

 

 

 

 

 

 

 

 

 

 

 

 

 

m

 

 

 

 

 

 

 

 

 

 

 

мнк

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

мнк

 

 

 

 

 

 

 

 

 

 

 

 

J

мнк

(x) =

( yi x)

2

 

 

 

 

xˆ

 

 

=

 

 

 

yi

 

 

 

 

 

 

 

 

ε

 

 

 

 

=

 

 

 

 

vi

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

m i=1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

m i=1

 

 

 

 

 

 

 

 

 

 

 

 

 

i=1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ОМНК

 

 

 

 

 

 

xˆ

омнк

 

 

 

m

~омнк

yi ,

 

 

 

ε

омнк

=

m

~омнк

vi ,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

= qi

 

 

 

 

 

 

 

 

 

qi

 

 

 

 

 

 

 

 

 

 

 

m

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

i=1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

i=1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

J омнк (x) =

 

 

 

 

x)2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

qi

 

 

 

 

 

 

 

 

 

q

( y

 

 

 

 

 

 

~омнк

 

 

 

 

q

 

 

 

 

 

 

 

 

 

 

~омнк

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

i

 

i

 

 

 

 

 

 

 

 

 

 

 

 

i

 

 

 

 

 

 

 

 

q

 

 

 

 

 

=

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

i=1

 

 

 

 

 

 

 

 

 

 

qi

 

 

 

 

=

 

m

 

 

 

 

 

 

 

 

 

 

 

 

i

 

 

 

 

 

 

 

 

m

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

qi

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

qi

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

i=1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

i=1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

xˆ

ммнк

( y)

 

 

 

 

 

 

 

m

 

~ммнк

( yi x),

ε

ммнк

 

 

 

 

~

(x

x) +

m ~ммнк

vi ,

 

 

 

 

 

 

 

 

 

 

 

 

= x + qi

 

 

 

 

( y) = d

qi

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

i=1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

i=1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ММНК

 

 

 

 

 

 

~ммнк

 

 

 

 

 

 

qi

 

 

 

 

 

 

 

~ммнк

 

 

 

 

 

 

 

qi

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

J омнк(x) = d (x x)2 +

 

 

q

i

 

 

 

=

 

 

 

m

 

 

,

 

 

 

 

qi

 

 

 

 

=

 

 

 

 

 

m

 

 

,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

d + qi

 

 

 

 

 

 

 

 

 

 

 

d + qi

 

 

 

 

 

 

m

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

i=1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

i=1

 

 

 

 

 

 

 

+ qi ( yi x)2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

~

 

 

 

 

 

 

d

 

 

 

 

 

 

 

 

 

 

~

 

 

 

 

 

 

d

 

 

 

 

 

 

 

 

 

 

i=1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

d

=

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

d

=

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

m

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

m

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

d + qi

 

 

 

 

 

 

 

 

 

 

 

 

 

d + qi

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

i=1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

i=1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Из этих выражений следует, что в МНК оценка и ошибка этой оценки представляют собой

среднеарифметические от измерений

 

yi

и их ошибок vi , i =

 

, соответственно. Для ОМНК эти

 

1.m

величины определяются уже как значения, «взвешенные» с нормированными коэффициентами

~ммнк

 

qi

m

~ммнк

 

 

 

 

 

 

 

 

 

 

 

 

qi

=

 

 

, qi

 

=1. Выражения для оценок и соответствующих им ошибок для ММНК в

m

 

 

 

qi

i=1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

i=1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

виде (2.2.13), (2.2.19) в этом случае примут следующий вид

 

 

 

 

 

 

 

 

 

 

 

 

 

 

xˆ

ммнк

~

омнк

 

m

~ммнк

,

 

 

 

 

 

 

 

 

 

 

 

 

 

( y) = dx + xˆ

 

( y)qi

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

i=1

 

 

 

 

 

 

 

 

 

 

 

 

 

ε

ммнк

~

 

омнк

 

m ~ ммнк

,

 

 

 

 

 

 

 

 

 

 

 

 

( y) = d (x x)

 

( y)qi

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

i=1

 

 

 

~

 

 

d

 

 

~ммнк

 

qi

 

 

 

 

 

 

 

 

 

где

d

=

 

 

 

,

qi

 

=

 

.

 

 

 

 

 

 

 

m

 

 

m

 

 

 

 

 

 

 

 

 

d + qi

 

 

 

d + qi

 

 

 

 

 

 

 

 

 

 

 

i=1

 

 

 

 

 

i=1

 

 

 

 

 

 

 

29

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]