Обобщенный метод наименьших квадратов

Найти оптимальные значения

x Rn

параметровj

, j 1,...m

1

, минимизировав

и

m

f (x, )

j

(x,

j

) y

j

2

v

j

j

t

j

2

2 j 1

w

1

T

T

2

r

Wr e Ve

7/1/19

11

где

m

2xx f AWAT wjrj 2xxrj ,

j 1

m

2x f AWD wjrj 2x rj ,

j 1

2

m

r 2

f V DWD

w

r

,

j j

j

j 1

A xr1,..., xrm ,

D diag

r1

rm

,...,

.

1

m

7/1/19

13

Матрица

является диагональной с

2

f

rj

2rj

элементами

2

v j

wj

wjrj

.

2

j

j

Метод Ньютона решения этой задачи

приводит

2к

2

f

f

x

f

решению системы линейных уравнений

xx

x

x

,

2

2

f

f

f

x

x x x,

7/1/19

14

При разработке методов решения полной задачи о

наименьших квадратах важно учитывать

и

специфическую структуру целевой функции

f (x, )

ее производных, в частности, тот факт, что переменные

и

x

могут считаться независимыми.

методы используют вторые производные целевой

2

2

функции

xx f

f

по каждому из аргументов, но

и

2

f

2

f

пренебрегают

x

x

и

.

вычислением смешанных производных

7/1/19

15

Рассмотрим метод, использующий необходимые

условия первого порядка для разделения

x

переменных

и , после чего задача решается с

использованием метода Ньютона.

Предположим, что аппроксимирующая функция

является полиномом вида

(x,t)

где

, - множество(x,t) nортогональныхx p (t),

полиномов.

i

i

i 1

pi (t),i 1,..., n

7/1/19

16

Полиномыi

(t),i 1,..., n

,ортогональные наj

p

, j 1,..., m

множестве

,

могут бытьpполучены по рекуррентным формулам

1

1,

p

t ,

2

1

pi (t) (t i 1) pi 1(t) i 1 pi 2 (t), i 3,..., n.

где

i 1

m

wj j pi 1( j )2

j 1

,

mj 1wj pi 1( j )2

i 1

mj 1wj j pi 1( j ) pi 2

( j )

mj 1wj pi 2 ( j )2

.

7/1/19

18

начальной точки

j

и j

, j 1,..., m

. Затем на

каждой

x

(1)

0

(1)

t

итерации вначале вычисляются ортогональные на

(k)

t j , j

1,..., m

pi (t),i 1,..., n

j

множестве

полиномы

, а

точек

x(k 1)

x(k ) x(k ) ,

(k 1) (k) (k) .

затем определяется

7/1/19

19

Коэффициентыi

вычисляются по формулам

c

n

ci xk i 1,k 1,

1 i n,

k i

1

i k,

i,k

i k;i, k 2,

0

i 1,k 1 i,k k 1 i 1,k k 1 i 1,k 1,

i k.

7/1/19

20