Современные проблемы прикладной математики. Часть 2. Практикум

§3.4. Алгоритм поиска αV

с использованием SVD

разложения

Пусть

ковариационная

матрица

Vη

допускает представление

V = σ 2C . Запишем сингулярное разложение (3.16)

η

η

η

C−12 K = UΛV T .

η

Теперь статистику ρV (α )

можно записать в виде

1

−1

T

−1

ρV (α ) =

(Cη

2eα )

(Cη

2eα ) ,

(3.37)

σ 2

η

где вектор

C−12e

допускает представление:

η α

−1

eα =

p

α m(λj )

yj

N

(3.38)

Cη

2

∑

2

uj + ∑ yjuj

j

=1 λj + αm(λj )

ɶ

j= p+1

ɶ

Тогда

для

статистики

RV (γ) = ρV (1/α)

и ее производной

получим

1

p

m(λj )

2

ɶ2

RV (γ ) =

2

∑

2

,

(3.39)

+m(λj

yj

ση

j=1

γ λj

)

∂R (γ )

2

p

λj2 m2 (λj )

RV′ (γ ) =

V

= −

∑

yɶ

2j ,(3.40)

2

3

∂γ

ση j=1 γ λj2 +m(λj )

где

ɶ

−12

ɶ

yj

= uj ,Cη

f .

Значение γV , при котором принимается гипотеза (3.27),

удовлетворяет условию

ϑp (β 2) ≤ RV (γV ) ≤ ϑp (1− β 2) ,

(3.41)

Для вычисления γV

вновь используем итерационную процедуру

ньютоновского типа:

γ (n) = γ (n−1)

−

RV (γ (n−1) ) − p

, n =1,2,...,

(3.42)

RV′

(γ (n−1) )

с начальным значением

γ (0)

10−15 . В

качестве γV

1

− 1

0

− 1

2

− 1

Wϕ =

(4.2)

0

− 1

1

µ = { µ2 , µ3, ... ,µM } .

(4.3)

Тогда имеем новый сглаживающий функционал:

M

F [ϕ,µ] =

fɶ − Kϕ

W2 f + ∑ µ2j (ϕ j −ϕ j−1)2 .

(4.4)

j=2

Определив матрицу:

µ2

− µ2

0

2

2

−µ

2

(µ2 +

µ2 )

− µ

2

2

2

3

3

M(µ) =

0

− µ2

(µ2 +

µ2 )

− µ2

,

(4.5)

3

3

4

4

0

− µ2

µ2

M

M

функционал (4.4) можно переписать в виде:

F [ϕ,µ] =

fɶ − Kϕ

W2

2M (µ) .

+

ϕ

(4.6)

f

Введем функционал

M

M

Г [µ] = γ 12 ∑(µ j

− γ 0 )2 + γ 22

∑(µ j

− µ j−1)2

(4.7)

j=2

j=3

и ограничения 0 ≤ µ j

≤ γ 0 , j = 2,..., M .

Введем новый сглаживающий функционал (назовем его

локальным сглаживающим функционалом)

Φ[ϕ,µ] = F[ϕ,µ] + Γ[µ]

(4.8)

и определим точку его минимума (ϕ* ,µ*) из условий:

µ

∂Φ [ϕ,µ] = 0,

j = 1,...,M;

(4.9)

∂ϕ j

∂Φ[ϕ,µ] = 0,

j = 2,...,M.

(4.10)

∂µj

Точку минимума (ϕ ,µ ) функционала Φ[ϕ,µ] ищем

итерационным путем из решения совместных систем вида

M

= (KTWf fɶ)

∑(KTWf K + M(µ(l) )) ϕ(jl)

, i = 1,...,M ,

(4.11)

j=1

i, j

i

(l)

(l)

)

2

+

γ

2

+

2γ

2

(l+1)

−

γ

2

(l+1)

=

γ

2

;

(ϕ2

−ϕ1

1

2

µ2

2

µ3

1 γ0

2

(l+1)

(l)

(l)

2

+

γ

2

+

2γ

2

(l+1)

−

γ

2

(l+1)

=

γ

2

,i = 3,...,M −1;

−γ2 µi−1

+ (ϕi

−ϕi−1 )

1

2

µi

2

µi+1

1γ0

2

(l+1)

(l)

−

(l)

2

2

2

(l+1)

= γ

2

−γ2

µM−1

+

(ϕM

ϕM−1 )

+γ1

+ 2γ2

µM

1 γ0.

(4.12)

µ(l+1) , если

0 ≤

µ

(l+1) ≤ γ

0

;

i

i

, l =1,2,....

(4.13)

µi(l+1) =

0, если µi(l+1)

< 0;

γ

0

, если

µ(l+1) > γ

0

.

i

γ0

=

αW .

(4.14)

Условием прекращения итераций является одновременное

выполнение условий:

µ(l ) − µ(l−1)

≤ ε ;

ϕ(l) −ϕ

(l−1)

≤ ε ,

(4.15)

µ(l)

ϕ(l)

где ε

– достаточно малая величина – порядка 10−4

10−3 . В

качестве начального значения µ(0)

примем вектор с проекциями

µ i(0)=

αW

,

i=2,..., M,

(4.16)

2

где αW – оценка αopt

по критерию оптимальности (см. п. 3.1).

Gϕ ≤ g ,

(5.1)

неотрицательности проекций вектора ϕ (ϕi ≥ 0,

i = 1,2,...,M )

система неравенств (5.1) преобразуется к виду

−IM ×M ϕ ≤ 0M ,

(5.3)

здесь IM ×M – единичная матрица; 0M – нулевой вектор.

В этом случае искомый вектор

ϕ* , будет являться решением

α

следующей задачи квадратичного программирования :

ɶ

− Kϕ

2

2

(5.3)

inf

f

Cη−1 +α

ϕ

Wϕ

Rpα = diag{r1(α),r2 (α),...,rp (α)}

(5.4)

размером p × p с элементами

rj (α) =

λj

, j = 1,..., p

,

(5.5)

λ2

+αm(λ

)

j

j

T ,

где p – ранг матрицы, и введем

вектор

z

p

=

y , y

,..., y

p

1

2

составленный из первых p проекций вектора y = UT C−1/ 2

fɶ .

η

Тогда регуляризированное решение ϕα , доставляющее

минимум функционалу (5.3) с матрицей

W

=V

diag{m(λ ),...,m(λ

p

)}VT

,

ϕ

p

1

p

определяется как ϕα = Vp xα , где Vp

– матрица размером

M × p ,

составленная из p первых столбцов матрицы V . Вектор

xα = Rpα zp ,

(5.5)

состоящий из p проекций, доставляет минимум функционалу:

F (x) = xT R−1 x − 2xT z

p

+ const.

(5.6)

α

pα

Введя обозначения D

pα

= 2R−1 ,

d

p

= −2z

p

, с учетом ϕ

α

= V

x

и

pα

p

α

Задача А.

Найти вектор

x*

размерности

M ,

α

доставляющий минимум функционалу

F

(x) =

1 xT D

pα

x + xT d

p

+ const

(5.7)

α

2

при ограничении

GVp x ≤ g .

(5.8)

µ ≥ 0L

(5.9)

Решение задачи В можно осуществить используя известные

алгоритмы квадратичного программирования.

После вычисления

µ* решение x*

задачи А находится из

α

выражения

x*

= x −

1 R

V T GT µ*

(5.10)

α

α

2

pα p

В. Очевидно, что если µ* = 0, то x*

= x .

α

α

Вектор дескриптивного решения находится как

ϕ* = V

x* .

(5.11)

α

p α

Таким

образом,

построение

дескриптивного решения ϕ*

α

можно представить следующими шагами:

•

выполнение сингулярного разложения C

−1/ 2K = UΛV T

, где

η

V = σ 2C ,

λ

j

– сингулярные числа, U ,V

– ортогональные

η

η η

матрицы;

•

вычисление вектора xα

из условия минимума функционала

Fα (x) (см. (5.5)), т.е.

λ

λp

xα = diag

1

,...,

zp ,

(5.12)

2

+αm(λ1)

2

λ1

λM +αm(λp )

x(l)

= R

(l) z

p

,

l = 0,1,2,...

(5.13)

s

pS

где диагональная матрица R(l) (см. (2.19))

pS

R(l) = diag{r(l)

,r

(l)

,...,r(l)}

(5.14)

pS

S

S

2

S

p

1

размером p × p имеет элементы

r(l) =

1

,

j = 1,..., p ,

(5.15)

λ

(1+ S(l) )

S j

j

j

а вектор zp

=

ɶy1, ɶy2 ,..., ɶyp

T

составлен из первых p

проекций

вектора ɶy = UT C−1/ 2

fɶ .

η

Величины S

(l)

определяются следующим выражением:

j

S

*(l) , если

Sɶ

j

≤ 1/4

и

0 ≤ S(l)

< S*(l);

j,1

j

j,2

*(j,2l) , если

Sɶj

≤ 1/4

S(jl)

= S

*(j,2l) ;

=

S

и

(5.16)

S(jl+1)

Sɶj

≤1/4

S(jl)

> S*(j,2l) ;

0,

если

и

Sɶj

>1/4.

0,

если

Здесь S*(l) и S

*(l)

определяются как корни квадратного

j,1

j,2

1

(S*(j

l) ) 2+ 2

−

S*(j

l)

+1 = 0 ,

(5.17)

ɶ

Sj

при

этом

S

*(l)

≤ S

*(l) .

В

формулах

(5.19)

и

(5.20)

введены

j,1

j,2

величины:

ɶ

2

ɶ2

,

(l)

2

/(

(l)

)

2

,

j

= 1,..., p ,

(5.18)

Sj = ση /

yj

Sj

= ση

λj xj

где

x(l)

–

проекции

вектора

x(0)

= V Tϕ(0)

.

В

качестве

j