Добавил:
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:

Современные проблемы прикладной математики. Часть 2. Практикум. Учебное пособие

.pdf
Скачиваний:
0
Добавлен:
15.08.2026
Размер:
966 Кб
Скачать

а) ошибки не коррелированны. Значения СКО задать равными σηi = δi fi , i = 1,..., N ; δi = 0.01,0.05,0.01.

Матрица ковариации в этом случае будет диагональной

Vη = diag (σ2η1 ...,σ2ηN ) .

б) ошибки коррелированны. В этом случае вектор ошибок вычисляется по формуле η =Vη1/2ξ, где Vη - заданная

матрица ковариации; ξ - вектор, проекции которого

состоят из нормальных случайных величин с единичной дисперсией и нулевым средним.

4. Задать ограничения на вектор f вида (2.31) и вычислить

матрицу V η по формуле (2.32).

5. Представить матрицу ковариации ошибок V η в форме

 

2

1

 

V

η = ση Cη , где Cη =

 

V η .

σ2

 

 

η

 

6. Вычислить решение системы по формуле (2.48) и погрешность

по

формуле

(2.52)

для

следующих

данных:

Wf

1

= I, ωϕ = 0

для

различных

значений

=V η , Wϕ

α [108,1].

Значения α

определять по

формуле

αk = αk1 10. Значения параметра γ выбрать эмпирически.

Примечание. При наличии научной задачи магистранта, которую можно свести к системе линейных уравнений, провести исследования этой задачи.

31

Практическое занятие №3

Алгоритмы выбора параметра регуляризации

§3.1. Выбор параметра регуляризации на основе критерия оптимальности

Рассмотрим систему уравнений

 

Kϕ = f .

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(3.1)

Здесь K - матрица системы размерности N × M ,

f

- вектор

 

 

 

f

 

 

 

правой части размерности

 

N , равный

=

f

+ η, где

f

-

точная правая часть, η - погрешность

правой части, которая

описывается

моментами

 

 

1-го

и

 

 

 

2-го

 

порядка

M[η] = 0, M[ηηT ] =Vη .

 

Матрица

 

Vη

допускает

представление V = σ2 C

η

, где

 

 

σ2 - скалярная величина, C

η

 

η

η

 

 

 

 

 

η

 

 

 

 

 

 

 

 

 

 

- матрица размерности N × N .

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Регуляризованное

решение системы

 

(3.1) ϕα

является

решением следующей системы уравнений

 

 

 

 

 

 

 

 

 

 

 

(KTV

1K +ασ

2W )ϕ

α

= KTV 1 fɶ

,

 

 

(3.2)

η

η

 

ϕ

 

 

 

η

 

 

 

 

 

где α > 0 - параметр регуляризации.

 

 

 

 

 

 

 

 

 

 

 

Так как σ2

является константой, то в дальнейшем будем

 

η

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

рассматривать систему вида

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(KTV

1K +αW

 

)ϕ

α

= KTV

1 fɶ

.

 

 

 

 

(3.3)

η

 

ϕ

 

 

 

η

 

 

 

 

 

В качестве матрицы Wϕ

 

используется либо единичная

матрица (регуляризация нулевого порядка), либо матрица вида

 

32

 

 

1

1

 

0

 

 

 

 

W =

 

1

2

1

 

 

ϕ

 

 

1

2

1

 

 

 

 

 

 

 

0

 

1

1

 

 

 

 

 

 

 

 

(регуляризация первого порядка).

Рассмотрим вектор невязки eα = f Kϕα = E (α ) fɶ ,

где E(α)

- оператор невязки, который для

решения,

определяемого из системы (3), равен

 

 

 

E(α ) = I K (KTVη1K +αWϕ )1

KTVη1 или

 

E (α ) =Vη (Vη +α 1KWϕ1KT )1 .

 

(3.4)

 

Тогда

для

матрицы ковариации

вектора

невязки

V

(α ) = M[e eT ]

мы можем записать:

 

 

e

 

α α

 

 

 

 

Ve (α ) = E (α )Vfɶ ET (α) .

 

(3.5)

где Vfɶ - матрица ковариации вектора правой части

Vf = M[ f f T ].

Вкачестве αopt возьмем такое значение αW , при котором принимается основная статистическая гипотеза:

H

0

:

V

(α ) =V ET (α ).

 

 

 

 

(3.6)

 

 

e

η

 

 

 

 

 

Таким образом, значение

αW

можно рассматривать как

оценку оптимального параметра регуляризации αopt .

 

Для проверки гипотезы (3.6) введем статистику

 

 

 

 

 

T

T

 

 

1

(3.7)

 

 

 

ρW (α ) = eα Vη E

 

(α )

eα ,

33

Подставляя (3.4) в (3.7), получим

ρW (α ) = fɶT Vη1eα или

ρW (α ) = fɶT (Vη +α 1KWϕ1KT )1 fɶ . (3.8) Введем параметр γ =1/α. Тогда выражение (3.9) примет вид

 

 

 

ρW (γ ) = fɶT (Vη +γ KWϕ1KT )1

fɶ .

 

 

(3.9)

 

 

W

 

(

η

 

)

( η

 

)

 

N

 

 

M

ρ

 

(γ )

= Sp V ET

(γ )

1

V ET (γ )

=

Sp[I

 

] = N ,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

где IN

– единичная матрица размера N N .

 

 

 

 

 

 

Статистика

ρ

W

(γ )

пари

γ = γ

W

подчиняется

χ2 -

распределению с N степенями свободы. Тогда проверка гипотезы (3.6) сводится к проверке предположения: подчиняется

ли величина ρW (γ ) χ2 -распределению с N степенями свободы.

Для этого построим интервал

Θ

N

(β ) = ϑ

N

(β 2),ϑ

N

(1− β 2) ,

(3.10)

 

 

 

 

 

 

 

где ϑN (β 2)

– квантиль

χ2 -распределения уровня

β /2 . Если

ρW (α ) попадает в интервал (3.10), т.е. выполняется

неравенство

 

 

 

 

 

 

 

 

 

 

ϑN (β 2) ≤ ρW (γ ) ≤ϑN (1− β 2) ,

(3.11)

то гипотеза (3.6) может быть принята с вероятностью ошибки первого рода, равной β . Следовательно, значение αW , при

котором выполняется (3.11), является оценкой для αopt .

Для

N ≤10

граничные

точки

интервала ΘN (β )

квантили ϑN (β 2) ,

ϑN (1− β 2)

при

β = 0.1

приведены

в

таблице 3.1.

 

 

 

 

 

 

 

 

 

 

Таблица 3.1

 

 

 

 

 

 

 

 

 

 

N

4

 

5

6

7

8

9

 

1

 

 

0

 

 

34

ϑN (0.0

 

0

 

1

 

1

 

2

2

3

3

 

 

.71

 

 

.14

 

.64

 

 

.17

.73

.32

 

.94

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ϑN (0.9

 

9

 

1

 

1

 

1

1

1

1

 

 

.49

 

 

1.0

 

2.6

 

 

4.1

5.5

6.9

 

8.3

 

Если N >10 ,

то

 

квантили

достаточно

точно

 

могут

аппроксимироваться следующими выражениями:

 

 

 

 

 

ϑN (0.05) ≈ N 1.64

 

; ϑN (0.95) N +1.64

 

.(3.12)

2N

2N

Для вычисления

γW

используем

итерационную

процедуру ньютоновского типа:

 

 

 

 

 

 

 

 

γ (n) = γ (n1)

ρW (γ (n1) ) N

 

 

 

 

 

 

 

ρW

(γ (n1)

) , n =1,2,...,

(3.13)

 

 

 

 

 

с начальным значением γ (0) 1015 . В качестве γW принимается значение γ (n) , удовлетворяющее (3.12). Заметим, что эта процедура решает нелинейное уравнение ρW (γ ) = N , но момент

останова определяется условием (3.12).

Замечание. Для вычисления статистики (3.9) необходимо вычислять обратную матрицу (Vη + γ KWϕ1KT )1 , что приводит к увеличению трудоемкости вычислений. Чтобы этого избежать, запишем статистику ρW (γ ) в форме ρW (γ ) = f T qγ , где вектор qγ является решением системы

(V + γ KW 1KT ) q = f

.

(3.14)

η

ϕ

В формуле (3.14) используется производная ρW(γ ) , равная

ρW(γ ) = f T qγ, где вектор qγявляется решением системы уравнений

35

(Vη + γ KWϕ1KT ) (KWϕ1KT )1 q′ = −qγ . (3.15).

Задание 3.1.

Для построенного регуляризованного решения в лабораторной работе №2 при неполной информации (см. задание 2.3 в работе №2) вычислить:

1)параметр регуляризации αW ;

2)регуляризованное решение ϕαW ;

3) ошибку решения α

j

= bα

+

Vξα

 

, j =1,...,M

 

 

j

 

jj

Примечание. При наличии научной задачи магистранта, которую можно свести к системе линейных уравнений, провести исследования этой задачи

§3.2. Алгоритм выбора параметра регуляризации с использованием SVD-разложения на основе критерия оптимальности

Предположим, что:

 

ковариационная матрица Vη допускает

представление

V = σ 2C , и определим сингулярное разложение

 

η

η η

 

 

C12 K = UΛV T ,

(3.16)

 

η

 

допуская при этом, что сингулярные числа λj упорядочены по убыванию, т.е. λj λj+1 и λj = 0, j = p +1,...,M , где p – ранг

(или практический ранг) матрицы системы;

регуляризированное решение ϕα представимо в виде:

p

 

 

λj

 

1

 

 

 

ϕα =

 

 

 

uj ,Cη

2 fɶ

vj ,

(3.17)

2

+αm(λj )

j=1

 

λj

 

 

 

 

 

 

 

 

 

 

 

 

 

 

36

где m(λ) невозрастающая функция m(λ ) = λ1τ , где τ ≥ 0.

Нетрудно показать, что вектор ϕα является системы

(KT Cη1K +αWϕ )ϕα = KT Cη1 fɶ ,

вкоторой матрица Wϕ выражается соотношением:

Wϕ =Vp diag{m(λ1 ),m(λ2 ),...,m(λM )}VpT ,

где Vp – матрица размера M p , составленная из столбцов матрицы V , входящей в разложение (3.16). Теперь статистику ρW (α ) можно записать в виде

 

 

 

 

 

 

 

 

 

 

σ 2

(

 

 

)

 

(

 

 

 

 

 

 

)

 

 

 

 

 

 

 

 

 

ρ

 

(α ) =

1

 

C

12 fɶ

 

 

T

 

C12e

 

 

,

 

 

 

 

 

 

 

 

w

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

η

 

 

 

 

 

η

 

α

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

η

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

где векторы

C12

fɶ , C12e

допускают представление:

 

 

 

 

 

η

 

 

 

 

η

 

α

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

12 ɶ

 

 

N

 

 

12 ɶ

 

 

 

 

 

 

 

N

ɶ

 

,

 

 

 

 

 

Cη

 

f = uj ,Cη

 

f

uj = yjuj

 

 

 

 

 

 

 

 

 

 

 

j=1

 

 

 

 

 

 

 

 

 

 

 

 

j=1

 

 

 

 

 

1

2

 

 

 

p α m(λj )

 

 

 

ɶ

 

 

 

 

 

N

ɶ

 

 

 

 

Cη

eα =

 

2

 

 

 

 

 

 

uj +

 

 

 

 

 

 

 

 

 

 

 

 

 

yj

yjuj

 

 

 

 

 

 

 

j=1 λj +αm(λj )

 

 

 

 

 

 

 

j= p+1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

где

ɶ

= (uj

 

12 ɶ

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

yj

,Cη

 

f ) . Тогда

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

p

 

α m(λj )

 

 

ɶ2

 

 

 

N

ɶ

2

 

 

 

ρW (α ) =

2

 

 

2

 

 

 

 

 

 

 

 

 

+

 

 

 

.

 

 

 

+αm(λj )

yj

 

yj

 

 

 

 

 

 

 

ση

j=1

λj

 

 

 

 

j= p+1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Введем γ =1/α и функции

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

p

 

 

 

 

m(λj )

 

 

ɶ2

 

 

 

 

 

 

 

 

RW (γ ) =

 

2

 

 

 

 

2

 

 

 

 

 

 

 

 

,

 

 

 

 

 

 

 

 

 

 

 

+m(λj )

yj

 

 

 

 

 

 

 

 

 

 

 

ση j=1

 

γ λj

 

 

 

решением

(3.18)

p первых

(3.19)

(3.20)

(3.21)

(3.22)

(3.23)

37

 

 

 

 

RW (γ )

 

1

 

p

 

λj2 m(λj )

 

 

 

2

 

 

W (

γ

)

=

 

 

= −

 

 

 

 

 

yɶ

j

.

(3.24)

 

 

2

 

 

2

R

 

γ

ση

j=1 γ λj2 +m(λj

)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Для вычисления γW используем итерационную процедуру:

 

γ (n)

= γ (n1)

RW (γ (n1) ) p

, n =1,2,...,

 

 

 

 

 

(3.25)

RW(γ (n1) )

 

 

 

 

 

 

с начальным значением γ (0) 1015 . В качестве γW принимается значение γ (n) , удовлетворяющее условию

ϑp (β 2) ≤ RW (γ ) ≤ ϑp (1β 2) .

(3.26)

Задание 3.2.

Для построенного регуляризованного решения в лабораторной работе №2 при неполной информации (см. задание 2.4 в работе №2) используя SVD-разложение, вычислить:

1)параметр регуляризации αW ;

2)регуляризованное решение ϕαW ;

3) ошибку решения α

j

= bα

+

Vξα

 

, j =1,...,M .

 

 

j

 

jj

Примечание. При наличии научной задачи магистранта, которую можно свести к системе линейных уравнений, провести исследования этой задачи

§3.3. Алгоритм выбора параметра регуляризации основе статистического принципа невязки

Для вычисления значения αV проверяется статическая гипотеза

38

H0 :Ve (α) =Vη

(3.27)

Для проверки (3.27) введем статистику ρV (α) = eαTVη1eα .

Здесь eα = f Kϕα - вектор невязки. Учитывая, что ϕα = (KTVη1K + αWϕ )1 KTVη1 fɶ , получим:

eα = f Kϕα = fɶ K (KTVη1K + αWϕ )1 KTVη1 fɶ = (3.28) =Vη (Vη + α1KWϕ1KT )1 f

Тогда выражение для статистики примет вид:

ρV (α) = eαTVη1eα =

= f T (Vη +α1KWϕ1KT )1Vη (Vη +α1KWϕ1KT )1 f

Введем γ =1/α , получим

ρV (γ ) = f T (Vη +γ KWϕ1KT )1Vη (Vη +γ KWϕ1KT )1 f .(3.29)

Вычислим производную по γ . Для этого представим

ρV (γ ) в

виде

 

 

ρV (γ ) = gTVη g ,

(3.30)

где

 

 

g = (Vη + γKWϕ1KT )1 f .

(3.31)

Тогда производная от ρV (γ )

равна

 

(ρ (γ ))′ = 2gTV g,

(3.32)

V

η

 

где

39

g′ = −(KWϕ1KT )(Vη + γKWϕ1KT )2 f =

. (3.33)

= −(KWϕ1KT )(Vη + γKWϕ1KT )1 g

 

Вычисление gпо формуле

(3.33)

эквивалентно

решению

системы уравнений

 

 

 

 

 

 

(Vη + γKWϕ1KT )(KWϕ1KT )1

g′ = −g .

(3.34)

Для вычисления

γV используем

итерационную

процедуру

ньютоновского типа:

 

 

 

 

γ (n) = γ (n1)

ρV (γ (n1)

) N

,

n =1,2,...,

(3.35)

ρV(γ (n

1) )

 

 

с начальным условиемγ (0) 1015 .

Итерационный процесс завершаем при выполнении условия

ϑN (β 2) ρV (γ ) ϑN (1β 2) .

(3.36)

где ϑN (β 2) , ϑN (1β 2)

– квантили

χ 2 -распределения с

N степенями свободы

уровней

β 2 ,

1β 2

соответственно.

 

 

 

Задание 3.3.

Для построенного регуляризованного решения в лабораторной работе №2 при неполной информации (см. задание 4 в работе №2) вычислить:

1)параметр регуляризации αV ;

2)регуляризованное решение ϕαV ;

3) ошибку решения ∆α j = bα j + Vξα jj , j = 1,...,M .

40

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]