Современные проблемы прикладной математики. Часть 2. Практикум. Учебное пособие
.pdfа) ошибки не коррелированны. Значения СКО задать равными σηi = δi fi , i = 1,..., N ; δi = 0.01,0.05,0.01.
Матрица ковариации в этом случае будет диагональной
Vη = diag (σ2η1 ...,σ2ηN ) .
б) ошибки коррелированны. В этом случае вектор ошибок вычисляется по формуле η =Vη1/2ξ, где Vη - заданная
матрица ковариации; ξ - вектор, проекции которого
состоят из нормальных случайных величин с единичной дисперсией и нулевым средним.
4. Задать ограничения на вектор f вида (2.31) и вычислить
матрицу V η по формуле (2.32).
5. Представить матрицу ковариации ошибок V η в форме
|
2 |
1 |
|
V |
η = ση Cη , где Cη = |
|
V η . |
σ2 |
|||
|
|
η |
|
6. Вычислить решение системы по формуле (2.48) и погрешность
по |
формуле |
(2.52) |
для |
следующих |
данных: |
Wf |
−1 |
= I, ωϕ = 0 |
для |
различных |
значений |
=V η , Wϕ |
|||||
α [10−8,1]. |
Значения α |
определять по |
формуле |
||
αk = αk−1 10. Значения параметра γ выбрать эмпирически.
Примечание. При наличии научной задачи магистранта, которую можно свести к системе линейных уравнений, провести исследования этой задачи.
31
Практическое занятие №3
Алгоритмы выбора параметра регуляризации
§3.1. Выбор параметра регуляризации на основе критерия оптимальности
Рассмотрим систему уравнений
|
Kϕ = f . |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
(3.1) |
||||
Здесь K - матрица системы размерности N × M , |
f |
- вектор |
||||||||||||||||||
|
|
|
f |
|
|
|
||||||||||||||
правой части размерности |
|
N , равный |
= |
f |
+ η, где |
f |
- |
|||||||||||||
точная правая часть, η - погрешность |
правой части, которая |
|||||||||||||||||||
описывается |
моментами |
|
|
1-го |
и |
|
|
|
2-го |
|
порядка |
|||||||||
M[η] = 0, M[ηηT ] =Vη . |
|
Матрица |
|
Vη |
допускает |
|||||||||||||||
представление V = σ2 C |
η |
, где |
|
|
σ2 - скалярная величина, C |
η |
||||||||||||||
|
η |
η |
|
|
|
|
|
η |
|
|
|
|
|
|
|
|
|
|
||
- матрица размерности N × N . |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
Регуляризованное |
решение системы |
|
(3.1) ϕα |
является |
||||||||||||||||
решением следующей системы уравнений |
|
|
|
|
|
|
|
|
|
|
|
|||||||||
(KTV |
−1K +ασ |
2W )ϕ |
α |
= KTV −1 fɶ |
, |
|
|
(3.2) |
||||||||||||
η |
η |
|
ϕ |
|
|
|
η |
|
|
|
|
|
||||||||
где α > 0 - параметр регуляризации. |
|
|
|
|
|
|
|
|
|
|
|
|||||||||
Так как σ2 |
является константой, то в дальнейшем будем |
|||||||||||||||||||
|
η |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
рассматривать систему вида |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
(KTV |
−1K +αW |
|
)ϕ |
α |
= KTV |
−1 fɶ |
. |
|
|
|
|
(3.3) |
||||||||
η |
|
ϕ |
|
|
|
η |
|
|
|
|
|
|||||||||
В качестве матрицы Wϕ |
|
используется либо единичная |
||||||||||||||||||
матрица (регуляризация нулевого порядка), либо матрица вида |
|
|||||||||||||||||||
32
|
|
1 |
−1 |
|
0 |
|
|
|
|
||||
W = |
|
−1 |
2 |
−1 |
|
|
ϕ |
|
|
−1 |
2 |
−1 |
|
|
|
|
|
|||
|
|
0 |
|
−1 |
1 |
|
|
|
|
|
|
|
|
(регуляризация первого порядка).
Рассмотрим вектор невязки eα = f − Kϕα = E (α ) fɶ ,
где E(α) |
- оператор невязки, который для |
решения, |
|||
определяемого из системы (3), равен |
|
|
|||
|
E(α ) = I − K (KTVη−1K +αWϕ )−1 |
KTVη−1 или |
|||
|
E (α ) =Vη (Vη +α −1KWϕ−1KT )−1 . |
|
(3.4) |
||
|
Тогда |
для |
матрицы ковариации |
вектора |
невязки |
V |
(α ) = M[e eT ] |
мы можем записать: |
|
|
|
e |
|
α α |
|
|
|
|
Ve (α ) = E (α )Vfɶ ET (α) . |
|
(3.5) |
||
где Vfɶ - матрица ковариации вектора правой части
Vf = M[ f f T ].
Вкачестве αopt возьмем такое значение αW , при котором принимается основная статистическая гипотеза:
H |
0 |
: |
V |
(α ) =V ET (α ). |
|
|
|
|
(3.6) |
|
|
e |
η |
|
|
|
|
|
|
Таким образом, значение |
αW |
можно рассматривать как |
|||||||
оценку оптимального параметра регуляризации αopt . |
|
||||||||
Для проверки гипотезы (3.6) введем статистику |
|
||||||||
|
|
|
|
T |
T |
|
|
−1 |
(3.7) |
|
|
|
ρW (α ) = eα Vη E |
|
(α ) |
eα , |
|||
33
Подставляя (3.4) в (3.7), получим
ρW (α ) = fɶT Vη−1eα или
ρW (α ) = fɶT (Vη +α −1KWϕ−1KT )−1 fɶ . (3.8) Введем параметр γ =1/α. Тогда выражение (3.9) примет вид
|
|
|
ρW (γ ) = fɶT (Vη +γ KWϕ−1KT )−1 |
fɶ . |
|
|
(3.9) |
||||||||
|
|
W |
|
( |
η |
|
) |
( η |
|
) |
|
N |
|
|
|
M |
ρ |
|
(γ ) |
= Sp V ET |
(γ ) |
−1 |
V ET (γ ) |
= |
Sp[I |
|
] = N , |
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
где IN |
– единичная матрица размера N N . |
|
|
|
|||||||||||
|
|
|
Статистика |
ρ |
W |
(γ ) |
пари |
γ = γ |
W |
подчиняется |
χ2 - |
||||
распределению с N степенями свободы. Тогда проверка гипотезы (3.6) сводится к проверке предположения: подчиняется
ли величина ρW (γ ) χ2 -распределению с N степенями свободы.
Для этого построим интервал
Θ |
N |
(β ) = ϑ |
N |
(β 2),ϑ |
N |
(1− β 2) , |
(3.10) |
||
|
|
|
|
|
|
|
|||
где ϑN (β 2) |
– квантиль |
χ2 -распределения уровня |
β /2 . Если |
||||||
ρW (α ) попадает в интервал (3.10), т.е. выполняется |
|||||||||
неравенство |
|
|
|
|
|
|
|
||
|
|
|
ϑN (β 2) ≤ ρW (γ ) ≤ϑN (1− β 2) , |
(3.11) |
|||||
то гипотеза (3.6) может быть принята с вероятностью ошибки первого рода, равной β . Следовательно, значение αW , при
котором выполняется (3.11), является оценкой для αopt .
Для |
N ≤10 |
граничные |
точки |
интервала ΘN (β ) |
– |
|||||
квантили ϑN (β 2) , |
ϑN (1− β 2) |
при |
β = 0.1 |
приведены |
в |
|||||
таблице 3.1. |
|
|
|
|
|
|
|
|
|
|
Таблица 3.1 |
|
|
|
|
|
|
|
|
|
|
N |
4 |
|
5 |
6 |
7 |
8 |
9 |
|
1 |
|
|
0 |
|
|
|||||||
34
ϑN (0.0 |
|
0 |
|
1 |
|
1 |
|
2 |
2 |
3 |
3 |
|
||||||
|
.71 |
|
|
.14 |
|
.64 |
|
|
.17 |
.73 |
.32 |
|
.94 |
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
ϑN (0.9 |
|
9 |
|
1 |
|
1 |
|
1 |
1 |
1 |
1 |
|
||||||
|
.49 |
|
|
1.0 |
|
2.6 |
|
|
4.1 |
5.5 |
6.9 |
|
8.3 |
|
||||
Если N >10 , |
то |
|
квантили |
достаточно |
точно |
|
могут |
|||||||||||
аппроксимироваться следующими выражениями: |
|
|
|
|
|
|||||||||||||
ϑN (0.05) ≈ N −1.64 |
|
; ϑN (0.95) ≈ N +1.64 |
|
.(3.12) |
||||||||||||||
2N |
2N |
|||||||||||||||||
Для вычисления |
γW |
используем |
итерационную |
|||||||||||||||
процедуру ньютоновского типа: |
|
|
|
|
|
|
|
|
||||||||||
γ (n) = γ (n−1) − |
ρW (γ (n−1) ) − N |
|
|
|
|
|
|
|
||||||||||
ρW′ |
(γ (n−1) |
) , n =1,2,..., |
(3.13) |
|||||||||||||||
|
|
|
|
|
||||||||||||||
с начальным значением γ (0) 10−15 . В качестве γW принимается значение γ (n) , удовлетворяющее (3.12). Заметим, что эта процедура решает нелинейное уравнение ρW (γ ) = N , но момент
останова определяется условием (3.12).
Замечание. Для вычисления статистики (3.9) необходимо вычислять обратную матрицу (Vη + γ KWϕ−1KT )−1 , что приводит к увеличению трудоемкости вычислений. Чтобы этого избежать, запишем статистику ρW (γ ) в форме ρW (γ ) = f T qγ , где вектор qγ является решением системы
(V + γ KW −1KT ) q = f |
. |
(3.14) |
|
η |
ϕ |
||
В формуле (3.14) используется производная ρW′ (γ ) , равная
ρW′ (γ ) = f T qγ′ , где вектор qγ′ является решением системы уравнений
35
(Vη + γ KWϕ−1KT ) (KWϕ−1KT )−1 q′ = −qγ . (3.15).
Задание 3.1.
Для построенного регуляризованного решения в лабораторной работе №2 при неполной информации (см. задание 2.3 в работе №2) вычислить:
1)параметр регуляризации αW ;
2)регуляризованное решение ϕαW ;
3) ошибку решения ∆α |
j |
= bα |
+ |
Vξα |
|
, j =1,...,M |
|
|
j |
|
jj |
||
Примечание. При наличии научной задачи магистранта, которую можно свести к системе линейных уравнений, провести исследования этой задачи
§3.2. Алгоритм выбора параметра регуляризации с использованием SVD-разложения на основе критерия оптимальности
Предположим, что: |
|
|
• |
ковариационная матрица Vη допускает |
представление |
V = σ 2C , и определим сингулярное разложение |
|
|
η |
η η |
|
|
C−12 K = UΛV T , |
(3.16) |
|
η |
|
допуская при этом, что сингулярные числа λj упорядочены по убыванию, т.е. λj ≥ λj+1 и λj = 0, j = p +1,...,M , где p – ранг
(или практический ранг) матрицы системы;
• регуляризированное решение ϕα представимо в виде:
p |
|
|
λj |
|
− 1 |
|
|
|
ϕα = ∑ |
|
|
|
uj ,Cη |
2 fɶ |
vj , |
(3.17) |
|
2 |
+αm(λj ) |
|||||||
j=1 |
|
λj |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
36
где m(λ) невозрастающая функция m(λ ) = λ1τ , где τ ≥ 0.
Нетрудно показать, что вектор ϕα является системы
(KT Cη−1K +αWϕ )ϕα = KT Cη−1 fɶ ,
вкоторой матрица Wϕ выражается соотношением:
Wϕ =Vp diag{m(λ1 ),m(λ2 ),...,m(λM )}VpT ,
где Vp – матрица размера M p , составленная из столбцов матрицы V , входящей в разложение (3.16). Теперь статистику ρW (α ) можно записать в виде
|
|
|
|
|
|
|
|
|
|
σ 2 |
( |
|
|
) |
|
( |
|
|
|
|
|
|
) |
|
|
|
|
|
|
|
|
|
|
ρ |
|
(α ) = |
1 |
|
C |
−12 fɶ |
|
|
T |
|
C−12e |
|
|
, |
|
|
|
|
|||||||
|
|
|
|
w |
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
η |
|
|
|
|
|
η |
|
α |
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
η |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
где векторы |
C−12 |
fɶ , C−12e |
допускают представление: |
||||||||||||||||||||||||||
|
|
|
|
|
η |
|
|
|
|
η |
|
α |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
−12 ɶ |
|
|
N |
|
|
−12 ɶ |
|
|
|
|
|
|
|
N |
ɶ |
|
, |
|
||||||
|
|
|
|
Cη |
|
f = ∑ uj ,Cη |
|
f |
uj = ∑yjuj |
|
|||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
j=1 |
|
|
|
|
|
|
|
|
|
|
|
|
j=1 |
|
|
|
|||
|
|
−1 |
2 |
|
|
|
p α m(λj ) |
|
|
|
ɶ |
|
|
|
|
|
N |
ɶ |
|
|
|||||||||
|
|
Cη |
eα = ∑ |
|
2 |
|
|
|
|
|
|
uj + |
|
|
|
|
|||||||||||||
|
|
|
|
|
|
|
|
|
yj |
∑ yjuj |
|||||||||||||||||||
|
|
|
|
|
|
|
j=1 λj +αm(λj ) |
|
|
|
|
|
|
|
j= p+1 |
|
|
||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
где |
ɶ |
= (uj |
|
−12 ɶ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
yj |
,Cη |
|
f ) . Тогда |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
|
|
|
|
|
|
|
1 |
|
p |
|
α m(λj ) |
|
|
ɶ2 |
|
|
|
N |
ɶ |
2 |
|
||||||||
|
|
ρW (α ) = |
2 |
|
∑ |
|
2 |
|
|
|
|
|
|
|
|
|
+ |
|
|
|
. |
||||||||
|
|
|
+αm(λj ) |
yj |
|
∑ yj |
|||||||||||||||||||||||
|
|
|
|
|
|
|
ση |
j=1 |
λj |
|
|
|
|
j= p+1 |
|
|
|||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Введем γ =1/α и функции |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||
|
|
|
|
|
|
|
|
|
|
|
1 |
p |
|
|
|
|
m(λj ) |
|
|
ɶ2 |
|
|
|||||||
|
|
|
|
|
|
RW (γ ) = |
|
2 |
∑ |
|
|
|
|
2 |
|
|
|
|
|
|
|
|
, |
||||||
|
|
|
|
|
|
|
|
|
|
|
+m(λj ) |
yj |
|||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
ση j=1 |
|
γ λj |
|
|
|
|||||||||||||
решением
(3.18)
p первых
(3.19)
(3.20)
(3.21)
(3.22)
(3.23)
37
|
|
|
|
∂RW (γ ) |
|
1 |
|
p |
|
λj2 m(λj ) |
|
|
|
2 |
|
|
|
W ( |
γ |
) |
= |
|
|
= − |
|
|
∑ |
|
|
|
yɶ |
j |
. |
(3.24) |
|
|
|
2 |
|
|
2 |
||||||||||||
R′ |
|
∂γ |
ση |
j=1 γ λj2 +m(λj |
) |
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Для вычисления γW используем итерационную процедуру: |
|
||||||||||||||||
γ (n) |
= γ (n−1) − |
RW (γ (n−1) ) − p |
, n =1,2,..., |
|
|
|
|
|
(3.25) |
||||||||
RW′ (γ (n−1) ) |
|
|
|
|
|
|
|||||||||||
с начальным значением γ (0) 10−15 . В качестве γW принимается значение γ (n) , удовлетворяющее условию
ϑp (β 2) ≤ RW (γ ) ≤ ϑp (1− β 2) . |
(3.26) |
Задание 3.2.
Для построенного регуляризованного решения в лабораторной работе №2 при неполной информации (см. задание 2.4 в работе №2) используя SVD-разложение, вычислить:
1)параметр регуляризации αW ;
2)регуляризованное решение ϕαW ;
3) ошибку решения ∆α |
j |
= bα |
+ |
Vξα |
|
, j =1,...,M . |
|
|
j |
|
jj |
||
Примечание. При наличии научной задачи магистранта, которую можно свести к системе линейных уравнений, провести исследования этой задачи
§3.3. Алгоритм выбора параметра регуляризации основе статистического принципа невязки
Для вычисления значения αV проверяется статическая гипотеза
38
H0 :Ve (α) =Vη |
(3.27) |
Для проверки (3.27) введем статистику ρV (α) = eαTVη−1eα .
Здесь eα = f − Kϕα - вектор невязки. Учитывая, что ϕα = (KTVη−1K + αWϕ )−1 KTVη−1 fɶ , получим:
eα = f − Kϕα = fɶ − K (KTVη−1K + αWϕ )−1 KTVη−1 fɶ = (3.28) =Vη (Vη + α−1KWϕ−1KT )−1 f
Тогда выражение для статистики примет вид:
ρV (α) = eαTVη−1eα =
= f T (Vη +α−1KWϕ−1KT )−1Vη (Vη +α−1KWϕ−1KT )−1 f
Введем γ =1/α , получим
ρV (γ ) = f T (Vη +γ KWϕ−1KT )−1Vη (Vη +γ KWϕ−1KT )−1 f .(3.29)
Вычислим производную по γ . Для этого представим |
ρV (γ ) в |
|
виде |
|
|
ρV (γ ) = gTVη g , |
(3.30) |
|
где |
|
|
g = (Vη + γKWϕ−1KT )−1 f . |
(3.31) |
|
Тогда производная от ρV (γ ) |
равна |
|
(ρ (γ ))′ = 2gTV g′ , |
(3.32) |
|
V |
η |
|
где
39
g′ = −(KWϕ−1KT )(Vη + γKWϕ−1KT )−2 f = |
. (3.33) |
||||||
= −(KWϕ−1KT )(Vη + γKWϕ−1KT )−1 g |
|||||||
|
|||||||
Вычисление g′ по формуле |
(3.33) |
эквивалентно |
решению |
||||
системы уравнений |
|
|
|
|
|
|
|
(Vη + γKWϕ−1KT )(KWϕ−1KT )−1 |
g′ = −g . |
(3.34) |
|||||
Для вычисления |
γV используем |
итерационную |
процедуру |
||||
ньютоновского типа: |
|
|
|
|
|||
γ (n) = γ (n−1) |
− |
ρV (γ (n−1) |
) − N |
, |
n =1,2,..., |
(3.35) |
|
ρV′ (γ (n |
−1) ) |
||||||
|
|
||||||
с начальным условиемγ (0) 10−15 .
Итерационный процесс завершаем при выполнении условия
ϑN (β 2) ≤ ρV (γ ) ≤ ϑN (1− β 2) . |
(3.36) |
||
где ϑN (β 2) , ϑN (1− β 2) |
– квантили |
χ 2 -распределения с |
|
N степенями свободы |
уровней |
β 2 , |
1− β 2 |
соответственно. |
|
|
|
Задание 3.3.
Для построенного регуляризованного решения в лабораторной работе №2 при неполной информации (см. задание 4 в работе №2) вычислить:
1)параметр регуляризации αV ;
2)регуляризованное решение ϕαV ;
3) ошибку решения ∆α j = bα j + 
Vξα jj , j = 1,...,M .
40
