VMLA-Matzokin-2012 / 2012-лекции BMLA
.pdfМацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Обычно |
вводят |
|
обозначение |
|
tk |
1 |
|
|
k |
k |
1, |
k |
tk 1 / tk , |
из |
формулы |
||||||||||
|
|
tk |
1 |
|
|
||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
tk 1 |
2t1tk |
tk 1 |
получают рекуррентное соотношение |
|
|
|
|||||||||||||||||||
|
|
|
1 |
|
|
|
, |
|
|
|
|
|
1 |
|
|
|
|
1 |
|
, |
k |
1, 2, ... . |
|||
|
|
1 |
|
|
|
|
|
k |
1 |
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
t1 |
|
2t1 |
|
|
|
|
2( |
1) |
1 |
|
||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
|
|
|
|
|
|
|
|
|
|
|
k |
k |
|
|
|
||||||||||
Тогда |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
xk |
1 |
xk |
|
|
|
k 1(xk xk |
1) |
|
|
|
2 |
|
(1 |
|
|
1) |
(Axk |
b), k |
1, 2, ... , |
||||||
|
|
|
|
|
|
|
|
|
|
||||||||||||||||
|
|
|
k |
|
|
|
|
|
k |
k |
– двухшаговый (трехслойный) итерационный процесс.
61
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Лекция 10.
Метод сопряженных градиентов
Предварительные замечания |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||
Циклический метод Ричардсона xk 1 |
xk |
|
k 1(Axk |
|
b) |
с чебышевскими |
||||||||||||||||||||||||||||||||
параметрами |
k |
m |
k (длина цикла равна m ) для решения системы Ax |
|
b с |
|||||||||||||||||||||||||||||||||
симметричной и положительно определенной матрицей: A |
|
A |
|
0 , спектр |
||||||||||||||||||||||||||||||||||
которой лежит в интервале [ |
, |
] , |
|
0 , характеризуется тем, |
что за t |
m |
||||||||||||||||||||||||||||||||
итераций ( t |
циклов) |
для ошибки |
zt m |
S |
(A) z(t 1) m |
|
[S |
|
(A)] t |
z0 |
||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
m, |
|
|
|
|
|
|
|
|
|
m, |
|
|
|
|
|
|
||
справедливо неравенство |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
|
|
|
|
|
|| zt m || A |
|
|
m || z(t 1) m || A |
|
[ m ] t || z0 || A |
|
|
|
z0 , |
|
|
|
|
|
|
|
|||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
m /(1 |
2m) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
где |
|
m |
|
|| S |
|
( |
) || |
|
, |
] |
2 |
|
|
1, |
|
( |
|
|
|
) /( |
|
|
|
|
|
|
) . |
|
|
|||||||||
|
|
|
m, |
|
C[ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
Подчеркнем, |
что |
эта |
|
оценка |
справедлива для всех z0 , а |
для |
вычисления |
|||||||||||||||||||||||||||||||
k |
m |
|
|
k необходимы оценки 0 |
|
|
|
min (A) и |
max (A) . |
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||
Но, |
|
если параметры |
|
(t 1) m |
1, ..., |
(t |
1) m |
m |
заменить |
|
на |
|
параметры |
|||||||||||||||||||||||||
(t) |
1) m 1 |
, ..., |
(t) |
|
|
, |
зависящие от ошибки |
zˆ(t |
1) m ( zˆ0 |
z0 ), |
при которых |
|||||||||||||||||||||||||||
(t |
|
(t |
1) m m |
|
|
|
|
|
|
|
z |
|
|
Sm, (t) |
(A) z |
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1) m : |
|
|
|
|
|
|
|
|||||||||||||
достигается минимум нормы ошибки ˆt m |
|
|
|
|
|
ˆ(t |
|
|
|
|
|
|
|
|||||||||||||||||||||||||
|
|
|
|
|
ˆ t m |
|| A |
|
|| S |
|
( t ) (A) |
ˆ(t |
1) m |
|| A |
|
|
|
|
|
|
|
|
ˆ(t |
1) m |
|| A , |
|
|||||||||||||
|
|
|
|
|
|| z |
|
|
m, |
z |
|
|
|
min || Sm, (A) z |
|
|
|
|
|||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
то очевидно, что |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
min || S |
|
(A) |
|
zˆ |
(t |
1) m || |
A |
|
|| S |
|
|
(A) |
zˆ(t |
1) m || |
A |
|
m |
|| zˆ |
(t 1) m || |
A |
, |
||||||||||||||
|
|
|
|
|
m, |
|
|
|
|
|
|
|
|
|
m, |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
т.е. имеем оценку сходимости нового итерационного метода вариационного типа (его параметры выбираются из условия минимизации функционала):
|| zˆ t m || A m || zˆ(t 1) m || A [ m ] t || zˆ0 || A ,
совпадающую с оценкой сходимости m -циклического метода Ричардсона с чебышевскими параметрами.
Для |
определения параметров |
k 1 |
m -циклического |
метода |
Ричардсона |
|
|
|
|
|
|
|
|
xk 1 |
xk |
k 1(Axk b) для |
решения системы |
Ax b |
необходимо |
предварительное вычисление (точное или приближенное) границ спектра матрицы A , чего не требуется в методах наискорейшего спуска и минимальных невязок.
62
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Минимизация функционала |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||
Итак, по вектору z(t 1) m |
нам нужно построить вектор z(t) m |
|
|
Sm, (t) (A) z(t 1) m |
|||||||||||||||||||||||||||||||||||||||||||||||||||
такой, что |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|| zt m || |
A |
min || S |
|
|
(A) |
|
z(t 1) m |
|| |
A |
. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
m, |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
Решим эту задачу при t |
1 (т.к. при других t |
решение задачи будет таким же с |
|||||||||||||||||||||||||||||||||||||||||||||||||||||
точностью до обозначений). |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||
Т.к. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
zm |
|
(E |
|
m |
A)...(E |
A)z0 |
|
z0 |
|
q ( )Az0 |
... q |
m |
( )Amz0 |
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
z0 |
|
|
1( |
|
) g 1 ... |
|
|
|
|
|
m ( |
) g m |
Lm , |
|
|
|
|
|
|
|||||||||||||||
где L |
m |
L{Az0 , ..., Amz0} |
L{g , ..., g |
m |
}, |
|
а {g , ..., g |
m |
} |
– |
|
некоторая система |
|||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
векторов (например, “ортогональный” базис в Lm ), то |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||||
|| zm || |
A |
|
min || (E |
|
|
m |
A)...(E |
|
A)z0 || |
A |
min || z0 |
|
|
|
|
|
|
g |
|
|
|
... |
|
g |
|
|| |
A |
. |
|
||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 1 |
|
|
|
m |
m |
|
|
|
|
|
||||||||||||
Параметры |
1, ..., |
m |
удовлетворяют системе уравнений |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||||||
1 |
|
|
|
(Azm , zm ) |
|
(A |
|
zm |
, zm ) |
|
(Ag |
|
, z0 |
|
g |
|
... |
|
|
|
|
|
|
g |
|
|
|
) |
|
|
0, i 1, ..., m , |
||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
i |
|
1 |
|
|
m |
m |
|
|
||||||||||||||||||||||||||||||||||
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
|
|
|
|
|
i |
|
|
|
|
|
i |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
или |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
(Ag1, g1) |
|
(Ag1, g2 ) ... |
|
|
|
(Ag1, gm ) |
1 |
|
|
|
|
|
|
|
|
(Az0 , g1) |
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||
|
|
|
|
|
|
|
(Ag2 , g1) |
|
(Ag2 , g2 ) ... |
|
|
(Ag2 , gm ) |
2 |
|
|
|
|
|
|
|
(Az0 , g2 ) |
. |
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
... |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
(Agm , g1) |
|
(Agm , g2 ) ... |
|
(Agm , gm ) |
m |
|
|
|
|
|
|
|
(Az |
0 |
, gm ) |
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
Матрица |
этой |
системы – |
матрица |
|
|
Грамма |
в |
скалярном |
произведении |
||||||||||||||||||||||||||||||||||||||||||||||
(x, y)A |
(Ax, y) |
базиса |
{gi}im |
1 |
|
в |
|
Lm , ее определитель |
|
не |
равен |
|
|
|
нулю, |
||||||||||||||||||||||||||||||||||||||||
следовательно решение |
|
существует и единственно. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||
Если базис {gi}im |
1 |
является A –ортогональным, т.е. (Agi ,g j) |
|
|
0, i |
|
j, то |
|
|
|
|
|
|
||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
k |
|
(Az0 , gk ) |
|
|
(r0 , gk ) |
|
, |
|
|
|
zm |
|
z0 |
|
|
1g1 |
|
|
|
|
|
|
2g2 |
|
|
... |
mgm , |
|
|
|
|
|
|
||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
xm |
|
x0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
(Agk , gk ) |
|
|
(Agk , gk ) |
|
|
|
|
|
g |
|
|
|
|
|
|
|
g |
|
|
|
|
... |
|
g |
|
. |
|
|
|
|
|
|
||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2 |
2 |
|
|
m |
m |
|
|
|
|
|
|
|||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
Важное замечание. В случае A –ортогонального базиса {gi}ik |
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||||||||||||||||||||
1 в Lk , |
k |
|
|
1, m , |
|||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
вектор zk |
|
|
z0 |
|
|
g ... |
|
k |
g |
k |
является решением задачи |
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|| zk || |
A |
|
|
min || (E |
|
k |
A)...(E |
|
A)z0 || |
A |
|
|
|
min || S |
(A)z0 || |
A |
|
|
|||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
k, |
|
|
|
|
|
|
|
|||||||||
|
|
|
|
|
|
т.е., в отличие от метода Ричардсона, минимизация нормы ошибки |
|||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
осуществляется на каждом внутреннем шаге цикла, и, следовательно, |
|||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|| zk || A |
|
k || z0 || A |
k |
|
|
|
1, ..., m . |
|
|
|
|
|
|
|
|
|
|
63
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Построение A –ортогонального базиса
A –ортогонализуем систему векторов {Az0, ..., Amz0}.
|
|
|
|
|
|
|
|
|
0 |
|
|
|
|
0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
(r0 ,g ) |
|
|
1 |
|
|
|
0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||
Зададим g |
|
|
|
|
|
|
|
|
|
|
|
L , тогда |
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
, |
|
|
|
|
|
|
g . |
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||
|
|
Az |
|
|
|
r |
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
z |
|
|
z |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
(Ag1,g1) |
|
|
|
|
|
|
|
|
|
|
|
1 |
1 |
|
|
|
|
|
|
|
|
|
|
|||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
Вычислим вектор r1 |
|
|
|
Az1 |
|
|
|
Az0 |
|
|
|
|
1Ag1 |
|
Az0 |
|
|
|
1A2z0 |
L2 . Легко проверить, |
|||||||||||||||||||||||||||||||||||||||||||||||
что (r1,g1) |
|
0 , т.е. r1 |
|
|
|
L1 относительно обычного скалярного произведения. |
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Далее применяем метод матиндукции. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||
Предположим, |
|
|
что |
|
|
|
мы |
|
|
построили |
|
|
|
A -ортогональный |
|
базис |
|
{gi}ik |
1 |
в |
|||||||||||||||||||||||||||||||||||||||||||||||
Lk |
L{Az0, ..., A kz 0} такой, что |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||
1. {gi}ij |
|
|
|
|
|
|
|
L{Az0, ..., Ajz0}, j |
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||
1 – A -ортогональный базис в Lj |
|
|
|
1, k , |
|
|
|
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
2. |
z |
j |
z |
0 |
|
|
|
1 |
|
g ... |
j |
|
g |
j |
, |
|
|
i |
|
|
|
|
|
(r0 ,gi ) |
|
, |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
(Agi ,gi ) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
3. r j |
Az j |
|
|
Lj 1 и r j |
Lj , т.е. (r j,gi ) 0 |
|
|
|
|
i 1, j. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||||||||||
Определим g |
k |
1 |
|
rk |
|
|
|
|
g |
|
|
... |
|
|
|
k |
g |
k |
|
L |
k |
1 |
из условий |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
|
|
|
|
|
(Ag |
k |
|
1 |
,g |
) |
(Ark ,g |
i |
) |
|
|
|
1 |
|
(Ag ,g |
i |
) ... |
|
|
k |
|
(Ag |
k |
,g |
) |
0, |
|
|
|
|
|
|
|||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
i |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
i |
|
|
|
|
|
|
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
i 1, ..., k. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
Так как (Ag j,gi ) |
0, i |
|
|
j, то |
|
|
i |
|
|
(Ark ,gi ) /(Agi ,gi ) , |
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||||||||||||||||||||||
|
так как rk |
|
|
L |
k |
|
и Ag |
i |
|
|
L |
|
|
1 |
|
|
|
L |
k |
при i |
|
|
|
1 |
|
k , то (Ark ,g |
i |
) |
(rk , Ag |
) |
|
0 и |
|||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
i |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
i |
|
|
|
|||||||||
|
|
i |
0, i |
1, k |
|
|
1. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Тогда |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1. |
gk |
1 |
|
rk |
|
|
|
kgk , |
k |
|
(Ark ,gk ) /(Agk ,gk ) , и |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||||||
|
{gi}ik |
11 – A -ортогональный базис в Lk |
|
|
1 |
|
|
|
L{Az0, ..., Ak 1z0}, |
|
|
|
|
|
|
||||||||||||||||||||||||||||||||||||||||||||||||||||
2. |
z |
k |
1 |
|
z |
0 |
|
|
|
|
|
g ... |
|
|
|
k 1 |
g |
k 1 |
|
|
z |
k |
|
|
|
k 1 |
g |
k 1 |
, |
|
k 1 |
|
|
(r0 ,gk |
1) |
|
, |
|
|||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
1 1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
(Agk 1,gk 1) |
|
|
|||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
3. |
rk |
1 |
|
Azk |
|
1 |
|
|
|
r0 |
|
1 |
Ag ... |
|
|
|
k |
1 |
|
|
Ag |
k |
1 |
|
|
|
|
L |
|
1 |
, т.к. легко |
|
|
|
|
||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
k |
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
|
проверяются равенства (rk |
1, gi ) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||||||||||||
|
|
|
|
0, i |
|
|
|
1, k |
1; |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||||||||||||||||
|
rk |
1 |
|
L |
|
|
|
, и, очевидно, что |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||
|
|
|
|
|
|
|
k 1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
rk |
1 |
|
Azk |
|
1 |
|
|
|
L{r0 , L{A2z0 , ..., Ak |
|
2z0} } |
|
Lk |
2 . |
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||||||||||||
Таким |
|
образом |
|
|
построен |
|
очередной |
базисный |
|
|
вектор |
|
gk |
1 |
и |
|
все |
предположения метода матиндукции для него выполняются, из которых следует, что
k 1 |
(r0 |
,gk 1) |
|
(r1 |
1Ag1,gk 1) |
|
(r1,gk 1) |
... |
(rk ,gk 1) |
. |
(Agk |
1,gk 1) |
|
(Agk 1,gk 1) |
|
(Agk 1,gk 1) |
(Agk 1,gk 1) |
||||
|
|
|
|
|||||||
|
|
|
|
|
64
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Метод сопряженных градиентов |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
Итак, для решения x системы Ax b |
( A |
|
A |
0 ) |
задано |
начальное |
|||||||||||||||||||||||||
приближение |
|
x0 |
|
и |
пусть |
z0 |
x0 |
x |
|
– |
|
|
вектор |
начальной |
ошибки, |
||||||||||||||||
r0 |
Az0 |
Ax0 |
b – вектор (известный) начальной невязки. |
|
|
|
|
|
|||||||||||||||||||||||
Выпишем, построенные в предыдущем разделе, формулы |
A –ортогонального |
||||||||||||||||||||||||||||||
базиса {gi}im |
1 |
в Lm |
L{Az0 , ..., Amz0} |
и |
добавим |
к |
ним |
|
выражение |
для |
|||||||||||||||||||||
очередного приближения xk |
x0 |
|
g ... |
|
k |
g |
k |
|
xk 1 |
|
k |
g |
k |
: |
|
|
|||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
1 1 |
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
1 шаг: |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
g |
|
r0 |
Ax0 |
b, |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
(r0 , g ) /(Ag , g ), |
|
|
|
|
|
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
1 |
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
x1 |
x0 |
|
1 |
|
g1, |
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
r1 |
r0 |
|
1 |
Ag1 |
Ax1 |
b; |
|
|
|
|
||||||||||
2 шаг: если r1 |
0 , то |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
g2 |
|
r1 |
1g1, |
1 |
(Ar1, g1) /(Ag1, g1) |
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
|
|
|
|
|
|
|
|
|
|
|
2 |
(r1, g2 ) /(Ag2 , g2 ), |
|
|
|
|
|
|
|
|
|||||||||||
|
|
|
|
|
|
|
|
|
|
|
x2 |
x1 |
|
2 |
|
g2 , |
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
r2 |
r1 |
|
2 |
|
Ag2 |
Ax2 |
|
|
b; |
|
|
|
||||||||
... |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
(k |
1) -й шаг: если rk |
0, то |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
gk |
1 |
|
rk |
kgk , |
k |
(Ark , gk ) /(Agk , gk ) |
|
|
|
|
|
|
|
|
|
||||||||||||||
|
|
|
|
|
|
|
|
|
k |
1 |
(rk , gk |
1) /(Agk 1, gk 1), |
|
|
|
|
|
||||||||||||||
|
|
|
|
|
|
|
|
|
xk 1 |
xk |
|
k 1 gk 1, |
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
rk 1 |
rk |
|
k 1 Agk 1 |
Axk 1 b. |
|
|
||||||||||||||||
Этот итерационный процесс решения системы Ax |
b ( A |
A |
|
|
0 ) называется |
||||||||||||||||||||||||||
методом сопряженных градиентов, если k |
|
0, 1, .... |
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||
Теорема. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Если A |
A |
|
0 , |
|
то |
метод |
сопряженных |
градиентов |
|
продолжается |
до |
||||||||||||||||||||
получения решения системы Ax |
b за m |
n итераций (пока rk |
|
0 ) и |
|
||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
2 k |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|| zk || |
|
|| z0 || , |
|
|
|
|
max |
|
|
min |
|
. |
|
|
|
|
|||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
A |
1 |
2k |
|
A |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
max |
|
|
min |
|
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Доказать теорему в качестве упражнения.
65
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Трехслойные формулы метода сопряженных градиентов
Напомним двухслойные формулы метода сопряженных градиентов решения x системы Ax b ( A A 0 ), A -ортогональность векторов
ортогональность невязок rk |
Lk |
||
x1 |
x0 |
1 g1, |
g1 |
|
|
|
1 |
k |
1: |
|
|
xk 1 |
xk |
k 1 gk 1, gk 1 |
|
|
|
|
k |
|
|
k |
1 |
1 |
подпространству Lk : |
|
|
|||
r0 , |
|
|
|
|
||
(r0 , g ) /(Ag , g ); |
(Agi , g j ) |
0, i |
||||
|
1 |
1 |
1 |
|||
|
|
|
||||
rk |
k gk , |
|
|
(rk , gi ) |
0, i |
|
|
|
(rk , ri ) |
0, i |
|||
(Ark , gk ) /(Agk , gk ), |
||||||
|
|
(rk , gk 1) /(Agk 1, gk 1)
для
{gi},
j,
k,
k.
Так как gk |
(xk |
xk 1) / |
k , то эти формулы можно переписать в виде: |
|
|
x1 |
x0 |
1 r0 , |
1 (r0 , r0 ) /(Ar0 , r0 ); |
|
k |
0 : |
|
|
|
xk 1 |
xk |
k 1 (rk |
k (xk xk 1) / k ) |
|
|
|
xk |
( k 1 / |
|
k |
k ) (xk |
xk 1) |
k 1 rk . |
|
||
|
|
|
|
|
k 1 |
|
|
|
|
|
||
Параметры |
k 1 |
и |
k |
1 |
можно |
определять |
из условий |
ортогональности |
||||
|
|
|
|
|
|
|
|
|
|
|||
невязки rk |
1 невязкам rk |
1 и rk : |
|
|
|
|
|
|
|
|||
(rk 1, rk 1) |
(rk , rk |
1) k |
1 |
(rk |
rk 1, rk 1) |
k 1 (Ark , rk 1) |
0, |
|||||
(rk |
1, rk ) (rk , rk ) |
|
k |
1 |
(rk |
rk 1, rk ) |
k 1 (Ark , rk ) |
0, |
||||
или из условия (докажите!) минимизации A -нормы ошибки: |
|
|
||||||||||
|| zk 1 ||2A |
min (A[zk |
|
(zk |
zk 1) |
rk ],[zk |
(zk |
zk 1) |
rk ]) , |
||||
|
, |
|
|
|
|
|
|
|
|
|
|
|
что сводится (докажите!) к решению другой системы:
k |
1 |
(rk |
rk |
1, xk xk 1) |
k 1 (rk rk 1, rk ) (rk , xk xk 1), |
|
k |
1 |
(rk |
rk |
1, rk ) |
k 1 (Ark , rk ) |
(rk , rk ). |
Тогда трехслойные формулы метода сопряженных градиентов имеют вид
x1 |
x0 |
1 |
r0 , |
1 (r0 , r0 ) /(Ar0 , r0 ); |
|
xk 1 |
xk |
k |
1 (xk |
xk 1) |
k 1 rk , k 0, |
где параметры |
k 1 |
и |
k |
1 |
являются решением одной из выше |
|
|
|
сформулированных систем, зависящие только от xk 1 и xk .
66
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Лекция 10 (продолжение). Переобусловливатель
Если |
систему |
уравнений |
Ax |
b |
преобразовать |
к |
системе уравнений |
||||||||||||||
B 1Ax |
B 1b , |
то |
обусловленность |
матрицы B 1A |
новой |
системы |
может |
||||||||||||||
оказаться значительно меньше обусловленности матрицы A исходной системы |
|||||||||||||||||||||
и тогда влияние ошибок округления на решение системы уменьшится. |
|
|
|||||||||||||||||||
Матрица B называется переобусловливателем для матрицы |
A (для системы |
||||||||||||||||||||
уравнений Ax |
b ). |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
Положительно определенные матрицы A и B называются эквивалентными по |
|||||||||||||||||||||
спектру с постоянными |
1 |
0 |
0 , если |
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
0 (Bv,v) |
(Av,v) |
1(Bv,v) |
v |
Rn . |
|
|
|
|
||||||||
Теорема. Если матрицы A и B самосопряжены и положительно определены, |
|||||||||||||||||||||
|
|
то все собственные значения матрицы |
|
B 1A |
вещественны, |
||||||||||||||||
|
|
положительны и принадлежат интервалу [ |
0 , |
|
1]. |
|
|
|
|
||||||||||||
Док–во. |
Так как B |
B |
0, то существует B1/ 2 |
|
(B1/ 2 ) |
0 . |
|
|
|
||||||||||||
|
|
Матрицы |
B 1A и B1/ 2 (B 1A)B 1/ 2 |
подобны, и, следовательно, |
|||||||||||||||||
|
|
имеют одинаковые собственные значения. |
|
|
|
|
|
|
|
||||||||||||
|
|
Матрица |
|
B1/ 2 (B 1A)B 1/ 2 |
B 1/ 2AB 1/ 2 |
самосопряжена |
и |
||||||||||||||
|
|
положительно определена, следовательно, ее собственные значения |
|||||||||||||||||||
|
|
(B 1A) вещественны и положительны, |
а собственные векторы w |
||||||||||||||||||
|
|
вещественны: [B 1/ 2AB 1/ 2 ]w |
|
(B 1A)w . |
|
|
|
|
|
|
|||||||||||
|
|
Очевидно, |
что |
v |
B 1/ 2w – |
собственный вектор матрицы |
B 1A : |
||||||||||||||
|
|
B 1Av |
(B 1A)v , и |
|
(B 1A) |
(Av, v) /(Bv, v) . |
|
|
|
|
|||||||||||
|
|
Так как |
0 (Bv, v) |
(Av, v) |
1(Bv, v) |
v Rn , то |
0 |
(B 1A) |
1. |
||||||||||||
Метод простой итерации с переобусловливателем |
|
|
|
|
|
|
|
||||||||||||||
Теорема. Если A |
A |
|
0 & B |
|
B |
0 , то метод простой итерации |
|
|
|||||||||||||
|
|
|
|
x0 |
|
задан, |
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
xk 1 |
|
xk |
|
|
B 1(Axk |
b), |
k |
0, 1, ..., |
|
|
|
|
|||||
сходится |
при |
любом |
|
|
(0, 2 / |
1) , |
а |
для |
его |
|
ошибки |
zk 1 |
S zk , |
||||||||
S E |
|
B 1A , справедливы оценки |
|
|
|
|
|
|
|
|
|
|
|
67
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
|| zk |
1 || |
|| S |
|| |
|| zk || |
|| zk || |
|
, |
|
|
|
|
|
|
|
|
A |
|
A |
A |
A |
|
|
|
|
|
|
|
|
|
|| zk |
1 || |
|| S |
|| |
|| zk || |
|| zk || |
, |
|
max{|1 |
0 |
|, |1 |
|
1 |
|} |
1, |
|
B |
|
B |
B |
B |
|
|
|
|
|
|
|||
при оптимальном параметре |
опт |
2 /( 1 |
0 ) имеем |
|
|
1 |
|
0 |
. |
|||||
|
опт |
1 |
|
0 |
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
||
Док-во. Мы |
знаем, |
что, если |
все собственные значения матрицы |
B 1A |
вещественны и положительны, то условием сходимости метода простой
итерации является |
выбор |
параметра |
из интервала (0, 2 / (S )) , а |
||||
спектральный |
радиус |
(S ) |
оценивается |
сверху |
величиной |
||
max{|1 |
0 |, |1 |
1 |} , |
где |
0 и |
1 оценки |
спектра матрицы B 1A . |
Следовательно, |
метод |
простой |
итерации |
|
сходится |
при |
любом |
||||||||||||||
(0, 2 / |
) |
(0, 2 / (S )) и |
минимально, если |
|
опт 2 /( |
1 |
0 ) . |
||||||||||||||
Для доказательства оценок для ошибки |
zk 1 |
S zk достаточно |
установить |
||||||||||||||||||
равенство энергетических A - и B -норм матрицы перехода S |
E |
|
B 1A ее |
||||||||||||||||||
спектральному радиусу: |
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
|| S || 2 |
inf |
|
(A(E |
B 1A)z, (E |
B 1A)z) |
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
A |
z |
0 |
|
|
|
|
|
(Az, z) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
inf |
|
((E |
A1/ 2B 1A1/ 2 )v, (E |
A1/ 2B 1A1/ 2 )v) |
|
|
|
||||||||||||
|
|
|
|
|
|
|
(v, v) |
|
|
|
|
|
|
|
|
||||||
|
v |
A1 / 2z 0 |
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|| E |
A1/ 2B 1A1/ 2 || 22 |
2 (E |
A1/ 2B 1A1/ 2 ) |
2 (A1/ 2S A 1/ 2 ) |
2 (S ), |
|||||||||||||||
так как матрица E |
A1/ 2B 1A1/ 2 симметрична. |
|
|
|
|
|
|
|
|||||||||||||
Аналогично, |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|| S || 2 |
inf |
(B(E |
B 1A)z, (E |
B 1A)z) |
|
|
|
|
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
B |
z |
0 |
|
|
|
|
|
(Bz, z) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
inf |
|
((E |
B 1/ 2AB 1/ 2 )v, (E |
B 1/ 2AB 1/ 2 )v) |
|
|
|
||||||||||||
|
|
|
|
|
|
|
(v, v) |
|
|
|
|
|
|
|
|
||||||
|
v |
B1 / 2z 0 |
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|| E |
B 1/ 2AB 1/ 2 || 22 |
2 (E |
B 1/ 2AB 1/ 2 ) |
2 (B1/ 2S B 1/ 2 ) |
2 (S ), |
|||||||||||||||
так как матрица E |
B 1/ 2AB 1/ 2 симметрична. |
|
|
|
|
|
|
|
|||||||||||||
Теорема. |
Если A |
A |
|
0 & B 0.5 A ( |
0 ), то метод простой итерации |
||||||||||||||||
|
|
|
|
|
|
|
x0 |
|
задан, |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
xk |
1 |
xk |
B 1(Axk |
b), |
k |
0, 1, ..., |
|
|
|
сходится.
68
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Док–во. Энергетическая норма ошибки zk 1 |
S zk |
метода простой итерации |
||||
строго убывает, если |
([B |
0.5 |
A]w, w) w |
0: |
|
|
|| zk 1 ||A (Azk 1, zk |
1) (Azk , zk ) 2 (A B 1Azk , zk ) |
2 (A B 1Azk , B 1Azk ) |
||||
|
|
|
wk |
|
wk |
wk |
(Azk , zk ) |
2 ([B |
0.5 |
A]wk , wk ) |
|| zk ||A |
|
|
и, т.к. оператор S непрерывен, то итерационный процесс сходится.
Метод наискорейшего спуска с переобусловливателем |
|
|
|
|
|
|
|
|
|
||||||||||||||||
На каждом шаге метода простой итерации параметр |
|
можно выбирать из |
|||||||||||||||||||||||
условия минимизации энергетической нормы ошибки zk |
|
1 |
S zk . |
|
|
|
|
|
|
||||||||||||||||
Теорема. Если A A 0 & B |
0, то итерационный метод |
|
|
|
|
|
|
||||||||||||||||||
x0 |
задан, |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
xk 1 |
xk |
|
|
|
|
B 1(Axk |
b), |
|
|
|
|
(B |
1rk , rk ) |
|
|
, |
|
|
|
||||||
|
k |
1 |
k |
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||
|
|
(AB |
|
|
|
|
|
|
|
|
|
||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1rk , B 1rk ) |
|
|
|
|||||||
k |
0, 1, ..., |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
сходится. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Если, |
кроме всего прочего, |
B |
B |
и известны |
|
границы |
0 |
и |
1 |
||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
спектра матрицы B 1A , то |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
|| zk 1 || |
|
|
|
|
|| zk || |
( |
)k 1 || z0 || |
A |
, |
|
|
|
1 |
0 |
. |
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||
|
A |
|
|
опт |
|
|
A |
|
опт |
|
|
опт |
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
1 |
0 |
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
Док–во. Очевидно, что минимум энергетической нормы ошибки |
|
|
|
|
|
|
|||||||||||||||||||
|| zk 1 ||A2 |
inf [(Azk , zk ) |
2 |
(AB 1Azk , zk ) |
|
2 (AB 1Azk , B 1Azk )] |
|
|
|
|||||||||||||||||
|
(Azk |
, zk ) |
|
(B 1rk , rk )2 |
|
|
|
|
|
|
(B 1rk , rk ) |
|
|
|
|||||||||||
|
|
|
|
|
|
при |
|
k |
1 |
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||
|
|
|
|
|
|
(AB 1rk , B 1rk ) |
|
|
(AB 1rk , B 1rk ) |
|
|
|
|||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||
и норма ошибки строго убывает, так как (B 1rk , rk ) |
|
|
([B 1rk ], B[B 1rk ]) |
0 . |
|
||||||||||||||||||||
Так как оператор S |
k |
1 |
zk |
zk |
k |
1(zk ) B 1Azk |
непрерывен всюду (кроме быть |
||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
может 0, то итерационный процесс сходится. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
Оценка нормы ошибки при B |
B |
0 устанавливается элементарно: |
|
|
|
|| zk 1 || |
inf || S zk || |
A |
A |
что и требовалось доказать. Замечание. Очевидно, что наискорейшего спуска.
|| S |
zk || |
|| S |
|| |
|| zk || |
|
|| zk || |
|
, |
опт |
A |
опт |
A |
A |
опт |
A |
|
|
|
|
|
|
|
|
|||
при |
B |
E мы |
получим |
формулы |
метода |
69
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Метод сопряженных градиентов с переобусловливателем
Напомним, что метод сопряженных градиентов для решения системы Ax b ,
A A 0 , был построен из условия минимизации энергетической нормы ошибки за m шагов. Проделаем аналогичную процедуру для решения системы
B 1Ax |
B 1b с A |
A |
|
|
0 , |
B |
|
B |
0, т.е. решим задачу построения ошибки |
|||||||||||||||||||||||||||
zm такой, что |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|| zm || A |
|
min || (E |
mB 1A)...(E |
|
1B 1A)z0 || A |
min || z0 |
|
|
|
1g1 |
... |
|
|
mg m || A , |
||||||||||||||||||||||
где Lm |
L{B 1Az0, ..., (B 1A)m z0} L{g1, ..., gm} , а систему векторов |
{gi}im |
1 |
|||||||||||||||||||||||||||||||||
предстоит построить. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
Как и ранее, параметры |
1, ..., |
m удовлетворяют системе уравнений |
|
|
|
|
||||||||||||||||||||||||||||||
|
1 (Azm , zm ) |
|
(A |
|
|
zm |
, zm ) |
|
(Ag |
, z0 |
g |
... |
|
g |
|
|
) |
|
0, |
i |
1, ..., m , |
|
||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
m |
m |
|
|
||||||||||||||||||||
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
i |
|
1 1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
i |
|
|
|
|
|
i |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
или |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
(Ag1, g1) |
(Ag1, g2 ) ... |
(Ag1, gm ) |
1 |
|
|
(Az0 , g1) |
|
|
|
|
|
|
|||||||||||||||||||
|
|
|
|
|
(Ag2 , g1) |
(Ag2 , g2 ) ... |
(Ag2 , gm ) |
2 |
|
|
(Az0 , g2 ) |
|
. |
|
|
|
|
|||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
... |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
(Agm , g1) |
(Agm , g2 ) ... |
(Agm , gm ) |
m |
|
|
(Az |
0 |
, gm ) |
|
|
|
|
|
|
|||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
Матрица |
|
этой |
системы |
|
– |
матрица Грамма |
в |
скалярном |
произведении |
|||||||||||||||||||||||||||
(x, y)A |
(Ax, y) |
базиса |
{gi}im |
1 |
|
в |
Lm , ее определитель |
|
не |
равен |
нулю, |
|||||||||||||||||||||||||
следовательно решение |
|
существует и единственно. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||
Если базис {gi}im |
1 |
является A –ортогональным, т.е. (Agi ,g j) |
|
0, |
i |
|
j, то |
|
|
|||||||||||||||||||||||||||
|
|
|
|
k |
|
(Az0 , gk ) |
|
|
(r0 , gk ) |
|
, |
zm |
z0 |
1g1 |
|
2g2 ... |
mgm , |
|
|
|||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
xm |
x0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
(Agk , gk ) |
|
(Agk , gk ) |
g |
|
|
g |
|
|
|
... |
|
|
g |
|
. |
|
|
||||||||||||||
|
|
|
|
|
|
|
|
2 |
2 |
|
m |
m |
|
|
||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 1 |
|
|
|
|
|
|
|
|
|
Построение A –ортогонального базиса
A –ортогонализуем систему векторов {B 1Az0 , ..., (B 1A)m z0}.
|
|
|
1 |
|
0 |
1 0 |
|
|
|
|
(r0 ,g ) |
1 |
|
0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|||||
Зададим g B |
Az |
|
B r |
L , тогда |
1 |
|
|
|
, z |
z |
|
g . |
|
|
|||||
|
|
|
|
|
|
|
|||||||||||||
|
|
1 |
|
|
|
|
1 |
|
(Ag1,g1) |
|
|
|
1 |
1 |
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
Вычислим вектор r1 Az1 |
Az0 |
1Ag1 |
|
Az0 |
1A(B 1Az0 ) . |
|
|
|
|||||||||||
Легко |
проверить, |
что |
B 1r1 |
B 1Az0 |
|
1(B 1A)2 z0 |
L2 |
и (r1, g1) 0 , |
т.е. |
||||||||||
r1 |
L1 |
относительно обычного скалярного произведения. |
|
|
|
|
|
|
|||||||||||
Далее применяем метод матиндукции. |
|
|
|
|
|
|
|
|
|
|
|
||||||||
Предположим, |
что |
мы |
построили |
A -ортогональный |
|
базис {gi}ik |
1 |
в |
|||||||||||
Lk |
L{(B 1A)z0, ..., (B |
1A) kz 0} |
такой, что |
|
|
|
|
|
|
|
|
70