Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Численные методы. В 2 частях. Ч.2. Учебное пособие
.pdf
Пример. Пусть
R
P
P
P
E
P
P
P
P
метим, что
T
(1, 1)x
()EPxPxx.
, тогда
T
и
(1, 0)Px
()(0,1)EPx
T
. За-
Теорема. Если
P
– проектор, то
n
Range( ) Ker ( )
Определим ортогональное дополнение к пространству
Ker ( )
. Размерность пространства
стью пространства образа
Так как
()Ker()
PPx
Утверждение. Оператор
ортогонально к
Ker ( )
Range( )P , т. е.
, то
xx
P
проецирует вектор x на Range( )P
и определяется единственным образом
Ker ( )
совпадает с размерно-
dim Range( ) dim Ker ( )
Ker ( )
P
из условий
Range ( ), Ker ( ).
xxx
PP P
Теорема. Пусть даны два подпространства
одинаковой размерности, т. е.
единственный
этом вектор
не ортогонален к L и является ненулевым.
δ
Замечание. Если
проекции
Px
. Если
, для которого выполнены условия (70). При
Kδ x
dim Km
dim Lm
определяют единственную проекцию
Определение. Если
ным (рис. 3). Если
KL
, то проектор P называется ортогональным или
dim dimKLm
, то существует m вариантов выбора
, то существуют m ограничений, которые
Px
на K.
KL
, то проектор P называется наклон-
ортопроектором (рис. 4).
PP
.
Ker ( )P как
.
P
.
(70)
n
KR и nLR
. Тогда существует
Рис. 3. Проекция вектора x на подпространство K,
ортогональная к L [1, с. 34]
41
Рис. 4. Проекция вектора x на подпространство K,
P
P
P
y
y
y
y
R
R
R
ортогональная к нему [1, с. 36]
Следствие. Если P – ортопроектор, то
Range ( )
– ортогональное дополнение к
Range ( ) Ker ( )
Range( )
.
, где
P
Замечание. Ортопроектор – это эрмитов оператор, т. е.
*
(,)(, )PPxy x y
; над полем вещественных чисел симметричный.
, Kx
Свойства ортопроектора P:
1)
2)
спектр ортопроектора содержит только нули и единицы.
наилучшим приближением вектора x элементами подпростран-
3)
KR является проекция P
ства
y
где
,
1P
2
K
P xx
n
xy
и K
22
min
y
.
22 2
и
22 2
x
K
22
()PEPxx x
x , т. е.
x
,
;
Рассмотрим систему линейных алгебраических уравнений
Ax f
nn
A ,
где
Подпространство
n
f ,
n
x .
n
KR размерности
вать пространством поиска решения. Для того чтобы вектор
искомым приближением решения СЛАУ на
, (71)
dim Kmn
K
, необходимо сформу-
будем назы-
Kx
был
лировать m ограничений. Данные ограничения определяют подпро-
n
странство
LR размерности
dim Lmn
условий ортогональности вектора невязки
торам из
n
LR .
. Обычно используют m
rfAx
к базисным век-
42
Необходимо найти
L
y
Петрова–Галёркина:
n
KRx
, при котором выполнено условие
n
R v
Пусть
(0)
x – начальное приближение, тогда решение системы (71)
проектируется на аффинное пространство
Для начального приближения
а искомое решение выражается как
Тогда
вой: найти такой
, ,...,
Пусть
Www w – базис подпространства L. Обозначим
и
через
y вектор коэффициентов разложения вектора
Vvv v – базис подпространства K
12
, , ...,
12
(0) (0)
() fAxfAx δ rAδ
, что
Kδ
m
nm
R
m
(,)0fAxv
(0)
x вектор невязки имеет вид
(0) (0)
rfAx,
. (72)
(0)
x + K.
(0)
xx δ
,
. Задача (72) сводится к но-
(0)
(,)0rAδ v
nm
R
δ V
,
, (73)
.
Kδ
.
Lv
по базису V:
δ
тогда
(0)
Условие ортогональности
xx Vy
(0)
(,)0rAδ v
T(0)
()0Wr Aδ
. (74)
будет эквивалентно
, (75)
откуда
1.
2.
3.
4.
5.
TT(0)
WAVy Wr
Алгоритм проекционного метода решения СЛАУ
Выбрать подпространства K и L
Построить базисы V и W
Вычислить
Вычислить
(1) (0 )
xxVy
и
(0) (0)
rfAx
T1T(0)
()
yWAVWr
T1T(0)
()
yWAVWr
43
.
Алгоритм повторяется для нового вектора
()k
x до тех пор, пока
не достигнут критерий останова: норма вектора невязки стала меньше
фиксированного порога ε или число итераций k превысило заранее заданное число (аварийное завершение алгоритма).
Подпространства K и L выбираются так, чтобы гарантировать невы-
рожденность матрицы
ДВА ВАРИАНТА ОПТИМАЛЬНОСТИ
WAV
.
T
Существуют два способа выбора подпространств K и L, которые
T
обеспечивают невырожденность матрицы
сов
, ,...,
Vvv v и
12
m
, , ...,
Www w.
12
WAV
m
независимо от бази-
Если матрица СЛАУ является SPD-матрицей и L = K, то реализуется
класс ортогональных проекционных методов. Процедура проектирования эквивалентна минимизации функционала ошибки
2
Ф() ( ),( )
x xx Axx xx . (76)
***
A
Замечание. Вектор ошибки
(0)
странство
x + K в смысле A-ортогональности:
Если матрица СЛАУ является невырожденной и
e проекцируется на аффинное про-
(,)0Ae v Kv
LK A
, то реализу-
.
ется класс наклонных проекционных методов. Процедура проектирования эквивалентна минимизации функционала невязки в пространстве K
Ф()xxr
2
. (77)
2
Замечание. Вектор невязки r проектируется на аффинное про-
(0)
странство
x + K в смысле обычной ортогональности:
.
KvA
МЕТОДЫ НА ПОДПРОСТРАНСТВАХ КРЫЛОВА
(, ) 0rv
Один из способов задания K и L – это использование подпростран-
ства Крылова [1, 2]
(0) (0) (0) 1 (0)
( , ) span , , ...,
K
m
rA rAr Ar
44
m
(78)
Элементы подпространства Крылова образуют базисную систему
y
y
y
до некоторого m < M. Начиная с числа M , система векторов становится
(0)k
линейно зависимой, так как последовательность
Ar сходится к до-
минирующему собственному вектору.
Для улучшения свойств базисной системы подпространства Кры-
лова используют разные процедуры ортогонализации.
Пример. Пусть
Крылова
значит,
. По алгоритму проекционных методов
1m
(1) () ()kk k
xx v
из условия ортогональности
() () () ()
kk kk
(, )/( , )
rw Avw
k
Vv и
k
Ww. Размерность подпространства
(0)
xx Vy
. Параметр αk должен быть выбран
() () ()
kkk
rAvw
. При
,0
k
() () ()kkk
wvr
, откуда находим
данная последо-
вательность действий определяет алгоритм метода наискорейшего
спуска (SDM – Steepest Descent Method).
ПРЕДОБУСЛОВЛИВАНИЕ
Матрицы СЛАУ могут обладать плохой обусловленностью. Форму-
лируется эквивалентная задача [2]
где
M
– матрица предобусловливания (предобусловливатель).
11
MAx Mf, (79)
К матрице предобусловливания предъявляется ряд требований.
1. Матрица
и в этом случае
Матрица
2.
1
MA должна быть близка к единичной (
1
Cond ( ) Cond( )
M
MA A
должна быть легко обратима.
.
MA
),
При формулировании эквивалентной задачи (79) в алгоритмах ре-
шателей естественные скалярные произведения заменяются
,
Замечание. В качестве матрицы
(, ) (, ) ( , )
x
x
Mx
M
M
можно выбрать матрицы
. (80)
расщепления из ранее рассмотренных итерационных методов Якоби,
Гаусса–Зейделя и релаксации.
45
Если в качестве M выбрать диагональ матрицы A, то реализуется
диагональное предобусловливание. Также используют неполную
LU-факторизацию исходной матрицы
A, в которой портреты матриц L
и U совпадают с портретами нижнего и верхнего треугольника матрицы
A. Предобусловливание по методу SOR – ( ω )/ωMD L и т. д.
Замечание. Диагональное предобусловливание и предобуслов-
ливание на базе неполной LU-факторизации используются для СЛАУ с
симметричными и несимметричными матрицами. Предобусловливание
по методу SOR используется для СЛАУ с SPD-матрицами и оказывается
более эффективным, чем неполная LU-факторизация.
10 9 19
Пример. Рассмотрим систему
34 7
x
и выберем в каче-
стве предобусловливателя матрицу расщепления из метода Якоби, т. е.
10 0
M
04
.
Оценим числа обусловленности матриц исходной системы и предо-
109 102
бусловленной. Матрица
чения
λ 205,18 и 2λ 0,82 . Тогда число обусловленности
1
Cond ( ) λ ()/λ ()15,8
AAA AA AA
2maxmin
2
T
AA
102 97
1TT
2
имеет два собственных зна-
.
Так как
M
010
40
, то
40
1
1
лучаем число обусловленности
1
MA
Cond ( ) 10,6
2
10,9
0,75 1
1
MA
. Аналогично по-
.
Таким образом, при решении предобусловленной системы
11
MAx Mf можно сократить ошибку в 1,5 раза.
Замечание. Правое предобусловливание для системы
ализуется в виде
ется дополнительное действие
1
. В конце итерационной процедуры требу-
AM y f
1
xMy
.
46
Ax f
ре-
Замечание. Двустороннее предобусловливание на базе неполной
R
y
R
y
R
11 1
декомпозиции матрицы реализуется в виде
AMM
. В конце итерационной процедуры
12
12 1
xMy
MAMy Mf
1
. Двустороннее
2
предобусловливание сохраняет симметричность матрицы системы.
Замечание. Выбор техники предобусловливания зависит от осо-
бенностей решаемой задачи.
МЕТОД НАИСКОРЕЙШЕГО СПУСКА
n
Рассмотрим функционал
:
()
yyAyyf
R
1
TT
. (81)
2
A
Пусть матрица
(т. е. SPD-матрица). Тогда функционал
цией, которая имеет единственную точку минимума
симметричная и положительно определённая
является выпуклой функ-
()
n
x
, где
Замечание. Если матрица
n
лоид в
. Условие (82) – аналог условия равенства нулю первой про-
Ax f
. (82)
A – SPD-матрица, то
– парабо-
()
изводной квадратичной функции.
В методах спуска решение СЛАУ (82) эквивалентно минимизации
функционала (81). Необходимо построить последовательность таких
(0) (1) ( 1)
, , ...,
xx x
k
, что
(1) ()
kk
()()
xx
выбирать по направлению вектора поиска
(1) () ()kk k
– коэффициент масштабирования.
где
k
Коэффициент масштабирования
xx p
k
выбирают на базе алгоритма
k
. Очередной
()k
, т. е.
p
, (83)
(1)k
x будем
линейного поиска минимума функционала
() ()
min
xp. (84)
kk
k
kk
47
Подставим
() ()kk
yx p
k
в формулу (81), тогда
() () () ()T () 2 ()T ()
где
kk k kk kk
xp x pr pAp
() ()kk
rfAx – вектор невязки.
kkk
() () ()
Функционал (85) является выпуклым, если
стигает минимума при
() () ()T () ()T ()
kk kk kk
xp pr pAp
k
из условия
k
kk
() () 0
1
, (85)
2
A – SPD-матрица, и до-
, (86)
откуда
()T () () ()
kk kk
pr pr
() (,)
k
()T () () ()
kkkk
pAp pAp
() (, )
Необходимо гарантировать, чтобы
() ()kk
pr
()
k
()
x
и заметим, что
– антиградиент функционала (81), который показывает
() () ()
kk k
rfAx x
. (87)
() ()
kk
,0
pr
. Выберем
()
, где вектор
направление наискорейшего его убывания.
Замечание. В методе наискорейшего спуска (SDM – Steepest
Descent Method) очередное направление поиска решения СЛАУ совпадает с антиградиентом функционала (81).
Новый вектор невязки строится по формуле
( 1) ( 1) () () () ()
kk kkkk
rfAxfAx pr Ap
=
kk
. (88)
Замечание. Итерационный процесс продолжается до тех пор,
пока
k
ε
r . Если
2
(1)
k
0
r , то получено точное решение.
2
(1)
Замечание. В методе наискорейшего спуска выстраивается под-
пространство
K
k
1
rA rAr Ar
48
(0) (0) (0) (0)
() , span , , ...,
k
.
Пусть вектор
R
y
y
yy
y
n
x – это решение системы (82), тогда функцио-
нал (81) можно переписать в виде
yyAyyAx
()
1
2
Дополним его до полного квадрата
111
()
y y Ay y Ax x Ax x Ax
TT T T
222
1111
TT
()() (, ) (,).
yxAyx xAx yxyx xx
2222
TT
. (89)
AA
Если обозначить вектор ошибки как
11
ye x
()
22
Замечание. Функционал
()
eyx
22
AA
имеет физический смысл потен-
циальной энергии системы в конфигурации
, то получим
. (90)
y. Норму
называют
e
A
энергетической нормой вектора ошибки.
В формуле (90) величина
мум функционала
определяется величиной
()
2
является постоянной, поэтому мини-
x
A
2
. Таким образом,
e
A
в методе наискорейшего спуска минимизируется функционал ошибки
Ф() ( ), ( )
22
xAyx
AA
xe
. (91)
Вывод. Метод наискорейшего спуска – это ортогональный проек-
ционный метод крыловского типа. Данный метод сходится для любого
(0)
начального приближения
x , если матрица системы A является SPD-
матрицей.
Рассмотрим геометрическую интерпретацию метода наискорей-
1
шего спуска. В двумерном случае
()
yyAyyf
TT
задаёт поверх-
2
ность эллиптического параболоида. Так как
A – SPD-матрица, то все
собственные значения этой матрицы вещественные и положительные.
49
В канонической системе координат
y
ственные значения матрицы
A. Графическая интерпретация метода
() λλ
22
11 2 2
y y
, где λi – соб-
наискорейшего спуска показана на рис. 5.
Рис. 5. Геометрическая интерпретация метода наискорейшего спуска:
эллиптический параболоид
() λλyy y
22
11 2 2
в канонической системе
координат
Для выбранного начального приближения
нового приближения
(1)
x по вектору антиградиента
(0)
x реализуется поиск
(0) (0)
()px
до точки касания с очередной линией равного уровня. Форма линий равного уровня зависит от отношения
λ / λ . Если
12
λ / λ 1 , то они
12
имеют форму окружности и скорость сходимости метода наискорейшего спуска будет максимальной. Пусть
ношение
λ / λ , тем более вытянутыми будут эллипсы в сечении пара-
12
λλ , тогда чем больше от-
12
болоида и скорость сходимости метода наискорейшего спуска будет
меньше.
Поскольку A – SPD-матрица,
Cond λ / λA при
12
λλ . Оче-
12
видно, чем больше число обусловленности матрицы, тем меньше скорость сходимости метода наискорейшего спуска.
50
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]