5.3 Метод наискорейшего спуска
Дана система уравнений
,
(1)
где -симметричная положительно определенная матрица (невырожденная). Решение этой системы может быть найдено при помощи итерационного процесса:
,
0,
1, ... . (2)
Здесь
– вектор невязки на
–ом
шаге:
,
(3)
а
число
,
регулирующее при каждом
длину шага в направлении
от точки
,
находится таким образом, чтобы обеспечить
минимум функции
.
Такое продвижение от точки
к
,
затем от
к
и т.д. приводит в случае сходимости
процесса к
-
точке минимума функции
.
Нетрудно показать, что
является в этом случае и решением
системы (1).
Для рассматриваемого случая (симметричной положительно определенной матрицы ) коэффициенты находятся по формулам
,
0,
1, ... . (4)
Если
матрица А не
является симметричной, то от системы
(1) можно перейти к системе
,
где
– симметричная матрица.
Формулы
(2), (3), (4) – расчетные формулы метода
наискорейшего спуска. В качестве
можно взять любой вектор. Критерий
остановки расчетов:
.
В
рассматриваемом случае симметричной
положительно определенной матрицы
итерационный процесс сходится со
скоростью геометрической прогрессии.
Условие сходимости:
,
(5).
Существуют
различные модификации этого метода. В
частности, число
можно взять постоянным для всех
,
из условия сходимости
.
Задача
Решить методом наискорейшего спуска систему уравнений:
.
Точность = 0,01.
Решение.
Возьмем начальное приближение
(0;
0; 0; 0)T.
Тогда
(1,34;
0,85; 1,29; 2,11),
.
Дальнейшие расчеты приведены в таблице.
k |
|
|
|
0 |
2,938 |
0,320 |
(0,429; 0,272; 0,413; 0,675)T |
1 |
1,014 |
0,275 |
(0,457; 0,055; 0,306; 0,810)T |
2 |
0,333 |
0,344 |
(0,478; 0,108; 0,326; 0,908)T |
3 |
0,152 |
0,309 |
(0,463; 0,077; 0,306; 0,932)T |
4 |
0,074 |
0,385 |
(0,453; 0,093; 0,312; 0,952)T |
5 |
0,047 |
0,318 |
(0,444; 0,084; 0,306; 0,958)T |
6 |
0,025 |
0,387 |
(0,440; 0,090; 0,309; 0,963)T |
7 |
0,016 |
0,318 |
(0,437; 0,086; 0,307; 0,965)T |
8 |
0,008 |
|
|
Поскольку
,
вычисления прекращаем.
Ответ: 
= 0,44; 
= 0,09; 
= 0,31; 
= 0,97.
5.4 Метод сопряженных градиентов
Дана система уравнений
, (1)
где -симметричная положительно определенная матрица (невырожденная).
Решение
этой системы может быть найдено при
помощи метода сопряженных градиентов.
В процессе работы метода сопряженных
градиентов строится система
-
сопряженных векторов
,
,
...,
,
т.е. векторов, удовлетворяющих для
,
условиям:
,
если
;
,
если
.
Собственно
схема решения системы (1) с использованием
векторов
следующая. Строится последовательность
,
,
... , где
произвольный вектор, таким образом, что
перемещение от
к
осуществляется в направлении вектора
,
-сопряженного
к каждому из уже построенных ранее
векторов
,
,
...,
.
Метод сопряженных градиентов относится
к прямым методам, т.к. не позднее, чем на
–ом
шаге процесса (n
- размерность системы) в предположении
отсутствия округлений будет построено
точное решение системы линейных уравнений
.
Но поскольку решение с точностью
>0
нередко удается получить раньше (
),
то этот метод используется как
итерационный. Критерий остановки
расчетов:
,
где
– вектор невязки. Система векторов
,
,
... строится
одновременно с последовательным
нахождением
,
,
... .
Описание алгоритма.
1)
Берем произвольный вектор
,
например
(0;
...0)T,
вычисляем
.
Выбираем 1–е направление
.
2) Для 1, 2, ... n, или пока не будет выполнено вычисляем
;
;
;
; 
.
Последний
полученный вектор
принимается за искомое решение системы
линейных уравнений (1).
Формулы
для вычислений даны в предположении,
что матрица
– симметричная. Если это не так, то
можно, например, перейти от решения
системы (1) к решению системы
.
Метод
сопряженных градиентов эффективен,
если размерность
велика, поскольку часто удается получить
решение системы с заданной точностью
при числе итераций
.
Если за шагов не удалось получить решение с заданной точностью, следует изменить и повторить весь процесс решения сначала.
Задача
Решить систему из п.5.3 методом сопряженных градиентов. Точность = 0,01.
Решение.
Пусть
(0;
0; 0; 0)T.
Тогда
(1,34;
0,85; 1,29; 2,11),
2,983,
.Дальнейшие
расчеты приведены в таблице.
k |
|
|
|
|
|
|
1 |
0,320 |
0,429 0,272 0,413 0,675 |
0,102 -0,792 -0,388 0,491 |
1,014 |
0,119 |
0,262 -0,690 -0,234 0,742 |
2 |
0,306 |
0,509 0,061 0,341 0,903 |
-0,085 0,077 -0,084 0,075 |
0,161 |
0,025 |
-0,078 0,059 -0,090 0,093 |
3 |
0,538 |
0,467 0,093 0,293 0,953 |
-0,048 -0,019 0,042 0,012 |
0,067 |
0,175 |
-0,061 -0,009 0,026 0,029 |
4 |
0,555 |
0,433 0,088 0,307 0,969 |
0 0 0 0 |
0 |
|
|
,
вычисления прекращаем.
Ответ: = 0,43; = 0,09; = 0,31; = 0,97.