4.5.2 Метод сопряженных градиентов

Метод сопряженных градиентов предназначен для решения систем линейных алгебраических уравнений с симметричной положительно определенной матрицей. Матрица называется положительно определенной, если скалярное произведениедля всех ненулевых векторов. Для того чтобы матрицабыла положительно определенной необходимо и достаточно, чтобы все ее главные миноры были положительны.

Рассмотрим систему линейных алгебраических уравнений (4.1) с положительно определенной симметричной матрицей. Пусть - решение этой системы. Покажем, что в этом случаедает минимум функционала. Имеем

.

Так как матрица положительно определенная, то из последнего равенства следует, что решениесистемы (4.1) дает минимум функционала.

Будем искать этот минимум итерационным методом. Для этого предположим, что заданы два вектора и. Последовательные приближенияк решению системы (4.1) будем строить по формулам

, (4.22)

, (4.23)

где

. (4.24)

Параметры ибудем определять из условия минимума функционалав плоскости, проходящей через точкуи натянутой на векторыи, т.е. минимум функционала ищется на множестве. Преобразуем наш функционал на этом множестве

.

Для определения минимума используем необходимое условие экстремума функции. Продифференцируемпоии приравняем к нулю

,

.

Т.о., получаем систему уравнений

, (4.24)

. (4.25)

Так как

, то последнюю систему можно представить в виде

Это система двух уравнений с двумя неизвестными и. Решая ее, получаем

,

Покажем, что метод сопряженных градиентов всегда сходится к решению системы . Учитывая (4.23) - (4.25) и ортогональность векторови, получим

.

Так как векторы иортогональны, то из выражения для коэффициентаимеем

,

где - наибольшее собственное значение матрицы. Окончательно получаем

.

Таким образом, последовательность монотонно убывает и ограничена снизу значением. Так как всякая монотонно убывающая последовательность сходится, т.е., то по признаку Коши имеем. Тогда из последнего неравенства следует, что, а это означает, что последовательность векторовсходится к решениюсистемы (4.1).

Выберем начальные вектора идля метода сопряженных градиентов. Пусть- произвольный вектор. Построим вектор, где векторвыбирается по направлениютак, чтобы векторыибыли ортогональными, т.е.. Обозначим. Тогда

.

Для выполнения условия ортогональности векторов идостаточно потребовать, чтобы

.

Можно показать, что при таком выборе векторов иитерации метода сопряженных градиентов обрываются не позднее, чем на-ом шаге, давая точное решение системы (4.1) (- порядок системы). В сочетании с методом подавления компонент метод сопряженных градиентов позволяет находить решение за число итераций, значительно меньшее.

Основной операцией метода сопряженных градиентов является вычисление произведений и, причем ни в какие другие операции матрицане входит. Поэтому максимальный порядок решаемых на ЭВМ систем уравнений зависит только от объема информации, необходимой для умножения матрицына вектор. Значит, применение метода сопряженных градиентов будет тем эффективнее, чем эффективнее составлена программа умножения матрицы на вектор.

Рассмотрим пример.

Методом сопряженных градиентов решить систему линейных уравнений

.

Решение:

Шаг 1. Возьмем произвольный вектор .Построим векторыи:

,

, ,,

, ,

.

Шаг 2. ,

,

,

, , , ,

,

,

,

, .

Шаг 3. ,

,

,

, , , ,

,

,

,

, .

ЛЕКЦИЯ № 13

4.6. Итерационные методы решения СЛАУ.

Метод простой итерации

При большом числе неизвестных линейной системы схема ме­тода Гаусса, дающая точное решение, становится весьма сложной. В этих условиях для нахождения корней системы иногда удобнее пользоваться приближенными численными методами. Изложим здесь один из этих методов — метод итерации.

Пусть дана линейная система

(4.26)

Введя в рассмотрение матрицы

A = x = , b= ,

систему (4.26) коротко можно записать в виде матричного уравнения

Ах = b. Предполагая, что диагональные коэффициенты a_ii ≠ 0 ( i = 1, 2, .... n),

разрешим первое уравнение системы (4.26) относительно х₁, второе - относительно х₂ и т. д. Тогда получим эквивалентную систему

x₁ = β₁ + α₁₂ x₂ + α₁₃ x₃ + …+ α_1n x_n ,

x₂ = β₂ + α₂₁ x₁ + α₂₃ x₃ + …+ α_2n x_n , (4.27)

……………………………………..

x_n = β_n + α_n1 x₁ + α_n2 x₂ + …+ α_n,n-1 x_n-1 ,

где при i ≠ j

и α_ij = 0 при i = j ( i,j = 1, 2, .... n).

Введя матрицы

а =и β = ,

систему (4.27) можем записать в матричной форме

х = β + α x (4.28)

Систему (4.27) будем решать методом последовательных приближений. За нулевое приближение принимаем столбец сво­бодных членов х ⁽⁰⁾ = β

Далее, последовательно строим матрицы-столбцы

первое приближение - х⁽¹⁾ = β + α x ⁽⁰⁾

второе приближение - х⁽²⁾ = β + α x ⁽¹⁾ и т. д.

Вообще говоря, любое (k+1)-е приближение вычисляют по формуле

х^(k+1) = β + α x ^(k) (k = 0, 1, 2, . . .). (4.29)

Если последовательность приближений x ⁽⁰⁾ , x ⁽¹⁾ , ....., x ^(k) , …. имеет предел

x = lim x ^(k) при к → 0, то этот предел является решением системы (4.27). В самом деле, переходя к пределу в равенстве (4.29), будем иметь:

lim x ^(k+1) = β + lim x ^(k)

или х = β + α x, т. е. предельный вектор х является решением системы (4.28), а следовательно, и системы (4.26).

Заметим, что иногда выгоднее приводить систему (4.26) к виду (4.27) так, чтобы коэффициенты а_и не были равны нулю.

Метод последовательных приближений, определимых форму­лами (4.27) или (4.29), носит название метода итерации. Процесс ите­рации (4.29) хорошо сходится, т. е. число приближений, необходимых для получения корней системы (4.26) с заданной точностью, невелико, если элементы матрицы α малы по абсолютной величине. Иными словами, для успешного применения процесса итерации модули диа­гональных коэффициентов системы (4.26) должны быть велики по сравнению с модулями недиагональных коэффициентов этой системы (свободные члены при этом роли не играют).

Пример 1. Решить методом итерации систему

4x₁ + 0,24 x₂ - 0,08 x₃ = 8,

0,09 x₁ + 3 x₂ - 0,15x з = 9, (4.30)

0,04 x₁ - 0,08 x₂ +4x₃ = 20.

Решение. Здесь диагональные коэффициенты 4; 3; 4 системы значительно преобладают над остальными коэффициентами при не­известных. Приведем эту систему к нормальному виду (4.27)

x₁ = 2 - 0,06x₂ + 0,02x₃,

x₂ = 3 - 0,03x₁ + 0.05x₃, (4.31)

x₃ = 5 - 0,01x₁ + 0,02x_2..

В матричной форме систему (4.31) можно записать так:

= + · .

За нулевые приближения корней системы (4.30) принимаем: x₁ ⁽⁰⁾=2, x₂ ⁽⁰⁾ =3, x₃ ⁽⁰⁾=5.

Подставляя эти значения в правые части уравнений (4.31), получим лервые приближения корней:

x₁ ⁽¹⁾ = 2 - 0,06 · 3+ 0,02 · 5= 1,92;

x₂ ⁽¹⁾ = 3 - 0,03 · 2 + 0,05 · 5 = 3,19;

x₃ ⁽¹⁾ = 5 - 0,01 · 2 + 0,02 · 3 = 5,04.

Далее, подставляя эти найденные приближения в формулу (4.31) получим последующие приближения корней, табл. 20:

Таблица 20

k	x1 (k)	x2 (k)	x3 (k)
0	2	3	5
1	1,92	3,19	5,04
2	1,9094	3,1944	5,0446
3	1,90923	3,19495	5,04485

Замечание. При применении метода итерации (формула (4.29) нет необходимости за нулевое приближение х⁽⁰⁾ принимать столбец свободных членов, т.к. сходимость процесса итерации зависит только от свойств матрицы α, причем при выпол­нении известных условий, если этот процесс сходится при каком-нибудь выборе исходного начального приближения, то он будет сходиться к тому же предельному вектору и при любом другом выборе этого начального приближения. Поэтому начальный век­тор х⁽⁰⁾ в процессе итерации может быть взят произвольным.

Метод Зейделя

Метод Зейделя представляет собой некоторую модификацию метода итерации. Основная его идея заключается в том, что при вычислении (к + 1)-го приближения неизвестной x_i учитываются уже вычислен­ные ранее (к + 1) - e приближения неизвестных x₁, х₂,….

Заметим, что указанная выше условие сходимости для про­стой итерации остается верной для итерации по методу Зейделя.

Обычно метод Зейделя дает лучшую сходимость, чем метод про­стой итерации, но, вообще говоря, он приводит к более громоздким вычислениям. Процесс Зейделя может сходиться даже в том случае, если расходится процесс итерации. Однако это бывает не всегда. Возможны случаи, когда процесс Зейделя сходится медленнее процесса итерации. Более того, могут быть случаи, когда процесс итерации сходится, а процесс Зейделя расходится.