3.4.4 Стационарные итерационные процедуры. Теоремы о сходимости.

Пусть задана система ЛАУ общего вида (первого рода):

Ax=b; x,b Rⁿ, .(1)

Требуется привести данную систему к виду

x=Tx+d (2)

с матрицей (оператором) Т, удовлетворяющей условию в какой либо матричной норме.

Рассмотрим простейший прием такого преобразования.

x=x-H(Ax-b), (3)

где Н- некоторая невырожденная матрица.

Из (3) следует, что

x=Tx+d, где (4)

T=E-HA, d=Hb.

Некоторые определения.

1. Итерационная процедура, основанная на представлении (3)

x^k=x^k-1-H(Ax^k-1-b) (5)

называется линейной стационарной итерационной процедурой; при этом матрица Т в представлении (4) называется матрицей перехода, а матрица Н – матрицей расщепления.

2. Более общая линейная нестационарная итерационная процедура записывается в виде:

x^k= x^k-1-H_k(A x^k-1-b),

где H_k – матрица расщепления k-го шага.

Соответственно матрица перехода T_k=E-H_kA – называется матрицей перехода k-го шага.

Ниже будут более подробно рассмотрены стационарные итерационные процедуры.

Связь условия сходимости линейного стационарного процесса со свойствами спектра матрицы Т устанавливает следующая теорема.

Теорема 1.

Пусть система (4) имеет единственное решение стационарная процедура

(6)

сходится к решению системы (4) при тогда и только тогда, когда все собственные значения матрицыТ по модулю меньше 1.

Достаточность.

Заметим, что условие теоремы равносильно условию .

Пусть x* - точное (и единственное) решение системы (4). Запишем следующую систему:

Вычитая из первого уравнения второе, получаем:

x^k- x* = T(x^k-1- x*).

Обозначим - ошибкаk-ого шага. Тогда

(7)

(7) является итерационной процедурой для операторного уравнения r=Tr, достаточным условием сходимости которой, согласно принципу сжатых отображений, является условие .

Заметим, что матрица Т- вещественная. Рассмотрим в качестве нормы матрицы Т- спектральную норму:

по условию теоремы 

и достаточность доказана.

Необходимость.

От противного. Пусть одно из собственных значений матрицы Т, например, и пустьy - соответствующий собственный вектор: . Выберем начальное приближение в виде, гдеС - некоторая константа.

Запустим итерационную процедуру:

не может быть нарушено условие .

Рассмотрим некоторые частные случаи стационарных процедур, зависящих от выбора матрицы Н.

1. Пусть матрица перехода в этом случае имеет вид:

T=E-A.

Получаем так называемый метод простых итераций, или метод Ричардсона.

Выясним условия сходимости метода Ричардсона.

Пусть собственное значение матрицыТ,

собственное значение матрицы А.

является корнем характеристического уравнения , корнем уравнения

или: , откуда следует, что

.

Согласно теореме 1, условие сходимости:

Последнее условие, например, выполняется, если

и .

2. Пусть , гденекоторый параметр сходимости, с помощью которого можно оптимизировать процедуру Ричардсона.

Матрица перехода в этом случае имеет вид:

.

Теорема 2.

Пусть и,является оптимальным значением параметра сходимостиобобщенной итерационной процедуры Ричардсона:

.

Т.к. , то все собственное значения матрицы А m, M>0 и .

Выберем в качестве матричной нормы - спектральную норму . По определению,, поэтому, чем меньше спектральный радиус, тем быстрее сходится итерационная процедура в соответствии с принципом сжатых отображений.

Пусть собственное значение матрицыкорень уравнения

 - корень уравнения:

Из сравнения двух характеристических уравнений

Таким образом, имеем:

.

Так как функция кусочно линейна по, то достигается на концах отрезка

Найдем такое , для которого

. (8)

Легко проверить, что при выполняются следующее условие:

- обозначим.

Покажем, что полученное значение как раз и является оптимальным в смысле критерия (8).

Пусть, например, .

Из последних равенств видно, что при любом знаке один из модулей будет, т.е.

,

что и требовалось доказать.

3. Релаксационные методы.

В данном классе методов приведение системы (1) к виду (4) осуществляется с помощью расщепления матрицы А, т.е. ее представления в виде:

A=D-C_L-C_U , (9)

где

D=- диагональная матрица,

C_L= - строго нижняя (левая) треугольная матрица,

C_U= - строго верхняя (правая) треугольная матрица.

Подставляя представление (9) в систему (1) Ax=b

Dx=(C_L+C_U)x+b

x=D^-1(C_L+C_U)x+ D^-1b x=Tx+d,

где

T= D^-1(C_L+C_U)= D^-1(D-A)=E- D^-1A,

d= D^-1b,

H= D^-1 - матрица расщепления.

Получаемый при этом итерационный метод называется методом Якоби. Необходимое условие сходимости: (иначе не существуетD^-1).

Достаточные условия сходимости в соответствии с теоремой 1:

.

Или более простое условие: пусть матрица А - вещественная, причем (такая матрицаА называется матрицей со строгим диагональным преобладанием).

Метод Якоби может быть оптимизирован следующим образом. Снова воспользуемся разложением (9) и запишем систему в виде:

x=D^-1C_Lx+ D^-1C_Ux+d. (10)

Нетрудно убедиться, что при покомпонентной записи (10)

, где

вектор g^Lx содержит только первые (i-1) компонент вектора х , а вектор g^Ux - содержит компоненты, начиная с (x_i+1)

. (11)

Процедура (11) носит название итерационный метод Гаусса-Зейделя

Условия сходимости - те же, что и для метода Якоби, но при этом получается дополнительное ускорение процедуры. Более эффективное ускорение сходимости метода Зейделя может быть достигнуто с помощью ускоряющего множителя (как в обобщенном методе Ричардсона). Получающийся при этом алгоритм носит название “метод последовательной верхней релаксации” и реализуется в два этапа:

(12)

где -релаксационный параметр. Если , то приитерационная процедура сходится.