2. Решение систем линейных алгебраических уравнений методами простой итерации и Зейделя.

Метод простой итерации.

Рассмотрим систему уравнений

(2.1)

Разделим каждое уравнение системы (2.1) на диагональный элемент. Получим систему

или в матричной форме

X=BX+G, (2.2)

где

, (2.3)

Данное преобразование системы (2.1) в систему (2.2) равносильно умножению системы (2.1) слева на матрицу

Таким образом, H=D^-1,

где - диагональная матрица [a₁₁,…,a_nn].

Выберем начальное приближение X⁽⁰⁾=G. Строим последовательные приближения по формулам

X^(k)=BX^(k-1)+G, (2.4)

k=1,2,3,… или в развернутом виде

.

Метод Зейделя.

Пусть система уравнений AX=F представлена в виде X=BX+G, где

B=E-A G=F.

Метод Зейделя похож на метод простой итерации с той лишь разницей, что при вычислении -го приближения для -й компоненты учитываются вычисленные уже ранее -е приближения для компонент x₁^(k),…,x_i-1^(k).

Вычисление последовательных приближений ведется по формулам

(2.5)

Установим связь между методом Зейделя и методом простой итерации. Для этого матрицу В представим в виде суммы двух матриц: B=H+F, где

; .

Правило Зейделя в матричной форме перепишется в виде:

или ; , т.е. метод Зейделя эквивалентен методу простой итерации с матрицей (E-H)^-1F.

Обусловленность матриц.

Рассмотрим вопрос об устойчивости решения относительно изменения элементов матрицы.

Теоретическое решение системы дается формулой ,

где - матрица, обратная к . Обратную матрицу называют устойчивой, если малым изменениям в элементах матрицы соответствуют малые изменения в элементах обратной матрицы. Очевидно, что необходимым условием устойчивости обратной матрицы является то, чтобы определитель матрицы не был бы близок к нулю. Но это условие не является достаточным. В качестве меры близости к вырожденности матрицы рассматривают числа обусловленности:

,

где - собственное значение матрицы ; и .

Матрицу называют плохо обусловленной, если соответствующая ей обратная матрица неустойчива.

Чем больше числа обусловленности, тем хуже обусловленность матрицы.

На практике этим определением обусловленности воспользоваться достаточно трудно, т.к. это связано с нахождением обратной матрицы и собственных значений матрицы. Поэтому обычно ограничиваются проверкой условия . Для этого систему нормируют, т.е. -е уравнение системы делят на величину , а затем определитель полученной матрицы сравнивают с единицей. Малость указанного определителя по сравнению с единицей является признаком плохой обусловленности системы.

3.Необходимые и достаточные условия сходимости итерационных методов.

Необходимые и достаточные условия сходимости метода простой итерации.

Теорема 3.1. Для того чтобы метод простой итерации сходился необходимо и достаточно чтобы все собственные значения матрицы B=E-D^-1A были по модулю меньше единицы.

Доказательство. Пусть X^(k)→ X^*. Тогда, как мы видели, X^* есть решение системы и, следовательно,

X^* - X ^(k) = B(X^* - X ^(k-1)) =... = B(X^* -X ⁽⁰⁾),

откуда B^k(X^* - X ⁽⁰⁾)→0. Так как это должно иметь место при любом векторе X ⁽⁰⁾, Необходимо, чтобы B^k →0, для чего, в свою очередь, необходимо, чтобы все собственные значения матрицы B были меньше единицы по модулю.

Достаточность условия непосредственно вытекает из формулы

X^(k)=B^(k)X⁽⁰⁾+(E+B+…+B^k-1)G,

т.к. B^k→0 и E+B+ …+ B^k →(E – B)^-1=A^-1_, если все собственные значения матрицы B меньше единицы по модулю.

Так как условие теоремы 3.1 трудно проверяется, судить о сходимости процесса последовательных приближений лучше при помощи достаточных признаков, связанных непосредственно с элементами матрицы В. Некоторые достаточные признаки вытекают из теоремы 3.1

Теорема 3.2. Для того чтобы процесс последовательных приближений сходился, достаточно, чтобы какая-либо норма матрицы В была меньше единицы.

Доказательство. Действительно, если ||B||<1, то все собственные значения матрицы В меньше единицы и потому на основании теоремы 1 процесс последовательных приближений сходится.

Если выполняется одно из условий:

I. при (3.1)

II. при (3.2)

Ш. , (3.3)

то процесс последовательных приближений сходится. Это равносильно преобладанию диагональных элементов в исходной матрице .

Дадим теперь оценки быстроты сходимости процесса последовательных приближений в терминах нормы. При этом выбор нормы векторов совершенно безразличен, но норма матриц должна быть согласована с выбранной нормой векторов.

Теорема 3.3. Если ||B||< 1, то

||X*-X^(k)||≤||B||^k||X⁽⁰⁾||+ . (3.4)

Доказательство. Имеем ||X*-X^(k)||=||(E-B)^-1G-(E+B+…+B^k-1)G-B^kX⁽⁰⁾||≤

≤||(E-B)^-1G -(E+B+…+B^k-1)G||+||B^kX⁽⁰⁾||≤||(E-B)^-1G-(E+B+…+B^k-1)G||+||B^k||||X⁽⁰⁾||≤

≤||B||^k||X⁽⁰⁾||+ .

Часто бывает важно сравнить точность двух последовательных приближений, т.e. сравнить величины ||X*-X^(k)|| и ||X*-X^k-1||. Taкое сравнение можно проводить на основании следующей теоремы.

Теорема 3.4 ||X*-X^(k)||≤||B|| ||X*-X^k-1||.

Доказательство. Действительно, из равенств

X*=BX*+G, X^k=BX ^(k-1)+G

следует, что

X*-X^(k)=B(X*-X^(k-1)).

Отсюда

||X*-X^(k)||=||B(X*-X^(k-1))|| ≤||B|| ||X*-X ^(k-1)||.

Подготовка системы к виду, удобному для итераций.

Пусть матрица положительно определена. Тогда система AX=F всегда может быть подготовлена к виду, в котором метод последовательных приближений будет сходящимся. Подготовка состоит в переходе от данной системы AX=F к равносильной системе HAX=HF, где H- некоторая неособенная матрица, которая выбирается так, чтобы матрица HA была бы близка к единичной.

Положим

H=2E/μ, (3.5)

где μ – некоторая норма матрицы . Тогда система уравнений преобразуется к виду

X=(E-2A/μ)X+2F/μ=BX+G. (3.6)

Собственные значения матрицы

B=(E-2A/μ)

будут заключены в открытом интервале (-1,1), в силу того собственные значения положительно определенной матрицы A находятся в интервале (0;μ). Следовательно, метод последовательных приближений для системы (3.6) будет сходящимся.

Исходя из полученной аналогии методов Зейделя и простой итерации, можно сформулировать следующий признак сходимости метода Зейделя: для того чтобы метод Зейделя сходился, необходимо и достаточно, чтобы все собственные значения матрицы (E-H)^-1F по модулю были меньше единицы. Другими словами, чтобы метод Зейделя сходился, необходимо и достаточно, чтобы все корни уравнения |F+λH-λE|=0 по модулю были меньше единицы, т.к.

|(E-H)^-1F-λE|=|(E-H)^-1(E-H)[(E-H)^-1F-λE]|=|(E-H)^-1||F+λH-λE|=|F+λH-λE|=0.

Сформулируем достаточный признак сходимости: для того, чтобы метод Зейделя сходился, достаточно, чтобы выполнилось одно из условий:

1) ;

2) ;

3) .