§ 5. Метод Зейделя

Спочатку розглянемо метод Зейделя. Нехай задано СЛР Ах = b, де всі діагональні елементи відмінні від нуля. Якщо у m – вимірному просторі наближення х_n = (х_n1, х_n2, …, х_nm), то наступне наближення х_n+1 = (х_n+11, х_n+12, …, х_n+1m) визначається з такої системи рівнянь:

a₁₁х_n+11 + a₁₂х_n2 + a₁₃х_n3 + … + a_1mх_nm = b₁,

a₂₁х_n+11 + a₂₂х_n+12 + a₂₃х_n3 + … + a_2mх_nm = b₂, (1)

……………………………………………

a_m1х_n+11 + a_m2х_n+12 + a_m3х_n+13 + … + a_mmх_n+1m = b_m.

Цю систему можна записати у вигляді Вх_n+1 + Сх_n = b, де

a₁₁ 0 0 … 0 0 a₁₂ a₁₃ … a_1m

a₂₁ a₂₂ 0 … 0 0 0 a₂₃ … a_2m

В = ………………. , С = ………………. .

a_m1 a_m2 a_m3 … a_mm 0 0 0 … 0

Звідси отримуємо х_n+1 = – В^-1Сх_n + В^-1b. Отже, метод Зейделя є еквівалентним деякому методу простої ітерації. Звідси, зокрема, для його збіжності необхідно й достатньо, щоб всі власні значення матриці В^-1С по модулю були менше 1. Оскільки ║– В^-1С – λE║ =

║ В^-1║║C + λB║, то власні значення матриці В^-1С є коренями рівняння ║C + λB║ = 0.

Отже, необхідна й достатня умова збіжності методу Зейделя формулюється так:

всі корені рівняння

a ₁₁λ a₁₂ a₁₃ … a_1m

a₂₁λ a₂₂λ a₂₃ … a_2m

……………………. = 0.

a_m1λ a_m2λ a_m3λ … a_mmλ

Відзначимо також достатню умову збіжності методу Зейделя, аналогічну умові збіжності методу простої ітерації попереднього параграфу з аналогічним доведенням.

Теорема 1. Нехай для всіх і  qa_ii, де q < 1, х* – точний розв’язок СЛР Ах = b. Тоді ║x_n – x*║₁  q║x_n+1 – x*║₁ .

Задача розв’язання СЛР є модельною для більш складної задачі розв’язання систем нелінійних рівнянь і знаходження екстремуму функції багатьох змінних. Для перенесення методу Зейделя на ці більш складні задачі важливо зрозуміти найбільш загальні, якісні причини його збіжності, що можна здійснити за допомогою геометричної інтерпретації методу. Позначимо через L_i площину = b_i . При отримані наближення (х_n+11 ; х_n+12; … ; х_n+1i-1 ; х_n+1i ; … ; х_n+1m) з наближення (х_n+11 ; х_n+12 ; … ; х_n+1i-1 ; х_ni ; … ; х_n+1m) згідно з (1) наближення переміщується паралельно вісі х_i до перетину з площиною L_i. Отже, метод Зейделя геометрично складається з циклічних переміщень паралельно координатним осям х_i до перетину з площинами L_i. Наступні рисунки ілюструють при m = 2 випадки, коли метод Зейделя збігається, розбігається або має цикл.

х₂ х₁

L₁

L₂ L₁

Рисунок 1. х₁ Рисунок 2. х₁

х₂

L₂

L₁

х₁

Рисунок 3.

Порівняння двох перших рисунків вказує на те, що збіжність методу Зейделя може змінитися при переміні місцями рівнянь системи. Цікава геометрична картина виникає у випадку, якщо матриця А симетрична, тобто (Ах, у) = (х, Ау) для довільних векторів х і у відповідної вимірності.

Нехай А – дійсна, симетрична, додатне визначена матриця. Тоді метод Зейделя є еквівалентним задачі мінімізації функції F(y) = (A(y – x*), y – x*) – (Ax*, x*).

Справді, для симетричної А маємо

F(y) = (A(y – x*), y – x*) – (Ax*, x*) = (Ay, y) – 2(Ax*, y) = (Ay, y) – 2(b, y).

Якщо А додатне визначена, то (A(y – x*), y – x*) > 0 за y  x* і тому функція F(y) має мінімум, причому єдиний при y = x*. Отже, задача знаходження мінімуму функції F(y) рівносильна розв’язуванню рівняння Ах = b.

x₂

x₀

x*

Рисунок 4. x₁

Одним з методів мінімізації функції багатьох змінних є метод покоординатного спуску. Нехай маємо наближення ( , , …, ) до точки екстремуму функції F(х₁ , х₂ , … , х_m). Розглянемо функцію F(х₁ , , …, ), як функцію змінної х₁ і знайдемо точку її мінімуму. Потім, виходячи з наближення ( , , …, ), шляхом мінімізації функції F( , х₂ , , …, ), знаходимо наступне наближення ( , , , …, ). Цей процес циклічно повторюється. При уточненні компоненти х_k виконується зміщення по прямій, паралельній вісі х_k до точки з найменшім на цій прямій значенням F(х) = с. Очевидно, ця точка буде точкою дотику розглянутої прямої та лінії рівня F(х) = с. Тому у двовимірному випадку картина виглядає так, як на попередньому рисунку.

Застосуємо метод покоординатного спуску для знаходження екстремуму функції F. Позначимо F(y) + (Ax*, x*) = (A(y – x*), y – x*) через F₀(y). При мінімізації по змінній х_k виконується зміщення по прямій, паралельній вісі х_k до точки, де = 0. Нове значення х_k визначається з рівняння = 2 ( – b_j) = 0, саме того ж, що у методі Зейделя. Отже, наближення покоординатного спуску мінімізації F і методу Зейделя розв’язання початкової СЛР співпадають. Можна довести, що при пошуку мінімуму функції F таким чином метод Зейделя завжди буде збігатись.