4.4 .Метод Ньютона

Пусть итерационная матрица в формуле (4.8) имеет вид:

тогда итерационный процесс метода Ньютона строится в соответствии с формулой:

. (4.28)

Метод итераций, реализующий итерационный процесс по формуле (4.28) получил название метода Ньютона. Метод Ньютона в окрестности решения системы нелинейных уравнений имеет очень высокую скорость сходимости. Как правило, это квадратичная скорость сходимости. В среднем метод Ньютона сходится за число шагов, приблизительно равное размерности пространства переменных.

Сходимость метода Ньютона

Итерационная функция метода Ньютона имеет вид:

Я^-1.

Чтобы метод Ньютона сходился к точному решению из произвольного начального приближениядостаточно чтобы:

,т.е.Я^-1

(матричная производная берется от произведения матриц Я^-1).

К сожалению, глобальная сходимость метода Ньютона достигается при выполнении жестких ограничений на функцию . В частности, она должна быть непрерывной, дифференцируемой и строго выпуклой (вогнутой) в области определения.

Для изучения вопроса локальной сходимости метода Ньютона необходимо исследовать поведение в окрестности решения.

Полагая матрицу Якоби в окрестности , постоянной, имеем:

Я^-1Я^-1Я(4.29)

т.к. Я.

Из (4.29) следует, что для метода Ньютона всегда есть некоторая окрестность точки , в которой выполняются условия сходимости итераций. Другими словами, если начальное приближение выбрано достаточно близко к, то метод Ньютона всегда сходится к точному решению. Для выбора или коррекции начального приближения можно рекомендовать методы, предложенные в п. 3.6.

Особенно эффективен метод продолжения по параметру. Учитывая свойство локальной сходимости метода Ньютона, всегда можно подобрать такую последовательность параметров , что начальные приближения частных задачбудут находиться в локальных окрестностях их решений.

В качестве условия перехода к корректировке начального приближения можно предложить следующий надежный, универсальный критерий.

Если не удалось найти решение за 6,7 итераций с заданной точностью, то необходимо выбрать новое начальное приближение.

Метод Ньютона наиболее эффективен при аналитическом вычислении элементов матрицы Якоби. В тех случаях, когда найти аналитические выражения элементов матрицы Я не удается, частные производные можно заменить конечно разностными аппроксимациями:

(4.30)

или

(4.31)

где - заданный параметр дискретизации.

С учетом ошибок округления формула (4.31) более предпочтительна. С другой стороны, формула (4.30) требует меньшее количество дополнительных вычислений функций . Дискретный метод Ньютона требует многократных вычислений каждой из нелинейных функцийна каждом итерационном шаге метода. От точности вычисления частных производных зависит не только скорость сходимости метода, но и сама сходимость метода.

Проблемы точности вычисления частных производных будут рассмотрены в главе 5.

Метод -разложения

В тех случаях, когда приходится решать большое количество систем линейных уравнений с одинаковой матрицей и разными векторами, определенное преимущество имеет метод- разложения.

Идея метода заключается в разложении матрицыв виде произведения нижнетреугольной матрицыи верхнетреугольной матрицы, все диагональные элементы которой равны 1, т.е.=.

Тогда имеем:

, (4.39)

положив

, (4.40)

имеем

(4.41)

Решение системы уравнений (4.39) после разложения матрицы производится в два этапа:

На первом этапе решается система (4.41) с помощью алгоритма, аналогичного обратному ходу Гаусса (только сверху вниз). На втором этапе для найденного решается система уравнений (4.40) с верхнетреугольной матрицейпо формуле обратного хода Гаусса. Разложение матрицывыполняется заn стадий. Элементы матриц иразмещаются в ходе разложения на месте элементов матрицыследующим образом (рассмотрим случайn=4):

.

На стадии 1 первый столбец матрицы остается без изменений, т.е., а первая строка рассчитывается по формуле:

(4.42)

На каждой следующей стадии разложения последовательно пересчитываются элементы очередного-го столбца, по формулам:

(4.43)

и оставшиеся элементы очередной-й строки по формулам:(4.44)

По количеству "длинных" операций и по затратам памяти ЭВМ метод -разложения эквивалентен методу Гаусса.

Метод Гаусса-Зейделя

В тех случаях, когда матрица сильно разряжена (имеет большое количество нулевых элементов) хорошо себя зарекомендовал итерационный метод Гаусса-Зейделя. По существу это метод Зейделя, описанный в 4.3, примененный для решения систем линейных уравнений.

В заключение отметим, что в настоящее время существует достаточно большое количество численных методов решения систем линейных уравнений, учитывающих разнообразные структурные особенности матрицы .