Метод Ньютона

Метод Ньютона (метод касательных) является одним из наиболее популярных численных методов. Он быстро сходится (имеет квадратичную сходимость) и допускает различные модификации. Однако этот метод эффективен при весьма жестких ограничениях на характер функции f(x). Поэтому его рекомендуют использовать совместно с другими методами, например, с методом половинного деления для того, чтобы получить отрезок, на котором эти условия начнут выполняться.

В отличии от метода простых итераций, метод Ньютона опишем, используя геометрические построения. Это, конечно, будет не так строго с точки зрения математики, но для понимания сути метода может быть даже лучше.

Итак, пусть известно, что на отрезке (a,b) функция f(x) имеет один корень, монотонна возрастает и вогнута, то есть выполняются условия

f(a)*f(b) < 0, (x) > 0, (x) > 0 как на рис. 15.

Рис.15 Геометрический смысл метод касательных

Возьмем x₀ = b. Разложим функцию f(x) в ряд Тейлора в окрестности этой точки:

f(x) = f(x₀)+ (x-x₀) + (x-x₀)² +… (19)

Если ограничиться двумя первыми элементами этого представления, то получим касательную к функции f(x) в точке x₀. Приравняем это линейную функцию к нулю и аналитически найдем её корень x:

f(x₀)+ (x-x₀) = 0, x = x₀ - .

Следующая итерация ищется так же, в итоге получаем следующую последовательность:

x_n+1 = x_n - n=0, 1, 2, … (20)

Сравним (20) с (7) из метода хорд и (18) из метода простых итераций или точнее из метода секущих. Структура этих формул очень похожа.

Выводом оценок погрешности и условиями останова итеративного процесса (20) займемся ниже, а сейчас обсудим условия сходимости метода Ньютона.

Получения этих условий аналитически требует больших объемов математических рассуждений. Представляется, что демонстрацию этих условий лучше сделать графически, используя следующую тактику доказательства: отменяем очередное условие сходимости и приводим пример, в котором получение решения задачи становиться невозможным.

Приведем все условия сходимости метода Ньютона – (21):

1. Функция f(x) дважды дифференцируема.

2. f(a)*f(b) < 0. Это условие существования корня на отрезке (a,b). Здесь обсуждать нечего.

3. (x) не меняет знак, значит f(x) монотонная, значит корень уравнения на отрезке (a,b) единственный. И это уже обсуждалось.

4. (x) 0. Это более жесткое требование, чем предыдущее. Чтобы понять, что условие важно, надо отказаться от него и представить пример, при котором метод сходиться не будет.

Формально: в (20) нельзя делить на ноль, но можно продемонстрировать это и графически как на рис.14. Надо отказаться от этого условия и представить пример, при котором последовательность не имеет предела. Здесь касательная проходит параллельно оси x и точки пресечения (решения уравнения) нет.

Значит без условия 4 сходимость не гарантирована.

(x) не меняет знак. Знак второй производной отвечает за выпуклость/вогнутость функции. Если отменить это условие, то появиться точка перегиба, в которой (x) меняет знак, и график функции f(x) может выглядеть примерно так, как на рис. 15.При этом итеративный процесс будет зацикливаться. Значит без условия 5 сходимость не гарантирована.

6. f(x₀)*f ^’’(x₀) > 0. Это условие обычно называют выбором начальной точки. Оказывается, и здесь играет роль выпуклость-вогнутость функции f(x). Если x₀ выбрано неправильно, то может получиться так, что следующая точка x₁ может находиться вне отрезка (a,b) как на рис. 16. Значит без условия 6 сходимость тоже не гарантирована.

Рис. 16. Демонстрация условий сходимости метода Ньютона.

Получим оценку погрешности и условия остановки итеративного процесса (20).

По теореме Лагранжа о конечных приращениях справедливо

f(x_n) - = f^’(c)*( x_n ), где точка c принадлежит отрезку ( , ).

Учитывая, что  = 0, следует

| x_n - | = <= (22)

Запишем формулу Тейлора (19) в окрестности точки x_n-1 при x = x_n :

f(x_n) = f(x_n-1)+ (x_n-x_n-1) + (x_n-x_n-1)² ., где с точка из отрезка (x_n – x_n-1)

В силу самого метода Ньютона f(x_n-1)+ (x_n-x_n-1) = 0 и тогда

f(x_n) = (x_n-x_n-1)^2.. Отсюда | f(x_n) | <= | x_n-x_n-1 |² и тогда из (22) следует

| x_n - | <= | x_n-x_n-1 |² (23)

Таким образом метод Ньютона является методом второго порядка и сходится гораздо быстрее, чем другие методы приближенного решения уравнений.

Рис17. Блок-схема метода Ньютона

Сравним (20) с (7) из метода хорд и (18) из метода простых итераций, или точнее, из метода секущих. Структура этих формул очень похожа. Отличие только в знаменателе. Как уже отмечалось, идея всех этих методов состоит в следующем: сложное уравнение f(x) = 0, аналитического решения которого получить не удается, заменяется на последовательность аналитических решений линейного уравнения, основанного на прямой, которая в каждом методе проводится по-своему.

В методе хорд это прямая, проходящая через точки (a, f(a)) и (b, f(b)).

В методе секущих это прямая, которая является касательной функции f(x), но всего лишь в одной точке и от итерации к итерации угол наклона прямой не меняется.

В методе Ньютона касательные строятся к каждому полученному промежуточному решению заново.

В результате у метода хорд и метода простых итераций сходимость последовательности линейная, соответственно (9) и (16), у метода Ньютона квадратичная - (22).

Но с каждым шагом усложнения метода: от хорды к секущей, от секущей к касательной, которые приводят к более быстрой сходимости, появляются всё более строгие условия сходимости: в методе хорд этих условий нет, в методе простых итераций требуется чтобы использовалось сжатие функции (14), в методе Ньютона выдвигается уже несколько условий, которые гарантируют сходимость метода - (21). За скорость сходимости приходится ”платить” более строгими условиями. И всё это зависит от того как провести прямую – хорду, секущую или касательную.

Метод половинного деления из-за своей простоты даже не попал в список сравнения.