8. Ньютоновские методы

8.1.Методы Ньютона и Ньютона-Рафсона

Предварительно рассмотрим метод Ньютона, применяемый для решения уравнения

.

Разложение в ряд Тейлора позволяет переписать это уравнение в виде

,

а значит,

.

Следовательно, для приближения к значению корня можно использовать выражение

. (8.1.1)

Перейдем к решению мерной задачи минимизации, сводящейся, в силу необходимых условий оптимальности, к решению уравнения

.

Применяя разложение в ряд Тейлора для отыскания корня уравнения , получим

.

Это позволяет получить рекуррентное выражение для оценивания :

, (8.1.2a)

или

(8.1.2b)

при условии, что обратная матрица существует.

Формулы (8.1.2) представляют градиентный метод, у которого градиент модифицирован обратной матрицей .

Для квадратичной , где положительно определенная матрица, и произвольной начальной точки , использование выражения (8.1.2), где даёт

.

Поскольку

,

то точка является точкой минимума .

Следовательно, точка минимума квадратичной функции находится за один шаг метода Ньютона из произвольной начальной точки .

Исторически название “метод Ньютона” закрепилось за рекуррентным соотношением (8.1.2), а название “метод Ньютона - Рафсона” - за соотношением

(8.1.3)

Отметим, что метод Ньютона, в котором ньютоновское направление комбинируется с другим выбором шага , например, из числа рассмотренных в разделе 6.3, то такой метод Ньютона с регулировкой шага называется релаксационным (Гилл, Мюррей, Райт,1985).

8.2.Скорость сходимости методов Ньютона и Ньютона - Рафсона

Метод Ньютона – Рафсона, минимизирующий нелинейную функцию общего вида, сойдется к точке с квадратичной скоростью при следующих условиях (Гилл, Мюррей, Райт,1985 ):

1. матрица в точке должна быть положительно определенной;

2. начальное приближение должно быть достаточно близко к ;

3. оценки последовательных шагов должны сходиться к единице.