Алгоритмы методов оптимизации в разговорном виде / Метод Ньютона

Метод Ньютона

Метод Ньютона минимизации функции является обобщением известного метода Ньютона отыскания корня уравнения f '(x) = 0, где f(x) - скалярная функция скалярного аргумента х. Минимизация f(x) основывается на использовании квадратичной аппроксимации функции f(x) в точке x_k:

F(x) = f(x_k) + f '(x_k)(x - x_k) + f ''(x_k)(x - x_k)² * 1/2

В качестве приближения х_k+1 к минимуму х* берется точка, в которой производная F'(x) равна нулю, т.е. f '(x_k) + f ''(x_k)(x_k+1 -x_k) = 0.

Таким образом, x_k+1 = x_k - f '(x_k)/f ''(x_k).

Итерационный процесс строит последовательность точек {x_k}, которая при определенных условиях квадратично сходится к некоторой стационарной точке х* функции f(x), т.е. к точке, в которой f ' (x*) = 0. Процесс останавливается, когдаx_k+1 - x_k ≤  и f '(x_k) ≤ , где  > 0 - заранее заданное малое число.

Существенными недостатками метода Ньютона являются: 1) сложность задания начального приближения х₁ в малой окрестности искомого минимума х*; 2) необходимость вычисления вторых производных минимизируемой функции.