Метод Ньютона

Для функции векторного переменного метод Ньютона формулируется практически точно так же, как и для функции скалярного переменного.

Алгоритм 1: Метод Ньютона

Геометрический смысл метода Ньютона при этом также остается аналогичным, но его интерпретация немного усложняется. Рассмотрим 1 шаг метода Ньютона на 2-мерной задаче

Градиент этой функции равен:

Ее матрица Гессе равна:

Возьмем в качестве начальной точки x₀ = (1.3, 2)^⊤. Суть метода Ньютона заключается в том, чтобы найти точку, которая является точкой пересечения обеих касательных плоскостей к в начальной точке x₀ с плоскостью нулевого уровня, как показано на рисунке 1.

(a) (b) (c)

Рис. 1 – (a) Касательная плоскость к fx1 в точке x0 (отмечена красным) пересекает плоскость нулевого уровня по синей линии. (b) Касательная плоскость к fx2 в точке x0 пересекает плоскость нулевого уровня по синей линии. (c) Точка, в которой касательные плоскости одновременно пересекают плоскость нулевого уровня – иcкомая точка, отмеченная зеленым.

Возвращаясь к исходной функции, получим новую точку, отмеченную на рисунке зеленым цветом, как показано на рисунке 2.

Основа метода Ньютона – ряд Тейлора:

Для стационарной точки, из условия стационарности ∇f(xk₊₁) = 0 получаем соотношение:

Отсюда следует уравнение метода для новой точки:

Рассмотрим пример работы метода Ньютона на функции Розенброка при e = 10⁻³, x₀ = (−2, − 2)^⊤. Траектория оптимизации показана на рисунке 3.

Преимущества и недостатки метода Ньютона:

1. Метод Ньютона имеет квадратичную сходимость на шаре B, x^* ∈ B (теорема Канторовича):

где ℎ – некоторая константа, связанная с .

2. Вне достаточно малой окрестности x^* метод может не сходиться (отсутствие глобальной сходимости).

3. Метод не различает типы стационарных точек.

Демпфированный метод Ньютона

Введем т.н. демпфирующий параметр ak ∈ (0; 1].

Уравнение метода запишется следующим образом:

Смысл выбора параметра ak– он должен «увеличивать»область притяжения минимума B.

Рис. 4 – (a) Отрезок, соединяющий исходную (красную) точку и точку, найденную методом Ньютона (зеленую), разделен в соотношении a, где ak ∈ (0; 1] – демпфирующий параметр. Точка, отмеченная синим – точка, прини- маемая на очередном шаге в качестве новой точки демпфирующего метода Ньютона.

Алгоритм 2: Демпфированный метод Ньютона

Рассмотрим работу демпфированного метода Ньютона на функции Розенброка при параметрах e = 10⁻³, x₀ = (−2, − 2)^⊤, a = 0.4.

Траектория оптимизации показана на рисунке 5.

Как видим, по сравнению с классическим методом Ньютона, демпфированный метод Ньютона требует значительно больше итераций при тех же настройках точности.

Вопросы для самопроверки

1. Почему демпфированный метод Ньютона делает больше шагов для достижения минимума?

2. Почему метод Ньютона не страдает от овражности функции Розенброка?

Модифицированные ньютоновские методы Демпфированный метод Ньютона с переменным αk

Рассмотрим модификацию демпфированного метода Ньютона, у которого демпфирующий параметр α_k изменяется с изменением шага.

Алгоритм 1: Демпфированный метод Ньютона c переменным α_k

Смысл переменного α_k заключается в следующем. Необходимо, чтобы выполнялось равенство α_k = 1 внутри области сходимости, и 0 < α_k < 1 вне этой области для глобальной сходимости.

Одна из продуктивных идей, как можно настраивать α_k, принадлежит Нестерову и Немировскому. Будем рассматривать самосогласованные функции, определяемые следующим образом:

1. Это либо выпуклые одномерые функции f (x) : |f ^rrr(x)| ≤ 2f ^rr(x)^3/2.

2. Либо многомерные функции f (x), такие, что одномерная функция ϕ(t) = f (x + th)

самосогласованная.

Пусть g_k = ∇f (x_k), H_k = ∇²f (x_k). Введем т.н. ньютоновский декремент: показывает близость градиента к текущей точке xk.

Уравнение метода Нестерова-Немировского:

Вариант, предложенный Нестеровым и Немировским:

Рассмотрим работу метода Нестерова-Немировского на следующем примере. Функция

Розенброка, точность ε = 10^—3. Траектория оптимизации показана на рисунке 1. Зеленый – шаги, на которых δ_k > 1\4, синий – шаги, на которых δ_k ≤ 1\4.