Метод Левенберга-Марквардта

Объединим метод Ньютона и метод градиентного спуска:

где если α_k → 0, то метод становится методом Ньютона, если α_k → ∞, то метод стано- вится методом градиентного спуска.

Параметры метода настраиваются следующим образом. Начальное значение α_k берется достаточно большим, и метод ведет себя как метод градиентного спуска. Каждый раз, когда выполняется условие f (x_k+1) < f (x_k), параметр обновляется:

α_k+1 = α_k/v,

где v – некоторое положительное число, большее 1. Типичные значения: v = 2 . . . 10, α₀ = 0.01.

Алгоритм 2: Метод Левенберга-Марквардта

Р ассмотрим пример работы метода Левенберга-Марквардта. Функция Розенброка, точность, начальная точка и параметры равны, соответственно, ε = 10^—3, x₀ = (−2, −2)^T, α₀ = 100, v = 3. Траектория оптимизации показана на рисунке 2.

Вопросы для самопроверки

1. Является ли функция Розенброка самосогласованной?

2. Как настроить первый шаг метода Левенберга-Марквардта, если о целевой функции ничего заранее не известно?

Методы барзилая-борвейна

Рассмотрим градиентный метод

x_k+1 = x_k − α_kg_k,

где g_k = ∇f (x_k).

Посмотрим на него как на некоторый квазиньютоновский метод, где обратная матрица Гессе аппроксимируется диагональной матрицей

Пусть ∆x = x_k − x_k—1, ∆g = g_k − g_k—1. Тогда, с учетом, что H_k = ∂g_k/∂x_k: матр частных производных компонентов градиента по компонентам векторах.

Исходя из предположения, что D^—1∆x ≈ ∆g, где D_k = α_kI, найдем α_k как минимизатор функции

Откуда (1)

Эта формула будет формулой метода Барзилая-Борвейна 1.

В одномерном случае фи ноль в многомерном минимум.

Исходя из предположения, что

∆x ≈ D_k∆g,

где D_k = α_kI, найдем α_k как минимизатор функции

Откуда (2)

Эта формула будет формулой метода Барзилая-Борвейна 2.

Алгоритм 1: Метод Барзилая-Борвейна 1(2)

Рассмотрим пример работы метода Барзилая-Борвейна 1 на функции Химмельблау.

Точность ε = 10^—3. Траектория оптимизации показана на рисунке 1.

Рассмотрим контрпример: ситуацию, когда метод Барзилая-Борвейна зацикливается и не приходит к точке минимума. Функция Розенброка, точность ε = 10^—9, начальная точка (2, −1)^T, 1000 итераций. Траектория оптимизации показана на рисунке 2.

Преимущества и недостатки методов Барзилая-Борвейна:

1. Обладают в ряде случаев сверхлинейной сходимостью и глобальной сходимостью.

2. Однако, на некоторых задачах метод может терять сходимость.

Стабилизированный метод Барзилая-Борвейна

Рассмотрим один из способов стабилизации метода Барзилая-Борвейна. Этот способ был предложен в работе Burdakov et al., 2019 (arXiv:1907.06409v3).

Найдем α^stab как альтернативный шаг

где ∆ – параметр. На очередном шаге выберем

Уравнение метода:

Алгоритм 2: Стабилизированный метод Барзилая-Борвейна 1(2)

Рассмотрим пример работы стабилизированного метода Барзилая-Борвейна 1 на функции Розенброка. Точность ε = 10^—9. Начальная точка (2, −1)^T. ∆ = 0.1. Траектория оптимизации показана на рисунке 3.

Вопросы для самопроверки

1. Есть ли какое-то преимущества у одной версии метода Барзилая-Борвейна перед другой?

2. Если на некоторой функции метод Барзилая-Борвейна 1 зациклился, то зациклится ли метод Барзилая-Борвейна 2?