7.6. Методы второго порядка

7.6.1. Обобщенный метод Ньютона – Рафсона

Эти методы основаны на квадратичной аппроксимации целевой функции и как следствие для своей реализации требуют вычисления производных первого и второго порядков. Одним из таких методов является обобщенный метод Ньютона – Рафсона, в котором на каждой к-й итерации производится одномерный поиск минимума целевой функции (х_k+p_k) относительно шага  в направлении p_k=-H_k-1g_k, где Н_k-1 – матрица, обратная матрице Гессе (матрицы вторых производных) в точке х_k, а g_k – градиент целевой функции в той же точке. Одним из преимуществ этого метода по сравнению с градиентными методами состоит в том, что он не реагирует на «овражный» характер минимизируемой функции. Градиентные методы, по существу, используют линейную аппроксимацию целевой функции и поэтому менее точно определяют направление на точку минимума. Поэтому метод Ньютона – Рафсона позволяет достичь заданной точности за меньшее число итераций, чем градиентные методы. Однако каждая итерация метода Ньютона – Рафсона связана с вычислением матрицы вторых производных Н_k и последующим её обращением, что требует большего объема вычислений по сравнению с одной итерацией градиентного метода. Кроме того, в ряде случаев производные не могут быть получены в виде аналитических выражений, а вычисление их численными методами осуществляется с ошибками, которые зачастую сводят на нет преимущества этого метода. Поэтому широкое распространение получила группа методов называемая методами переменной метрики или квазиньютоновскими, базирующихся на аппроксимации обратной матрицы Гессе на основе только первых производных. В этих методах вектор направления р_k рассчитывается по формуле р_k=-А_kg_k, где матрица А_k называемая иногда матрицей направлений, представляет собой аппроксимацию матрицы Н_k-1. Один из методов переменной метрики, полученный Дэвидоном и модифицированный Флэтчером и Пауэллом, получил название метода Дэвидона – Флэтчера – Пауэлла (ДФП).

7.7. Методы переменной метрики

7.7.1. Метод Дэвидона – Флэтчера – Пауэлла

Основной трудностью реализации обобщенного метода Ньютона – Рафсона является необходимость вычисления матрицы вторых производных Н (матрицы Гессе) и ее обращения на каждой итерации. В методе ДФП эта трудность преодолевается благодаря использованию определенного приближения А_к для матрицы, обратной гессиану Н. Матрица А_к – положительно определенная симметричная матрица, которая обновляется на каждой итерации. В пределе матрица А_к становится равной обратному гессиану Н_к^-1. Начальное значение матрицы А₀ принимается равным единичной матрице Е. На каждой итерации текущее значение матрицы направлений пересчитывается в соответствии с рекуррентным соотношением:

где v_k=_kp_k, u_k=g_k+1 – g_k.

Алгоритм метода.

1. Задается начальная точка х₀ и погрешность .

2. Задается начальное значение матрицы А₀=Е (единичная матрица).

На каждой к-й итерации (к=0, 1, 2, …) вычисляется:

3. Градиент целевой функции

4. Вектор направления поиска р_k=-А_kg_k.

5. Находится _k в результате решения задачи одномерной минимизации целевой функции (х_k+p_k) одним из ранее рассмотренных методов.

6. Вычисляется вектор перемещения в пространстве n переменных

v_k=_kp_k.

7. Вычисляется новая точка x_k+1=x_k+v_k.

8. Вычисляется целевая функция _k+1=(х_{к + 1}) и градиент g_k+1=(x_k+1) во вновь полученной точке x_k+1.

9. Завершить процедуру поиска, если ||g_k+1|| <  или ||v_k|| < .

В противном случае:

10. Вычислить u_k=g_k+1–g_k.

11. Пересчитать матрицу А_k

12. Увеличить к на единицу и вернуться к п. 3.