21.8 Метод Ньютона и его модификации.
Алгоритм метода Ньютона состоит в следующем.
1. В начальной точке х [0] вычисляется вектор
p[0] = - H-1(x[0])f’([0]).
2. На k-й итерации определяются шаг аk и точка х[k+1].
3. Вычисляется величина f(х[k+1]).
4. Проверяются условия выхода из подпрограммы, реализующей данный алгоритм. Эти условия аналогичны условиям выхода из подпрограммы при методе наискорейшего спуска. Если эти условия выполняются, осуществляется прекращение вычислений. В противном случае вычисляется новое направление
р[k+1] = –H-1(x[k])f’([k])
и осуществляется переход к следующей итерации.
Количество вычислений на итерации методом Ньютона, как правило, значительно больше, чем в градиентных методах. Это объясняется необходимостью вычисления и обращения матрицы вторых производных целевой функции. Однако на получение решения с достаточно высокой степенью точности с помощью метода Ньютона обычно требуется намного меньше итераций, чем при использовании градиентных методов. В силу этого метод Ньютона существенно более эффективен. Он обладает сверхлинейной или квадратичной скоростью сходимости в зависимости от требований, которым удовлетворяет минимизируемая функция f(x). Тем не менее в некоторых задачах трудоемкость итерации методом Ньютона может оказаться очень большой за счет необходимости вычисления матрицы вторых производных минимизируемой функции, что потребует затрат значительного количества машинного времени.
В ряде случаев целесообразно комбинированное использование градиентных методов и метода Ньютона. В начале процесса минимизации, когда точка х[0] находится далеко от точки экстремума х*, можно применять какой-либо вариант градиентных методов. Далее, при уменьшении скорости сходимости градиентного метода можно перейти к методу Ньютона.
21.9 Модифицированный метод Ньютона.
В некоторых задачах более существенным недостатком метода Ньютона является его большая вычислительная трудность: на каждом шаге требуется вычисление оператора (матрицы) f ′′(xn) и его (ее) обращение, что при больших размерностях стóит в вычислительном плане очень дорого. Один из способов обхода этих трудностей состоит в "замораживании" оператора f ′′(xn) — использовании на каждом шаге [f ′′(x0)]–1 взамен [f ′′(xn)]–1:
xn+1 = xn – [f ′′(x0)]–1f ′(xn).
Геометрическая интерпретация модифицированного метода Ньютона изображена на рис. 21.7.
Рис.
21.7.
Можно показать, что при естественных ограничениях модифицированный метод Ньютона сходится лишь линейно (это плата за уменьшение объема вычислений). Можно также не замораживать оператор [f ′′(xn)]–1 навсегда, а обновлять его через определенное число шагов, скажем k:
xn+1 = xn – [f ′′(x[n/k]·k)]–1f ′(xn);
здесь [a] в верхнем индексе обозначает целую часть числа a. Можно доказать, что если функция f сильно выпукла и f ′′ удовлетворяет условию Липшица, то
||xn+k – x*|| ≤ C||xn – x*||k+1,
т. е. за k шагов порядок погрешности уменьшается в k + 1 раз, что соответствует следующей оценке погрешности на каждом шаге:
||xn+1 – x*|| ≤ C||xn – x*||k√k+1.
Другими словами, этот метод является методом k√k+1-го порядка сходимости. Таким образом, метод занимает промежуточное положение между методом Ньютона (k = 1) и модифицированным методом Ньютона (k = ∞) как по скорости сходимости, так и по объему вычислений.
Другой способ уменьшения объема работы, связанного с вычислением функции f ′′(xn) описывается в следующем пункте.