Лекция 12

Тема 4. Методы второго порядка

4.1. Метод Ньютона

Исторически метод Ньютона является первым из методов, основанных на квадратичной аппроксимации минимизируемой функции F . Такая аппроксимация, оставаясь достаточно простой, в то же время намного точнее, чем линейная (метод наискорейшего спуска), следовательно, можно разработать более эффективные методы. В качестве квадратичной модели целевой функции F можно взять сумму первых 3-х членов разложения F в

Решая полученную систему линейных уравнений и принимая найденную точку минимума за xk 1 , получим (для одномерного случая):

Алгоритм минимизации, в котором направление pk определяется из (4.1.19), называют методом Ньютона, а решение этой системы – ньютоновским направлением. Итерационный процесс (4.1.19) строит последовательность точек xk , которая при определенных предположениях

сходится к некоторой стационарной точке x* функции f ( x). Если матрица Гессе f ( x* ) положительно определена, эта точка будет точкой строгого локального минимума f ( x).

1

минимальной ординате этой параболы.

Метод Ньютона более эффективен (меньшее число итераций), чем градиентные методы, т.к. квадратичная функция локально точнее аппроксимирует минимизируемую функцию, чем линейная (основа

градиентных методов). В градиентных методах приходится выбирать шаг k

вдоль направления антиградиента в точке xk , т.к. линейная функция не имеет точек экстремума. В методе Ньютона аппроксимирующая квадратичная функция (4.1.17) имеет конечную точку минимума, поэтому

полагается равным 1.

Рассмотрим метод Ньютона в пространстве E2 и продемонстрируем важность положительной определенности матрицы Гессе целевой функции

Аппроксимирующая функция для функции 2-х переменных выглядит следующим образом:

преобразовывается к каноническому виду (с помощью переноса системы координат и поворота осей):

параболоида (рис. 4.1.15).

поверхность с седловой точкой (рис. 4.1.15). Эта точка будет взята в качестве

Т.о. сходимость метода Ньютона обеспечена лишь в случае положительной определенности матрицы Гессе целевой функции на каждой итерации.

3

Рис. 4.1.16

~ ~

Если b11 и b22 одного знака, но сильно отличаются по величине, график квадратичной функции (4.1.21) имеет «овраг». В этом случае градиентные методы работают плохо, а метод Ньютона находит минимум

4

Рис.4.1.17

В общем случае, когда минимизируемая функция не квадратична,

вектор ( f ( xk )) 1 f ( xk ) не указывает в точку ее минимума, однако имеет большую составляющую вдоль оси «оврага» и значительно ближе к направлению на минимум, чем антиградиент. Этим и обусловлена более высокая сходимость метода Ньютона по сравнению с градиентным при минимизации «овражных» функций, которые встречаются довольно часто.

5

Основные недостатки: 1) предполагает вычисление вторых производных, что может быть связано с существенными трудностями; 2) может расходиться, если целевая функция не является сильно выпуклой и начальное приближение находится достаточно далеко от минимума.

Теоремы о сходимости метода Ньютона.

Геометрический смысл выпуклой функции приведен на рис. 4.1.18.

f( x (1 ) y) f ( x) (1 ) f ( y)

исильно выпуклой с константой r 0, если при 0 1

Условия теоремы 1 можно несколько ослабить лишь в одном направлении –

труднопроверяемо, т.к фигурирующие в нем константы, как правило,

неизвестны. Сложность отыскания нужного x0 – недостаток метода Ньютона. Еще более существенным недостатком является высокая трудоемкость метода, обусловленная необходимостью вычисления и обращения на каждом шаге f ( xk ). Следовательно, применение классического метода Ньютона далеко не всегда приводит к успеху. Многочисленные модификации направлены на то, чтобы, сохраняя основные достоинства метода Ньютона – его быструю сходимость, уменьшить трудоемкость и ослабить требования на выбор x0 . Тем не менее, метод Ньютона считается эталоном, с которым надо сравнивать другие алгоритмы.

8