9.4 Методы оптимизации второго порядка

Методы безусловной оптимизации второго порядка используют вторые частные производные минимизируемой функции f(х). Эти методы называют иногда квази-ньютоновскими.

Идея методов

Необходимым условием экстремума функции многих переменных f(x) в точке х* является равенство нулю ее градиента в этой точке:

Разложение в окрестности точки x[k] в ряд Тейлора с точностью до членов первого порядка позволяет переписать предыдущее уравнение в виде

Здесь – матрица вторых производных (матрица Гессе) минимизируемой функции:

(9.2)

Следовательно, итерационный процесс для построения последовательных приближений к решению задачи минимизации функции f(х) описывается выражением

х[k +1] = х[k] – H^–1(x[k])f'(x[k]),

где H^–1(x[k]) – обратная матрица для матрицы Гессе, а –H^–1(x[k])f'(x[k]) = р[k] – направление спуска.

Полученный метод минимизации называют методом Ньютона.

Очевидно, что в данном методе величина шага вдоль направления р[k] полагается равной единице.

Последовательность точек {x[k]}, получаемая в результате применения итерационного процесса, при определенных предположениях сходится к некоторой стационарной точке x* функции f(x).

Если матрица Гессе H(x*) положительно определена, точка x*, будет точкой строгого локального минимума функции f(x).

Последовательность {x[k]} сходится к точке x*, только если матрица Гессе целевой функции положительно определена на каждой итерации.

Если функция f(x) является квадратичной, то, независимо от начального приближения x[0] и степени «овражности», с помощью метода Ньютона ее минимум находится за один шаг.

Если же функция f(x) не квадратичная, но выпуклая, метод Ньютона гарантирует ее монотонное убывание от итерации к итерации.

При минимизации «овражных» функций скорость сходимости метода Ньютона более высока по сравнению с градиентными методами.

Существенный недостаток метода Ньютона – зависимость сходимости для невыпуклых функций от начального приближения x[0].

Если x[0] далека от точки минимума, метод может расходиться, т. е. каждая следующая точка будет более удаленной от точки минимума, чем предыдущая.

Сходимость метода, независимо от начального приближения, обеспечивается выбором не только направления спуска

p[k] = –H^–1(x[k])f'(x[k]),

но и величины шага  вдоль этого направления.

Соответствующий алгоритм называют методом Ньютона с регулировкой шага. Употребляется также термин «метод с переменной метрикой».

Итерационный процесс в таком случае определяется выражением:

x[k + 1] = x[k] – _kH^–1(x[k])f'(x[k]).

Величина шага _k выбирается из условия минимума функции f(x) по  в направлении движения, т. е. в результате решения задачи одномерной минимизации:

Вследствие накопления ошибок в процессе счета матрица Гессе на некоторой итерации может оказаться отрицательно определенной или ее нельзя будет обратить. В таких случаях в подпрограммах оптимизации полагается H^–1(x[k]) = Е, где Е – единичная матрица. Очевидно, что итерация при этом осуществляется по методу наискорейшего спуска.

Количество вычислений на одной итерации методом Ньютона, как правило, гораздо больше, чем в градиентных методах.

Причина – необходимость вычисления и обращения матрицы вторых производных целевой функции.

С другой стороны, на получение решения с достаточной точностью при помощи метода Ньютона обычно требуется намного меньше итераций, чем при использовании градиентных методов. Поэтому метод Ньютона существенно эффективнее.

Он обладает сверхлинейной, или квадратичной, скоростью сходимости в зависимости от требований, которым удовлетворяет минимизируемая функция f(x).

В некоторых задачах трудоемкость итерации методом Ньютона может перекрыть выигрыш от малого их числа.

В ряде случаев целесообразно комбинированное использование градиентных методов и метода Ньютона.

В начале процесса минимизации, когда точка x[0] находится далеко от точки экстремума x*, можно применять какой-либо вариант градиентных методов. Далее, при уменьшении скорости сходимости градиентного метода можно перейти к методу Ньютона.

Существуют и широко применяются две основные модификации алгоритма метода с переменной метрикой:

• алгоритм Дэвидона–Флетчера–Пауэлла (Davidon–Fletcher–Powell, DFP алгоритм);

• алгоритм Бройдена–Флетчера–Гольдфарба–Шанно (Broyden–Fletcher–Goldfarb–Shanno, BFGS алгоритм).

Между ними есть малые отличия в ошибках округления, устойчивости и др.