Таким образом, x = x2 = (−3 /16, −1/ 8) . Решение получено в результате двух итераций метода сопряженных градиентов, поскольку целевая функция квадратична в E2 и одномерные задачи минимизации на шаге 2 алгоритма решены точно. ■

Проверка решения примера. Решим задачу аналитическим методом.

Решая систему этих двух уравнений для нахождения стационарной точки, получим x1 = −3/16, x2 = −1/ 8. ■

5.7. Метод Ньютона

Пусть функция f (x) дважды дифференцируема в En . Тогда, с помощью градиента и матрицы Гессе, для нее можно записать разложение в ряд по формуле Тейлора в окрестности точки xk

следовательно, она невырождена ( det H (x) > 0 ). Тогда существует обратная матрица

H −1 (x) . Отметим, что квадратичная функция (5.28) с положительно определенной матрицей H (xk ) сильно выпукла и уравнение (5.29) определяет единственную точку глобального минимума функции Φk (x) . Умножим слева обе части равенства

92

Итерационный процесс минимизации функции многих переменных (5.30), начатый из произвольной точки x0 En , называется методом Ньютона и является обобщением метода Ньютона в одномерном случае.

Очевидно, для квадратичной функции с положительно определенной матрицей A применение метода Ньютона обеспечивает получение точки глобального минимума ровно за один шаг из любой точки x0 En .

Для выпуклой функции, отличной от квадратичной, применение этого метода обеспечивает, как правило, быструю сходимость. Дело в том, что на каждом шаге итерационного процесса используется информация о поведении функции в

окрестности точки xk , содержащаяся в значениях не только первых, но и вторых ее частных производных. Поэтому при прочих равных условиях следует ожидать более быструю сходимость метода Ньютона по сравнению с градиентными методами.

93

начальной точки обобщенный метод Ньютона обладает квадратичной скоростью сходимости.

Основным недостатком метода Ньютона можно считать необходимость вычисления и обращения матрицы Гессе на каждой итерации. Итерация этим методом существенно более трудоемка, чем, например, итерации методов градиентного или наискорейшего спусков. Обсуждение модификаций метода Ньютона, позволяющих в определенном смысле избавиться от этого недостатка и

Ньютона понадобилось N = 5 итераций, методом наискорейшего спуска − N = 96 итераций, методом сопряженных градиентов − N = 8 ÷13 итераций, в зависимости от формулы, по которой вычислялся коэффициент для сопряженных направлений. Обобщенный метод Ньютона справляется с решением задачи за N = 5 итераций, как и классический метод Ньютона.

5.8. Квазиньютоновские методы

Среди алгоритмов многомерной минимизации можно выделить группу алгоритмов, которые объединяют достоинства метода наискорейшего спуска и метода Ньютона. Такие алгоритмы называют квазиньютоновскими методами. Особенность этих алгоритмов состоит в том, что при их применении нет необходимости обращать матрицу Гессе целевой функции и в то же время

94

удается сохранить высокую скорость сходимости, присущую методу Ньютона и его модификациям.

Элементы релаксационной последовательности {xk } в алгоритмах

квазиньютоновских методах минимизации непрерывно дифференцируемой в En

определенная матрица порядка n , обновляемая на каждой итерации. Отметим, что направление, задаваемое на каждой k -й итерации вектором pk , является направлением спуска, так как с учетом (5.31)

( f (xk ), pk ) = −(wk , Ak wk ) < 0.

вычисленная в точке минимума x .

Известно, что если целевая функция является сильно выпуклой, то алгоритмы метода Ньютона обладают квадратичной скоростью сходимости. Поэтому можно ожидать, что алгоритмы квазиньютоновских методов будут иметь достаточно высокую скорость сходимости, если на каждой k -й итерации матрица Ak выбрана близкой к матрице H −1 (xk ) . Используя при конструировании Ak аппроксимацию матрицы H −1 (xk ) с учетом информации о градиенте целевой функции в точке xk ,

можно существенно упростить процедуру нахождения направления спуска на k -й итерации. Именно эти соображения лежат в основе построения алгоритмов квазиньютоновских методов.

Квазиньютоновские методы чрезвычайно популярны среди пользователей методов оптимизации в связи с тем, что они сочетают высокую скорость

95

сходимости с невысокой трудоемкостью итерации. Практическое значение этих методов трудно переоценить, хотя с теоретической точки зрения любой квазиньютоновский метод есть не более чем умная реализация фундаментальной

Ньютона понадобилось N = 5 итераций, методом наискорейшего спуска − N = 96 итераций. Квазиньютоновский метод Давидона-Флетчера-Пауэлла, или ДФП метод, справляется с решением этой задачи за N = 7 итераций.

* * *

Необходимо обратить внимание на то, что алгоритмы безусловной минимизации функций многих переменных можно сравнивать и исследовать как теоретически, так и экспериментально.

Первый подход может быть реализован полностью только для ограниченного класса задач, например, для сильно выпуклых квадратичных функций в En .

Мощным инструментом теоретического исследования алгоритмов являются теоремы о сходимости методов. Однако формулировки таких теорем, использующих при доказательстве аппарат современного функционального анализа, обычно абстрактны. Поэтому этот материал интересен в первую очередь профессионалам-математикам. Кроме того, бывает непросто установить связь полученных результатов с практикой вычислений. Поэтому на практике сравнение алгоритмов часто проводят с помощью вычислительных экспериментов при решении так называемых специальных тестовых задач. Эти задачи могут быть как с малым, так и с большим числом переменных, иметь различный вид нелинейности. Они могут быть составлены специально или возникать из практических приложений.

Приведем несколько общепринятых тестов, на которых испытано большинство известных методов минимизации.

вследствие преждевременного окончания процесса поиска.

96