направлениям (5.16) приводит к точке минимума квадратичной формы не более чем за n шагов.

□ Доказать самостоятельно. Предположить, что существуют uk ≠ αk , и

получить, что они совпадают. ■

Вопрос о нахождении базиса из A –ортогональных векторов в пространстве En

решается неоднозначно. В качестве такого базиса можно, например, взять ортогональный базис из собственных векторов матрицы A . Однако их поиск при n > 2 представляет собой самостоятельную и довольно сложную задачу.

и без предварительного построения векторов p1 , ..., pn , последовательно находя их в процессе минимизации, как это было сделано выше в примере с минимизацией функции двух переменных. И в этом случае для квадратичной функции с положительно определенной матрицей A для нахождения минимума достаточно конечное число шагов. Если не является квадратичной функцией или

вспомогательные задачи одномерной минимизации решаются приближенно, потребуются дополнительные вычисления.

Метод сопряженных направлений, рассмотренный выше, относится к числу наиболее эффективных методов минимизации выпуклых квадратичных функций. Его недостатком является необходимость решать довольно большое количество задач одномерной минимизации.

5.6. Метод сопряженных градиентов

88

При использовании методов градиентного и наискорейшего спуска в итерационной процедуре

антиградиента: pk = − f (xk ). Однако такой выбор направления убывания не всегда бывает удачным. В частности, для плохо обусловленных задач минимизации направление антиградиента в точке xk может значительно отличаться от направления к точке минимума x . В результате траектория приближения к точке минимума имеет зигзагообразный характер. Воспользуемся другим подходом, идея которого была изложена при построении метода сопряженных направлений. Будем определять направления спуска pk не только через вектор антиградиента − f (xk ) ,

в котором величина шага αk находится из условия исчерпывающего спуска по

Ранее, при обсуждении метода сопряженных направлений было показано, что

для квадратичной функции шаг исчерпывающего спуска по направлению pk равен

квадратичной функции с положительно определенной симметрической матрицей

89

гарантирует нахождение точки минимума сильно выпуклой квадратичной функции не более чем за n шагов.

С учетом взаимной ортогональности градиентов f (xi ) и условий

исчерпывающего спуска по направлениям pk можно упростить выражения (5.21) и

Следует отметить, что выражение для коэффициента βk не содержит в явном виде матрицу A квадратичной формы. Поэтому метод сопряженных градиентов может применяться для минимизации неквадратичных функций.

Итерационный процесс (5.23)−(5.26) может не приводить к точке минимума неквадратичной функции за конечное число итераций. Более того, точное

определение αk из условия (5.22) возможно лишь в редких случаях, а вектора pk

на образуют, вообще говоря, A −ортогональную систему относительно какой-либо матрицы A . Поэтому реализация каждой итерации метода будет сопровождаться неизбежными погрешностями. Эти погрешности, накапливаясь, могут привести к

тому, что векторы pk перестанут указывать направление убывания функции и

сходимость метода может нарушаться. Поэтому в методе сопряженных градиентов применяется практический прием − через каждые N шагов производят обновление метода, полагая βm N = 0, m =1, 2, ... . Номера m N называют моментами

90

обновления метода, или рестарта. Часто полагают N = n − размерности пространства En . Если N =1, то получается частный случай метода сопряженных градиентов − метод наискорейшего спуска.

Вблизи точки минимума дважды дифференцируемая функция с положительно определенной матрицей Гессе H (x ) , как правило, достаточно хорошо

аппроксимируется квадратичной функцией. Поэтому можно надеяться на хороший результат применения метода сопряженных градиентов для функций такого вида.

Пример 5.7. Методом сопряженных градиентов найти точку минимума

91