Шпоры по вычмату / 26

Метод сопряженных градиентов

Этот метод можно рассматривать как усовершенствование метода градиента для эффективного поиска минимума овражных функций. Отметим, что в разделе 14.4 переход от метода покоординатного спуска к методу Розенброка также обеспечивал поиск минимума для овражных функций.

Название метода основано на математическом понятии сопряженности двух векторов , относительно матрицы : 

,

Можно показать, что для многомерной квадратичной функции во многих случаях наилучшим направлением поиска является направление, сопряженное с предыдущим направлением поиска.

В методе градиента на текущем шаге все вычисления повторялись независимо от предыдущих шагов, т.е. значение градиента в точке не использовалось при вычислении нового шага из точки в следующую. В методе сопряженных градиентов при определении текущего шага из точки учитываются два градиента - в точке этого шага и в точке x предшествующего шага, см. рис.15.4.

Рис.15.4. Вычисление текущего шага в методе сопряженных градиентов.

Формула для вычисления нового шага имеет вид:

.

(15.4)

Скалярный коэффициент определяет только длину шага и вычисляется с помощью одномерного поиска в направлении , т.е.  - это направление одномерного поиска, а - это шаг в новую точку, показанный на рис.15.4. Вместо модулей векторов и можно использовать их норму.

Для определения минимума в этом методе требуется примерно шагов, где - количество аргументов в целевой функции. Это значительно меньше, чем в методе Розенброка, но сами шаги (итерации) существенно сложнее. Заметим, что использование на текущем шаге результатов вычислений с предшествующего шага аналогично учету предшествующих шагов в многошаговых методах решения ОДУ.