21.6 Градиентные методы.

Градиентные методы представляют собой одну из наиболее распространенных групп методов поиска безусловного экстремума. Все они используют значения градиента функции . Итак, они принадлежат к методам первого порядка.

Пусть требуется найти

Обозначим вектор-градиент функции в точке через :

Пусть поиск экстремума начинается с некоторой произвольной точки . Тогда движение представляющей точки по градиентному методу описывается следующимим рекуррентным соотношением:

где - величина шага на к-й итерации.

В различных вариантах градиентного метода используются различные способы выбора скаляра . Этот выбор может, в частности, зависеть и от степени близости к точке минимума .

В том случае, если величина шага определяется из условия

где

то соответствующий метод носит название метода наискорейшего спуска (он предложен О.Коши).

Согласно этому методу, в качестве нового приближения выбирается такая точка, расположенная в направлении , в которой функция принимает минимальное значение. Затем определяется новое значение градиента в точке , и процедура повторяется вновь. Метод наискорейшего спуска часто называют полношаговым методом.

Заметим, что метод наискорейшего спуска в общем случае не обладает какими-то оптимальными свойствами, например, способностью отыскивать оптимальное решение за минимальное число шагов или при минимальном объеме вычислений. Это можно проиллюстрировать на примере минимизации квадратичной функции:

минимизировать

где матрица - положительно определенная. В этом случае для всех и и, следовательно, достигает минимума при .

Так как

то в соответствии с методом наискорейшего спуска нужно найти

Возьмем производную в данном выражении по и получим оптимальную величину шага:

Если обратиться к геометрической интерпретации (рис. 21.5), то станет ясно, что луч , исходящий из точки х в направлении , не проходит через точку минимума . Следовательно, за один шаг точки нельзя достигнуть , если только точка не оказывается лежащей на одной из полуосей эллипса, задаваемого функцией . Если же вести поиск по направлению , то искомой точки можно достигнуть за один шаг при , так как

Рис. 21.5.

.

Рис. 21.6.

Таким образом, в данном случае метод наискорейшего спуска оказывается хуже, чем метод, согласно которому поиск производится в направлении . При использовании метода наискорейшего спуска траектория приближения к точке будет зигзагообразной.

Введем вектор . Тогда вектор-градиент ортогонален к вектору , поскольку был выбран путем минимизации . Таким образом, последовательность точек , вырабатываемых методом наискорейшего спуска, зигзагообразно приближается к точке (рис.21.6). Заметим, что вектор на рис.6.2 параллелен , вектор параллелен и т.д.