2.10. Метод наискорейшего спуска.

Этот вариант градиентного метода основывается на выборе шага из следующего соображения. Из точки xⁿ будем двигаться в направлении антиградиента до тех пор пока не достигнем минимума функции f на этом направлении, т. е. на луче L = {x  R^m: x = xⁿ  f (xⁿ);   0}:

n = argmin[0, )f(xn  f (xn)).

(12)

Рис. 9.

Другими словами, ⁿ выбирается так, чтобы следующая итерация была точкой минимума функции f на луче L (см. рис. 9). Такой вариант градиентного метода называется методом наискорейшего спуска. Заметим, кстати, что в этом методе направления соседних шагов ортогональны. В самом деле, поскольку функция:   f(xⁿ  f (xⁿ)) достигает минимума при  = ⁿ, точка ⁿ является стационарной точкой функции :

0 = (n) =  d d f(xn  f (xn))   =n =

= (f (xn  nf (xn)), f (xn)) = (f (xn+1), f (xn)).

Метод наискорейшего спуска требует решения на каждом шаге задачи одномерной оптимизации (12). Такие задачи будут обсуждаться ниже. Практика показывает, что этот метод часто требует меньшего числа операций, чем градиентный метод с постоянным шагом.

В общей ситуации, тем не менее, теоретическая скорость сходимости метода наискорейшего спуска не выше скорости сходимости градиентного метода с постоянным (оптимальным) шагом.

3. Метод ньютона

3.1. Эвристические соображения, приводящие к методу Ньютона безусловной оптимизации.

Если исходить из того, что необходимым этапом нахождения решения задачи

f(x)  min,

(1)

где f: R^m  R, является этап нахождения стационарных точек, т. е.точек, удовлетворяющих уравнению

F(x) = f (x) = Q,

(2)

(обозначение F для f  мы будем сохранять на протяжении всего параграфа), то можно попытаться решать уравнение (2) известным методом Ньютона решения нелинейных уравнений

xn+1 = xn  [F (xn)]1F(xn).

(3)

Для задачи (1) этот метод называется методом Ньютона безусловной оптимизации и задается формулой

xn+1 = xn  [f (xn)]1f (xn).

(4)

Формула (3) может быть выведена, исходя из следующих соображений. Пусть xⁿ — некоторое приближенное решение уравнения (2). Тогда если заменить функцию F в уравнении (2) ее линейным приближением

F(x)  (x) = F(xn) + F (xn)(x  xn)

и взять в качестве следующего приближения решение уравнения

(x) = ,

(5)

то мы получим формулу (3).

Применительно к задаче (1) эти соображения выглядят так. Пусть так же, как и в п. 3.2 у нас уже есть некоторое приближенное решение xⁿ задачи (1). Заменим в ней функцию f ее приближением второго порядка:

f(x)  (x) = f(xn) + (f (xn), x  xn) +  1 2 (f (xn)(x  xn), x  xn)

и в качестве следующего приближения возьмем решение задачи

(x)  min.

(6)

Геометрическая интерпретация формул (3) и (4) приведена на рис. 10а и 10б.

Рис. 10.

Метод Ньютона относится к методам второго порядка, поскольку для вычисления каждой итерации требуется знание второй производной функции f. По тем же соображениям градиентный метод относят к методам первого порядка. Подчеркнем, что здесь речь идет не о порядке сходимости метода, а о порядке используемых методом производных минимизируемой функции.