□ Из свойства дифференцируемости функции и условия теоремы следует, что

Так как функция предполагается дифференцируемой, то в качестве

прекращения итераций можно выбрать условие f (x k ) <ε .

5.3. Метод градиентного спуска

Положим в (5.11) на каждом шаге pk = − f (xk ) . Если f (xk ) ≠ 0 , то условие

( f (xk ), pk ) < 0 , очевидно, выполнено. Следовательно, направление вектора pk

является направлением убывания функции f (x) , причем в малой окрестности точки xk направление pk обеспечивает наискорейшее убывание этой функции.

Поэтому можно найти такое αk > 0 , что будет выполняться условие (5.12).

Алгоритм метода градиентного спуска следующий.

Шаг 1. Задать параметр точности ε >0 , начальный шаг α > 0 , выбрать x En и

x = y , f (x) = f ( y) и перейти к шагу 2, иначе − к шагу 4.

Шаг 4. Положить α =α / 2 и перейти к шагу 3.

79

Необходимо отметить, что вблизи стационарной точки функции f (x) величина

pk = − f (xk ) / f (xk ) , используя вместо антиградиента вектор единичной длины в этом же направлении.

Сформулируем теоретическое обоснование сходимости градиентного метода с

выпукла. Следовательно, точка x существует и единственна. Градиент f (x ) в

этой точке обращается в нуль, поэтому f (xk ) = Axk +b = Axk +b − Ax −b =

A(xk − x ) .

Оценим норму разности

xk − x = xk −1 −α f (xk −1 ) − x = xk −1 − x −α A(xk −1 − x ) = (E −α A)(xk −1 − x ) .

Последняя величина может быть оценена сверху

80

q

1

q(α)

0 1/L α* 2/L 1/l α

Рис. 5.2. Зависимость оценки знаменателя геометрической прогрессии от величины шага α градиентного метода

метода при минимизации выпуклой квадратичной функции. Рассмотрим это на примере квадратичной функции двух переменных.

окружности, поэтому направление антиградиента указывает на их центр, т.е. на точку глобального минимума f (x) .

Если L >> l > 0 , то линиями уровня являются эллипсы, полуоси которых сильно различаются. Поэтому направление антиградиента в некоторой точке может сильно отличаться от направления к точке глобального минимума.

Пример. 5.4. Из начальной точки x0 = (1, 1)T выполнить несколько итераций поиска точки минимума функции f (x) = x12 +100x22 градиентным методом, полагая

α = α .

81

□ Собственные значения матрицы A этой квадратичной функции: l = 2, L = 200 .

что последовательность {xk } сходится к точке глобального экстремума медленно и траектория сходимости имеет ярко выраженный зигзагообразный характер. ■

В курсах линейной алгебры и численных методов для симметрической положительно определенной матрицы вводится число обусловленности, которое равно μ = L / l − отношению наибольшего и наименьшего собственных значений матрицы. В задаче минимизации сильно выпуклой функции f (x) эта величина для матрицы ее вторых производных (гессиана) характеризует степень вытянутости линий уровня f (x) = C . Если μ велико, то линии уровня сильно вытянуты и

говорят, что функция имеет овражный характер, т.е. резко меняется по одним направлениям и слабо − по другим. В этих случаях задачу минимизации называют плохо обусловленной. Если же число μ близко к единице, то линии уровня близки к окружностям и задача минимизации является хорошо обусловленной.

Вычисление градиента на каждом шаге, позволяющее каждый раз двигаться в направлении все более быстрого убывания целевой функции, может в то же время замедлить вычислительный процесс. Дело в том, что подсчет градиента − обычно гораздо более сложная операция, чем подсчет самой функции. Поэтому часто пользуются модификацией градиентного метода, получившей название метода наискорейшего спуска.

Согласно этому методу после вычисления в начальной точке градиента функции делают в направлении антиградиента не маленький шаг, а передвигаются до тех пор, пока функция убывает. Достигнув точки минимума на выбранном направлении, снова вычисляют градиент функции и повторяют описанную

82