11. Градиентный метод. Метод с дроблением шага.
В
этом варианте градиентного метода
величина шага
на каждой итерации выбирается из условия
выполнения неравенства
(2)
где
-
некоторая заранее выбранная константа.
Процедуру
нахождения такого
обычно оформляют так. Выбирается число
и некоторый начальный шаг
.
Теперь для каждого k
полагают
и делают шаг градиентного метода. Если
с таким
условие (2) выполняется, то переходят к
следующему k.
Если же (2) не выполняется, то умножают
на
("дробят шаг") и повторяют эту
процедуру до тех пор пока неравенство
(2) не будет выполняться. В условиях
теоремы 1 эта процедура для каждого k
за конечное число шагов приводит к
нужному
.
Можно
показать, что в условиях теоремы 2
градиентный метод с дроблением шага
линейно сходится. Описанный алгоритм
избавляет нас от проблемы выбора
на каждом шаге, заменяя ее на проблему
выбора параметров
и
,
к которым градиентный метод менее
чувствителен. При этом, разумеется,
объем вычислений возрастает (в связи с
необходимостью процедуры дробления
шага), впрочем, не очень сильно, поскольку
в большинстве задач основные вычислительные
затраты ложатся на вычисление градиента.
12. Градиентный метод. Метод наискорейшего спуска.
Этот
вариант градиентного метода основывается
на выборе шага из следующего соображения.
Из точки x[k]
будем двигаться в направлении
антиградиента до тех пор пока не достигнем
минимума функции f на этом направлении,
т. е. на луче
:
Другими словами, выбирается так, чтобы следующая итерация была точкой минимума функции f на луче L (см. рис. 3). Такой вариант градиентного метода называется методом наискорейшего спуска. Заметим, кстати, что в этом методе направления соседних шагов ортогональны.
Рис.3 Геометрическая интерпретация метода наискорейшего спуска. На каждом шаге выбирается так, чтобы следующая итерация была точкой минимума функции f на луче L.
Метод наискорейшего спуска требует решения на каждом шаге задачи одномерной оптимизации. Практика показывает, что этот метод часто требует меньшего числа операций, чем градиентный метод с постоянным шагом.
В общей ситуации, тем не менее, теоретическая скорость сходимости метода наискорейшего спуска не выше скорости сходимости градиентного метода с постоянным (оптимальным) шагом.
13. Метод Ньютона
Перейдем к изложению метода второго порядка, использующего вторые частные производные минимизируемой функции f(x) . Рассматриваемый далее метод является прямым обобщением метода Ньютона для отыскания решения системы уравнений ɸ(x)=0, где ɸ:Rn→Rn . Возьмем линейную аппроксимацию функции ɸ(x) в окрестности точки xk и перепишем векторное уравнение в следующем виде:
Отбрасывая последний член в этом разложении, получим линейную систему уравнений относительно нового приближения xk+1 . Таким образом, метод Ньютона для отыскания решения системы уравнений описывается следующей формулой:
Пусть функция ɸ(x) является градиентом некоторой функции f(x) . Формула метода Ньютона для решения уравнения f’(x)=0 выглядит так:
В этом случае метод Ньютона можно интерпретировать как поиск точки минимума квадратичной аппроксимации функции f(x) в окрестности точки xk.
Пусть последовательность {xk}kεN получена с помощью метода Ньютона и точка x* – глобальный минимум функции f . Следующая теорема дает условия квадратичной скорости сходимости метода.
Теорема 4. Пусть дважды непрерывно дифференцируемая функция f сильно выпукла с константой l > 0 , вторая производная удовлетворяет условию Липшица
и
Тогда xk→x*
при k→∞,
и метод Ньютона имеет квадратичную
скорость сходимости
