Лекция 10

Лекция 10

3.2.2 Сходимость градиентных методов.

Во всех рассмотренных выше градиентных методах рекуррентная последовательность xk сходится к стационарной точке f ( x) при достаточно общих предположениях относительно свойств функции. В частности справедлива следующая теорема.

Теорема: Если f ( x) ограничена снизу, ее градиент удовлетворяет условию Липшица (3.1.10), и выбор значения k производится одним из описанных выше способов, то какова бы ни была начальная точка x0 :

f ( xk ) 0.

k

В предположениях теоремы оценить скорость сходимости градиентного спуска не представляется возможным. Это можно сделать, если на f ( x) накладываются более сильные условия. Например, пусть f ( x) – сильно выпуклая функция – это дважды непрерывно дифференцируемая

M m 0 – некоторые числа.

Теорема: Пусть f ( x) – сильно выпуклая функция, а xk строится по градиентному методу с дроблением шага с выбором шага из условия

(3.2.11) (метод наискорейшего спуска). Тогда xk сходится к точке минимума со скоростью геометрической прогрессии со знаменателем

хорошо обусловлена), то число q мало, следовательно, сходимость методов достаточно высокая. Если же Mm 1, то q близко к 1 и градиентные

методы начинают сходиться плохо. Этот факт хорошо интерпретируется геометрически (рис. 3.2.7) и известен в литературе как эффект оврагов.

Рис. 3.2.7

Поведение градиентного метода при минимизации «овражной» функции: линии уровня f имеют «овражную» структуру и направление

f (M1 ) 215.6;88 2.45;1 ; f (M2 ) 2,0 ;

f (M3 ) 751,250 ( 3,1).

2

Рис. 3.2.8

Движение к минимуму «овражной» функции в градиентном методе носит явно выраженный зигзагообразный характер – «рыскание» метода, что является его существенным недостатком.

На рисунке 3.2.9 изображена «траектория движения» метода наискорейшего спуска в задаче минимизации функции Розенброка. Гладкие кривые – линии уровня функции, отрезки ломаной соответствуют шагам спуска на отдельных итерациях. Шаги определялись одномерным поиском. Алгоритм начал работать с точки ( 1.2;1)T и мог бы надолго «застрять» в

окрестности точки (0.3;0.1)T , если бы не помогла счастливая случайность

– на одной из итераций процедура одномерного поиска неожиданно нашла второй минимум по направлению. После этого было выполнено еще несколько сот итераций, но ощутимого изменения целевой функции это не дало. Счет был прерван после 1000 итераций вдали от искомого решения. Пример умеренно плохо обусловленной функции подтверждает, что существование доказательства формальной сходимости метода и отсутствие его реальной сходимости (за приемлемое число шагов) вполне совместимы.

3

Рис. 3.2.9

Пример 16. Проанализировать работу градиентного метода для функции f ( x) x12 16x22 .

Рис. 3.2.10

Линии уровня сильно вытянуты вдоль оси x1 (рис. 3.2.10). Матрица

минимальное собственное число равно 2, максимальное собственное число равно 32, т.е. сильно различаются между собой. Траектория градиентного метода характеризуется довольно быстрым спуском на «дно» оврага и затем медленным зигзагообразным движением в точку минимума.

4

Другие идеи лежат в основе овражного метода, разработанного

Гельфандом И.М. в начале 60-х годов. Пусть и ~ – две любые близкие

x0 x0

точки. Из них производится обычный градиентный спуск и после нескольких

окрестности «дна» оврага. Соединяя их прямой, делаем «большой овражный шаг» в полученном направлении, перемещаясь вдоль «оврага». В

результате получим точку . В ее окрестности выбираем точку ~ и

x2 x2

повторяем процедуру (рис. 3.2.12). Схемы называются эвристическими, т.к. их сходимость строго не установлена.

Рис. 3.2.12

3.2.4 Метод покоординатного спуска.

В основе метода лежит стремление уменьшить объем вычислительной работы, требуемой для осуществления одной итерации метода наискорейшего спуска.

Пусть x0 x01 , x02 ,...,x0n T

единичный вектор оси x1 . Следующая итерация состоит в вычислении точки

и т.д. Следовательно, спуск идет по ломаной, состоящей из отрезков прямых, параллельных координатным осям (рис. 3.2.13). Спуск по всем n координатам составляет одну «внешнюю» итерацию.

7

Рис. 3.2.13

Пусть k – номер очередной внешней итерации, а s – номер той координаты, по которой производится спуск, тогда рекуррентная формула для следующего приближения к точке минимума вычисляется по формуле

После окончания работы внутренней итерации при s n номер внешней итерации увеличивается k k 1. Если k const , то получим

покоординатный спуск с постоянным шагом. Если k выбирается из

методу Гаусса-Зейделя (координатный аналог метода наискорейшего спуска), частный случай общего релаксационного процесса (3.2.13)

где в матрице Bk все элементы, кроме одного (определяется номером

итерации), стоящего на диагонали, равны нулю.

Заключение: достоинство градиентных методов заключается в простоте реализации и возможности использования для минимизации различных по характеру функций; недостаток – медленная сходимость при плохой

обусловленности f ( x), что соответствует сложной топографической структуре f ( x) («овраги» и «хребты»). Пути преодоления – «исправление»