Загребаев Методы матпрограммирования 2007

направлен по нормали к линии уровня, т.е. перпендикулярно касательной к ней.

Рис. 3.21. Метод наискорейшего спуска

Аналитически это можно показать следующим образом. Обозначим

ϕ(λ) = f (xk − λ f (xk )) .

Поскольку шаг λ выбирается из условия минимума

Найдем ddϕλ по правилу дифференцирования сложной функции;

т.е. исходя из зависимости ϕ[x(λ)] , значение производной определяется соотношением

ddϕλ = ddxϕ ddxλ .

Откуда

= − < f (xk +1 ), f (xk ) >= 0 .

201

Следовательно, направления ортогональны.

Важно отметить, что эпитет наискорейший по отношению к спуску является исторически сложившимся, он не означает, что этот метод обладает способностью осуществлять отыскание минимальной точки за минимальное число шагов или при минимальном объеме вычислений. Существуют более эффективные в этом смысле методы.

2 вариант градиентного метода. На практике нередко доволь-

ствуются выбором шага, обеспечивающего убывание функции в направлении антиградиента ( f (xk +1 ) < f (xk )) , вместо того чтобы

отыскивать минимум функции в данном направлении. Трудоемкость итерации при таком способе выбора шага меньше. При этом скорость сходимости обоих вариантов в конечном счете примерно одинакова.

Опишем способ выбора шага λk на k-й итерации.

1.Выбирается некоторое произвольное значение λ (одно и то же на всех итерациях) и определяется точка x = xk − λ f (xk ) .

2.Вычисляется f (x) = f (xk − λ f (xk )) .

3.Производится проверка неравенства

f (xk ) − f (x) ≥ ελ(< f (xk ), f (xk ) >) ,

1442443

|| f ( x )||2

где 0 < ε <1 – произвольно выбранная константа (одна и та же на всех итерациях).

Возможно использование более простого неравенства:

f(x) < f (xk ) .

4.Если неравенство выполняется, то значение λ и берется в качестве искомого: λk = λ . В противном случае производится дроб-

ление λ (путем умножения λ на произвольное число α <1 ) до тех пор, пока неравенство не окажется справедливым.

Следует отметить, что если выбрать в качестве λ слишком маленький шаг, то процесс будет сходиться очень долго, поэтому время от времени можно пробовать увеличить λ , но так чтобы не нарушить выбранное неравенство.

202

Направления поиска в этом варианте метода уже не будут ортогональны (рис. 3.22).

Рис. 3.22. Градиентный метод (второй вариант)

Можно предложить несколько критериев окончания итерационного процесса:

1) по разности аргументов на последовательных шагах

||x k +1−xk ||≤ ε1 ,

2)по разности значений функции

||f (x k +1) − f (xk ) ||≤ ε2 ,

3)по значению градиента

||f (xk ) ||≤ ε3 .

Вбольшинстве практических случаев невозможно получить явное выражение градиента. В этом случае используются численные методы вычисления производных:

203

Сходимость градиентных методов. Тот факт, что градиентные методы при определенных условиях сходятся, отражается в теореме, которую приведем без доказательства.

Теорема. Если функция f (x) ограничена снизу, ее градиентf (x) удовлетворяет условию Липшица:

|| f (x) − f ( y) ||≤ R || x − y ||

при любых x, y E n , а выбор шага λk производится указанными ранее способами, то для любой начальной точки x0 градиентный метод сходится, т.е. || f (xk ) || → 0 при k → ∞ .

Оценка скорости сходимости проведена при еще более жестких требованиях к функции (выпуклость, гладкость и т.д.). Для достаточно хороших, с точки зрения решения задачи минимизации функций (гладких и выпуклых), градиентные методы сходятся к минимуму со скоростью геометрической прогрессии

|| xk +1 − x* ||≤ q || xk − x* ||, 0 < q <1

(такая скорость сходимости называется линейной).

Величина знаменателя прогрессии q зависит от соотношения наибольшего М и наименьшего m собственных значений матрицы вторых производных f (x) . Достаточно малым знаменатель q будет

лишь в том случае, когда эти собственные числа мало отличаются друг от друга. В этом случае градиентные методы будут сходиться

с высокой скоростью. Чем меньше отношение Mm , тем ближе к

единице знаменатель q и тем медленнее сходятся градиентные методы.

Можно дать геометрическую интерпретацию этого факта

(рис. 3.23).

Когда отношение Mm близко к единице линии уровня функции

f (x) = const близки к окружности. Для таких линий уровня градиентный метод сходится быстро (рис. 3.23, а).

204

Это происходит из-за того, что кривая поиска для таких функций обычно быстро спускается на «дно оврага», а затем начинает медленное перемещение к экстремуму, так как градиент оказывается почти перпендикулярным к оси оврага (рис. 3.24).

Рис. 3.24. Использование градиентного метода в случае функции «овражного» типа

Для ускорения сходимости при поиске минимума «овражной» функции существуют специальные методы – они называются «овражными».

Так для ускорения сходимости градиентных методов используют преобразование системы координат, таким образом чтобы линии уровня функции стали близки к окружностям.

Пример. Рассмотрим функцию f (x) = x12 + 25x22 .

Очевидно, линии уровня данной функции вытянуты вдоль оси x1 .

Если ввести замену переменных: y1 = x1 , y2 = 5x2 , то функция

f ( y) = y12 + y22 будет иметь линии уровня в виде окружностей и, в

результате, градиентный метод сходится за один шаг.

В реальной задаче подобрать нужные преобразования, как правило, оказывается достаточно сложно.

Блок-схема градиентного метода (2-й вариант) изображена на рис. 3.25.

206

Как видим, условие точности решения задачи выполнено; окончательно имеем:

что, с заданной степенью точности совпадает истинным решением задачи.

209

3.3.2.2. Метод сопряженных градиентов

Метод сопряженных градиентов является частным случаем метода сопряженных направлений.

Вновь предположим, что f (x) – квадратичная функция вида:

f (x) = a + x тb + 12 x тQx ,

где Q – положительно определенная матрица, которая в данном

случае совпадает с матрицей Гессе.

В том случае, если f (x) не является квадратичной, то Q также

будет обозначать матрицу вторых производных – матрицу Гессе. При этом матрица Гессе будет изменяться при получении каждой новой точки. Для того, чтобы метод был применимым, необходимо, чтобы матицы Гессе неквадратичных функций менялись не очень быстро.

Существуют различные варианты метода сопряженных градиентов. Одним из них является метод Флетчера – Ривса.

Вместо того чтобы использовать антиградиент в качестве направления спуска, метод сопряженных градиентов преобразует антиградиент в направление Sk , которое является Q -сопряженным с

0 =< Sk ,QSk −1 >= − < f (xk ),QSk −1 > +βk −1 < Sk −1,QSk −1 >.

210