5. АЛГОРИТМЫ МЕТОДОВ ПЕРВОГО И ВТОРОГО ПОРЯДКОВ

Если ограниченная снизу целевая функция /( ж ) , ж Е Е п , является дифференцируемой на множестве Еп, то алгоритм поиска точки ж* ее минимума можно построить, используя ин­ формацию, по крайней мере, о градиенте этой функции. Более широкие возможности построения таких алгоритмов возника­ ют в случае, когда целевая функция дважды дифференцируема, что позволяет использовать ее матрицу Гессе. В этой главе применительно к минимизации дифференцируемых и дважды дифференцируемых функций рассмотрены алгоритмы м ет о­ дов первого и вт орого порядков соответственно. Общей чертой этих алгоритмов является построение релаксационной посл едо­ ват ельност и { х к} точек х к 6 Мп, получаемых при выполнении каждой к-й итерации, а различие состоит в используемой ин­ формации о целевой функции и ее производных.

5.1. Алгоритмы метода градиентного спуска

Направление спуска в м ет оде градиент ного спуска совпа­

дает с направлением антиградиента минимизируемой целевой функции /(ж), дифференцируемой в Кп, а элементы релакса­ ционной последоват ельност и { х к} строят при помощи рекур­ рентного соотношения вида (4.43)

х к= х к~ 1 + щ иик = х к~ 1 — X fcg ra d /^ -1), Xk > 0 , к Е N,

где w k = —gm df(xk~~1) — антиградиент целевой функции в точке х к~1. При этом говорят, что из точки х кна к-й итерации алгоритма происходит спуск с шагом спуска Xk\wk\. На пер­ вой итерации (k = 1) спуск начинают из выбранной начальной

точки ж0 Различие алгоритмов метода градиентного спуска состоит в способе выбора значения х^.

Сначала рассмотрим способ выбора этого значения, харак­ терный для метода дробления шага и обеспечивающий выпол­ нение на каждой А;-й итерации неравенства

где и Е (0,1), гарантирующего сходимость последовательности {\wk\} к нулю (см. 4.3). Если на к-й итерации не выполнено это неравенство при некотором начальном значении х^ —хо, то процедуру дробления шага проводят в соответствии с фор­ мулой = z/xo, где v Е (0,1) — заданный постоянный коэф­ фициент дробления шага, а г — номер этапа дробления, на котором неравенство (5.1) будет выполнено.

В целом алгоритм с использованием дробления шага можно представить следующим образом. Выбираем начальную точку ж0 и параметр точности поиска е$ > 0 в условии |ги*| < ез

прекращения итераций, а также значения z/и XQ. В неравенстве (5.1) обычно принимают ш = 1/2. Вычисляем значение /(ж 0) целевой функции /(ж) в точке ж0, полагаем k = 1 и переходим к основной части алгоритма.

1. В точке x k~l Е М71, найденной на (к—1)-й итерации (на первой итерации в точке ж0), вычисляем антиградиент wk = = —grad f ( x k~l). При выполнении неравенства |ги*| < £з пре­ кращаем дальнейшие итерации и полагаем ж* « ж*” 1, f{x*) « « f ( x k~l). В противном случае переходим к п. 2.

2. Определяем точку х к = х к~ 1 + xjcwk и значение / ( х к) целевой функции в этой точке. Если неравенство (5.1) (ш = 1/2) выполнено, то полагаем* X ^ = XQ, Л::= А; + 1 и возвращаемся к п. 1 . В противном случае переходим к п. 3.

3. Полагаем х* := ищ и возвращаемся к п. 2.

* Здесь и далее при описании алгоритмов используем символ присва­ ивания :=, который указывает, что значение величины в правой части формулы нужно присвоить величине, записанной слева от него. Например, запись к:= к+ 1 означает увеличение номера итерации на единицу.

Пример 5.1 . При помощи описанного алгоритма найдем решение задачи безусловной минимизации функции f(xi,x%) =

= 6x^ —4 xiX2 + 3x2 + 4y/5(xi + 2 x2 ) + 2 2 (см. пример 3.18). Выбе­ рем начальную точку ®° = (—2, 1), при этом f{x°) = 57. Кроме того, фиксируем £3 = 0,01, щ = 0,1 и v = 0,5. Воспользу­ емся тем, что функция квадратичная и имеет положительно определенную матрицу с собственными значениями Ai = 4 и

ведены результаты вычислений (отметим, что у/Ъ~ 2,2361 с точностью 5 •10-5 ).

Характерной особенностью процесса поиска в данном слу­ чае является то, что на первых итерациях спуск в направлении антиградиента приводит к существенному убыванию значения минимизируемой функции по сравнению с ее значением в на­ чальной точке х°. Затем темп убывания значений функции замедляется. Эта особенность, уже отмеченная ранее (см. 4.3), снижает эффективность используемого алгоритма на заверша­ ющей стадии поиска (для выполнения условия |iofc|< £3 потре­ бовалось 15 итераций). #

Рассмотрим еще один пример реализации описанного ал­ горитма, иллюстрирующий влияние выбранного значения и е G (0,1) коэффициента дробления шага на количество итераций, обеспечивающих достижение заданной точности поиска точки х* минимума целевой функции f(x).

Пример 5.2. Рассмотрим задачу минимизации функции f(x\,X2 ) = (х2 —Х2 )2 + (TI — I)2, выбрав начальную точку х° = = (—1, —2), в которой f(x°) = 13, и параметры £3 = 10_3, хо = 1.

Результаты поиска точки минимума х* = (1 , 1 ) рассматри­ ваемой функции при различных значениях коэффициента дро­ бления шага и Е (0, 1 ) (приближенное значение точки миниму­ ма, значение функции в этой точке и количество итераций N ) приведены в табл. 5.2. Траектории поиска точки минимума в

Отметим, что на практике значение х^ на к-й итерации вы­ бирают так, чтобы выполнялось неравенство f ( x k~l) —f ( x k) > > 0. Это равносильно выполнению неравенства (5.1) при и = 0. На рис. 5.3, г показан именно этот вариант алгоритма гради­ ентного спуска при хо = 1 и v = 0,5. #

Эффективность алгоритма, использующего спуск в напра­ влении антиградиента, можно несколько повысить, если значе­ ние Х£ на каждой к-й итерации выбирать путем минимизации функции

для строго выпуклой функции /(ж) это равносильно проце­ дуре исчерпывающего спуска, но в общем случае значение х, соответствующее наименьшему значению функции ^ ( х ) , не совпадает со значением, получаемым при помощи исчерпываю­ щего спуска (см. замечание 4.2). Отметим, что поиск минимума функции фк{я ) может оказаться довольно трудоемкой самосто­ ятельной задачей, требующей применения методов одномерной минимизации (см. 2), но для сильно выпуклой квадратичной

целевой функции значение х^ определено однозначно формулой (4.55).

Выбор значения х^ как при помощи исчерпывающего спус­ ка, так и методом наискорейшего спуска гарантирует сходи­ мость последовательности {ги^} к нулю (см. замечание 4.3). Поэтому в качестве условия прекращения итераций и при этом варианте выбора значения х^ целесообразно использовать не­ равенство |ги*| < £3.

Опишем алгоритм наискорейшего спуска в случае произ­ вольной дифференцируемой целевой функции /(ж ), х Е К71. Предварительно выберем начальную точку ж0 и параметр точ­ ности поиска £3, положим k = 1 и перейдем к основной части алгоритма.

1 . В точке ж*-1, найденной на (к—1 )-й итерации (в точке ж0 на первой итерации), находим значение f ( x k~l) целевой функ­

ции и ее антиградиент wk = —grad/(ж *-1). При выполнении неравенства \wk\< £3 дальнейшие итерации прекращаем и пола­ гаем х* ж х к~х, /(ж*) ~ f { x k~l). В противном случае переходим к п. 2.

2. Минимизируя функцию фк{К) (5.2), находим значение х^ и точку х к — x k~l + х^ги*, полагаем к := к + 1 и возвращаемся к п. 1 .

Пример 5.3. Применим рассмотренный алгоритм к поиску минимума той же квадратичной функции, что и в примере 5.1, приняв х° = (—2, 1) и £3 = 0,01. Так как эта функция явля­ ется сильно, выпуклой (см. при­ мер 3.18), то значения х^ выби­ раем в соответствии с (4.55). В табл. 5.3 приведены результаты вычислений, а на рис. 5.4 иллю­ стрируется процесс поиска точ­ ки х * = (—л/5, —2\/5) минимума этой функции и выполнение усло­ вия (4.45) ортогональности напра­ влений спуска на двух следующих

друг за другом итерациях.

При том же значении £3 = 0,01

Рис. 5.4

параметра точности для заверше­ ния вычислений в данном примере потребовалось на две итера­ ции меньше, чем в примере 5.1. #

Примеры 5.1 и 5.3 показывают, что алгоритм метода на­ искорейшего спуска в случае квадратичной функции не дает заметного выигрыша по количеству итераций по сравнению с алгоритмом, использующим метод дробления шага. Минимиза­ ция же неквадратичной функции при сопоставимом количестве итераций, необходимых для достижения заданной точности при помощи этих алгоритмов, может потребовать существенно большего общего объема вычислений по методу наискорейшего

спуска вследствие поиска на каждой итерации минимума функ­ ции ipk{x) (5.2). Поэтому необходимое количество итераций еще не является критерием эффективности того или иного ал­ горитма.

5,2. Метод сопряженных направлений

Среди методов первого порядка поиска минимума целе­ вой функции /(ж ), х Е Еп, особое место занимает метод сопряженных направлений, основанный на свойствах век­ торов, сопряженных относительно некоторой квадратной ма­ трицы (см. 4.5). Этот метод по сравнению с методом наиско­ рейшего спуска требует, как правило, заметно меньшего коли­ чества итераций для достижения той же точности поиска при сопоставимом объеме вычислений на каждой итерации. Раз­ личие в способах построения системы сопряженных векторов,

(к = 1 ) итерации направление спуска (в противном случае точ­ ка х° удовлетворяет необходимому условию минимума, а это в случае функции (5.3) равносильно тому, что х° = х* — един­ ственная точка наименьшего значения этой функции). Считая, что \р1\Ф 0, и проводя исчерпывающий спуск, при помощи (4.55) находим значение

и точку х 1 = х° + х\р 1. Таким образом, первая итерация полно­ стью совпадает с итерацией алгоритма наискорейшего спуска.

На второй итерации (к = 2) вычислим антиградиент w2 = = —grad/(aj1) = —Qxl —с в найденной точке х 1. Пусть |ги2|ф О,

= - (Qp1, w2) / (Qp1, р 1) . Убедимся, что |р2|ф 0. В самом деле, при |р2|= 0 имеем w2 = —71Р1 и после умножения скалярно на вектор w2 ф 0п приходим к противоречию:

(ги2, w2) = \w2\ = - 7 1 (ги2, р 1) = (ш2, w l) = 0,

поскольку при исчерпывающем спуске в соответствии с (4.45) антиградиенты на двух следующих друг за другом итерациях ортогональны. Вектор р2 задает направление спуска из точкй ж1, так как с учетом (5.4)

(grad/(®1),p 2) = - (го2, jip 1 + w2) =

= —71 (w2, p 1) —(го2, го2) = —|го2|2 < 0.

с выбором значения х* > 0 на каждой fc-й итерации путем минимизации функции

Фк(к) = /(a3*_1 + xp fc), х > 0 ,

+ wk+1 положить свойство ортогональности антиградиентов (а значит, и градиентов) минимизируемой функции

(ги*+1, wl) = О, г = 1 , fc.

Такой способ построения сопряженных направлений спуска в литературе получил название метода сопряженных гради­ ентов.

Используя последнее уравнение (5.6) при г = /с, третье урав­ нение, а также равенство (4.57), числитель и знаменатель вто­ рого уравнения (5.6) можно представить в виде

Но если и в (4.57) заменить к на к —1 , то получим (wk, рк~^) = = 0. Следовательно,