где хо — наибольшее из значений параметра щ (со значения хо на каждой к-й итерации начинают при необходимости дро­ бление шага спуска). В результате имеем

Тогда для любого т > к получим

По условию теоремы последовательность {ж771} сходится к точ­ ке х *. Поэтому из последнего неравенства, обозначая С =

Отметим, что условию (4.46) удовлетворяет, в частнос­ ти, сильно выпуклая дифференцируемая функция (см. теоре­ му 3.18). Кроме того, этому условию удовлетворяет любая квадратичная функция с положительно определенной матри­ цей, поскольку она также является сильно выпуклой функци­ ей (см. пример 3.13).

4.4.Минимизация квадратичной функции

Втеории численных методов многомерной оптимизации большое внимание уделено поиску минимума квадратичных функций. Применение численных методов к решению задачи оптимизации, в которой целевая функция является квадратич­ ной, представляет интерес по нескольким причинам.

Во-первых, эта задача имеет решение в аналитическом ви­ де (см. 3.6), которое можно использовать в качестве этало­ на при оценке погрешности численного метода и при сравне­ нии различных методов между собой. Во-вторых, квадратич­ ная функция служит своеобразным испытательным полигоном,

на котором можно проверить работоспособность численного метода (если метод малопригоден для минимизации квадратич­ ной функции, то, скорее всего, он будет неработоспособен, ко­ гда целевая функция является более сложной). Наконец, при представлении в окрестности некоторой точки произвольной дважды дифференцируемой функции формулой Тейлора мож­ но ограничиться членами второго порядка, т.е. аппроксимиро­ вать эту функцию квадратичной. Тогда задачу минимизации исходной функции удается свести к последовательности задач для аппроксимирующих квадратичных функций. Такой подход особенно эффективен применительно к функциям, имеющим в окрестности искомой точки минимума положительно опреде­ ленную матрицу Гессе и поэтому достаточно хорошо аппрокси­ мируемым сильно выпуклой квадратичной функцией. Некото­ рые алгоритмы, разработанные с учетом свойств квадратич­ ных функций, позволяют найти точку минимума за конечное число итераций.

Особое место в теории многомерной оптимизации занима­ ют задачи безусловной минимизации выпуклых квадратичных функций двух переменных, или двумерные задачи безуслов­ ной минимизации. Изучение идей конструирования вычисли­ тельных алгоритмов на примере решения задач двумерной минимизации позволяет наглядно, с помощью геометрических построений на плоскости, представить отличительные черты каждого метода, выявить их вычислительные свойства, обсу­ дить достоинства и недостатки, а также на основе результатов вычислительного эксперимента получить представление о срав­ нительных характеристиках различных методов.

В общем случае квадратичная целевая функция имеет вид (см. 1.5)

где Q — симметрическая матрица порядка n, а с G Rn — задан­ ный вектор. Пусть Q — положительно определенная матрица,

Вернемся к случаю поиска минимума квадратичной функ­ ции f(x ) = ^ (Qx, х) с произвольным выбором начальной точки и используем вариант метода градиентного спуска с посто­ янным значением х^ = х —const на всех итерациях. Тогда в соответствии с (4.40) на к-й итерации получим

х к = х к~1 + HWk = х к~1- xgradЯ ® *"1) =

= x k~l — xQ xk~l = (In —xQ )xk~1, к е N. (4.51)

Последовательность {хк} будет сходиться к точке х* = 0, ес­ ли линейный оператор у — (In —xQ)x является сжимающим от ображ ением, для чего достаточно выполнения неравенства ||7П—xQ II = q{x) < 1- Это условие зависит от выбора нормы ли­ нейного оператора (нормы матрицы). В Шп часто используют спектральную норму матрицы. Для этой нормы имеем [IV]

\\In-xQ\\ = m ax{|l-xAi|, |1 - х А п|} = д (х),

где Ai, Хп — наименьшее и наибольшее собственные значения матрицы Q соответственно.

Таким образом, при выборе значения х нужно обеспечить одновременное выполнение неравенств 11 —xAi |< 1 и 11 — хАп|< < 1 . Если выбрать х Е (0, 2/Ап) в соответствии со вторым не­ равенством, то первое неравенство также будет выполнено, поскольку 0 < Ai ^ Ап. Для сжимающего отображения верна оценка \xk - х*\ ^ qk\x° - х*\ [I].

Поэтому для уменьшения количе­ ства итераций, обеспечивающих

ческой прогрессии был наимень­ шим. На рис. 4.7 показаны за­ висимости 11 —xA i|, |1 —хАп| и q(x) от х при Ai < Хп. Ясно, что наименьшее значение д(х) соот-

где c(Q) —An/Ai — число обусловленности матрицы Q. Для единичной матрицы 1п все собственные значения одинаковы и равны единице, так что c(In) = 1 и д* = 0. Это говорит о том, что, как уже было отмечено, точка х* достигается за одну итерацию при любом выборе начальной точки х°. Если же Q плохо обусловлена, т.е. c(Q) » 1 , то значение q* мало отличается от единицы и поэтому последовательность {ж^} сходится медленно.

нельзя улучшить. Для этого достаточно привести пример, в ко­ тором эта оценка окажется точной. Положим ж0 = х* + у 1 + уп, где у 1 и уп — единичные собственные векторы матрицы Q, отвечающие собственным значениям Ai и Ап. Тогда с учетом (4.51) имеем х к—х* = (In — xQ )(xk~l —ж*), откуда, используя свойства собственных векторов [IV], получаем

х к- х * = (In - xQ)k(x° - X * ) = (ln - *Q) V + уп) =

= (1 — x\i)ky l + (1 —яХп)ку п

Следовательно,

поскольку с учетом ортонормированности собственных векто­ ров |х° — х *|2 = ly1 + у п|2 = 2. Правая часть соотношения (4.54)

при х = х* = ------г— принимает значение qlk\x° —ж*|2, что при-

A i + Ап

водит к точному равенству в (4.53).

На рис. 4.8 приведена графическая иллюстрация процесса сходимости метода градиентного спуска в плоскости к точ­ ке минимума х* = 0 для квадратичной функции f(x ) = х\ + + 10#2 ПРИ использовании (4.51) и различных значениях х: на рис. 4.8, а х = 0,01, на рис. 4.8, б х = 0,09.

Отметим, что собственные значения для соответствующей квадратичной формы (Qcc, х) = х\ + равны Ai = 2 и Л2 = 20. Поэтому условием сходимости метода градиентного спуска с постоянным значением х = const является выбор х G (0, 2/А2) = = (0, 0,1). Если х ^ 0,1, то последовательность {х к} не является релаксационной. При использовании (4.51) это приводит к расходимости метода или к его пзацикливанию “. На рис. 4.9 представлена графическая иллюстрация этих ситуаций: a — „зацикливание“ при х = 0,10 и б — расходимость при х = 0,1 1 .

Для пояснения полученных результатов подробнее рассмо­ трим первые три итерации, выполненные в соответствии с (4.51) и с выбором начальной точки х° = (1, 2):

” 1 = - ( 4o) ’ * , = x 0 + *U’I =(2 - 4te) ;

Отсюда при х = 0,10 получаем

т.е. для А: = 1 , 2, 3 имеем la^l = 2 — эффект „ зацикливания“ метода. При х = 0,11 находим

и

f i x 1) = 56,479 < f{x 2) = 78,404 < f i x 3) = 109,213,

что свидетельствует о тенденции к расходимости метода. На­ конец, при х = 0,09 имеем

и

f i x 1) = 27,446 > fix 2) = 18,373 > f i x 3) = 12,299,

т.е. можно ожидать, что последовательность {®fe} является релаксационной, а метод градиентного спуска сходится.