Zhadan_lektsii_6_semestr

зационный метод Ньютона является локальным.Он одинаково хорошо находит как точки минимума функции f (x),так и точки ее максимума.Но с другой стороны, учет типа экстремальности задачи(ищется ли минимум функции или ее максимум), позволяет проводить проводить регулировку шага и делать его глобально сходящимся.

Метод Ньютона является быстросходящимся.Высокая скорость сходимости достигается за счет того,что он относится к классу методов второго порядка.В нем используются вторые производные минимизируемой функции,поэтому каждая его итерации существенно более трудоемкая по сравнению с градиентным методом.Уменьшить вычислительные затраты при сохранении высокой скорости сходимости позволяют так называемые квазиньютоновские методы,в которых не вычисляются матрицы вторых производных,а строятся их аппроксимации с использованием лишь первых производных.

Метод Ньютона для минимизации выпуклых функций.Пусть требует-

ся решить задачу(18),в которой функция f (x) является строго выпуклой дважды дифференцируемой функцией на Rn.Тогда в силу критерия16строгой выпуклости дважды дифференцируемых функций матрица fxx(x) всюду положительно опреде-

Равенство(35)является одновременно и достаточным условием.

Метод Ньютона с постоянным шагом Рассмотрим простейший вариант метода Ньютона для решения задачи(18).В нем строим последовательность точек {xk}, при этом начальную точку x0 задаем,а последующие точки определяем,исходя из следующих соображений.Пусть известно приближение xk.Чтобы найти последующую точку xk+1, разлагаем функцию f (x) в ряд Тейлора в окрестности точки xk вплоть до членов второго порядка малости:

Так как, fxx(xk) > 0, то квадратичная функция φ(x) является сильно выпуклой и следовательно решение задачи(36)существует и единственно.Необходимое и доста-

21

точное условие для задачи(36)имеет вид:

φx(x) = fx(xk) + fxx(xk)(x − xk) = 0n.

Отсюда,решая эту линейную систему относительно x, получаем

x = x¯k = xk − fxx−1(xk)fx(xk).

Точку x¯k и берем в качестве последующего приближения xk+1.

Метод Ньютона формально можно записать в виде рекуррентной схемы(19),если положить

sk = x¯k − xk = −fxx−1(xk)fx(xk)

и αk = 1. Тогда приходим к следующему рекуррентному соотношению :xk+1 = xk +sk

Данный итеративный процесс есть не что иное,как классический метод Ньютона для решения системы уравнений(35).Одновременно он является и методом спуска для решения задачи безусловной минимизации(18),в которой целевая функция обладает строгой выпуклостью.Действительно,так как матрица fxx(xk) положительно определена,то и обратная матрица fxx−1(xk) также положительно определена. Поэтому

fx(xk), sk = − fx(xk), fxx−1(xk)fx(xk) < 0,

если только fx(xk) = 0n.

Покажем,что при определенных дополнительных условиях метод Ньютона с постоянным шагом обладает сверхлинейной скоростью сходимости.Наложим на функцию f(x) дополнительное требование,а именно,будем считать,что для любых s Rn

22

Если теперь взять x = xk, s = x − xk, то , поскольку

fx(xk + s) = fx(x ) = 0n,

получаем на основании(40)

1

−fx(xk) + fxx(xk)(xk − x ) = [fxx (xk + τ (x − xk)) − fxx(x)] (x − xk)dτ.

0

После подстановки данного равенства в(39)приходим к

1

xk+1 − x = fxx−1(xk) [fxx(xk + τ (x − xk) − fxx(xk)] (x − xk)dτ.

0

Покажем,что,если точка xk достаточно близка к точке x , то константа Ck в оценке(42)меньше единицы.Более того,она стремиться к нулю при xk → x .Действительно,все точки

следовательность {xk} попадает в окрестность ∆ε(x ) решения задачи x , то и все последующие точки этой последовательности не только остаются в этой окрестности, но и сходятся к x .Соответствующие константы Ck при этом стремятся к нулю.Мы приходим к выводу,что если начальное приближение x0 взято достаточно близко

23

Если наложить на функцию f(x) дополнительное требование,что ее вторая про-

то получаем,что в этом случае метод Ньютона обладает более сильной квадратичной скоростью сходимости.Действительно,тогда на основании(41)и(43)оценка(42) может быть уточнена:

что xk+1 − x < xk − x .

Суммируя все вышесказанное,приходим к следующему утверждению относительно классического метода Ньютона с постоянным шагом для решения задачи(18).

Теорема3. Пусть f(x) строго выпуклая дважды дифференцируемая на Rn функция,для второй производной которой выполняются неравенства(33).Тогда метод Ньютона с постоянным шагом локально сходится к решению этой задачи

точке x со сверхлинейной скоростью . Если , кроме того , для вторых произ - водных выполнено условие Липшица(43),то данный метод локально сходится к x

с квадратичной скоростью .

Рассмотрим теперь метод Ньютона с переменным шагом.Одним из главных недостатков метода Ньютона с постоянным шагом является его локальность.В самом деле,применяемый даже для минимизации выпуклых функций,он не всегда может найти решение задачи.Приведем пример,поясняющий эту расходимость метода.

Рассмотрим дважды непрерывно дифференцируемую функцию

что если применить метод Ньютона с постоянным шагом(равные единице),то он сходится лишь в том случае,когда начальное приближение взято достаточно близко к решению , а именно |,x0| < x¯, где x¯ 1.392.

24

Чтобы расширить область сходимости метода Ньютона,применяют его вариант с переменным шагом(его также часто называют демпфированным методом Ньютона).В нем итеративный процесс вместо(37)описывается следующим рекуррентным соотношением

т.е.водится шаг αk.Предположим,что переменный шаг αk выбирается по правилу Армихо(23),причем начальный шаг α¯ берется равным единице,а параметр ε удовлетворяет неравенствам: 0 < ε < 1/2. Тогда на каждой k-й итерации выполняется неравенство:

25

Поскольку по предположению ε (0, 0.5), константа в правой части (47) положи - тельна.

Неравенство(47)будет выполняться,если точка xk близка к решению задачи(18)точке x .Это следует из локальной сходимости со метода Ньютона с постоянным шагом αk = 1.Действительно,тогда можно указать достаточно малую окрестность ∆(x ) точки x , что при xk ∆(x ) все последующие точки также остаются в этой окрестности.Как следует из(16),при этом выполняются неравенства xk+1 − x ≤

т.е.имеет место неравенство(16)при δ = −m.Но тогда шаг αk определяется за конечное количество дроблений начального шага,причем это количество не превосходит одно и то же число равномерно независимо от точек xk. Все шаги αk оказываются ограниченными снизу некоторым шагом αmin > 0.Последовательность точек {xk} принадлежит компактному множеству

X = {x Rn : f(x) ≤ f(x0)}.

Последовательность {f(xk)} является монотонно убывающей.Так как функция f(x) ограничена снизу на X, то согласно (45) последовательность { fx(xk), fxx−1f(xk) должна стремиться к нулю.В силу левого неравенства(16)это возможно только тогда,когда fx(xk) → 0.Для сильно выпуклой функции это возможно только в том случае,когда xk → x , где x решение задачи (18). Таким образом , точкаxk на некоторой итерации обязательно попадет в нужную окрестность ∆ε(x ).После этого метод ведет себя как классический метод Ньютона с постоянным шагом αk = 1 и для него справедливы все полученные ранее оценки относительно скорости сходимости.

Теорема4. Пусть f(x) дважды непрерывно дифференцируемая функция , удо - влетворяющая условию(33).Тогда метод Ньютона(44)с регулировкой шага сходится из любой начальной точки к единственной точке минимума функции f(x) на Rn со сверхлинейной скоростью.Если,кроме того,выполнено условие Липшица (43)для вторых производных,то скорость сходимости квадратичная.

Утверждение теоремы полностью сохранится,если в методе(44)выбирать шаг не по правилу Армихо,а по правилу наискорейшего спуска,т.е.на каждой итерации решать вспомогательную задачу минимизации

αk = arg min f(xk + αsk).

α≥0

26

В общем случае , когда функцияf (x) не является сильно выпуклой,регулировка шага позволяет значительно расширить область сходимости метода Ньютона.Особенно это важно при отыскании локальных решений задачи(18).

Как уже не раз отмечалось,метод Ньютона обладает высокой скоростью сходимости.Минимум квадратичной выпуклой функции

f (x) = 12 x, Ax + b, x + c,

где A симметричная положительно определенная матрица , он даже находит за одну итерацию из любой начальной точки x0 Rn.К недостаткам метода Ньютона следует отнести необходимость знать матрицу вторых производных fxx(xk) на каждой итерации,хотя для нахождения направления sk нет необходимости ее обращать. Обычно sk определяют путем решения линейной системы уравнений fxx(xk)sk =

−fx(xk).

где A симметричная положительно определенная матрица.Данная функция является сильно выпуклой на Rn, поэтому всегда существует ее единственная точка минимума x на Rn и в этой точке выполняется условие оптимальности fx(x ) = Ax + b = 0n. Отсюда получаем , чтоx = −A−1b.

Пусть имеется произвольная точка x0 Rn и пусть , кроме того , вRn выделен набор из n линейно независимых векторов s1, . . . , sn. Тогда точку x можно представить в виде

где ai, 1 ≤ i ≤ n некоторые коэффициенты.

Обозначим через a n-мерный вектор с компонентами a1, . . . , an, через S квадратную матрицу порядка n, столбцами которой являются векторы s1, . . . , sn. Тогда разложение(49)перепишется в виде

Если(50)подставить в условие fx(x ) = 0n, то приходим к равенству A(x0 +Sa) = −b или

ASa = −Ax0 − b = −fx(x0).

27

Умножим обе части этого равенства на матрицу ST . Тогда

ST ASa = −ST fx(x0).

Так как обе матрицы S и A неособые,то и симметричная матрица ST AS также является неособой,поэтому существует ее обратная матрица и

a = − ST AS −1 ST fx(x0).

Подставляя данное a в (49), получаем

x = x0 − S ST AS −1 ST fx(x0).

В дальнейшем нам понадобится следующее важное понятие .

Определение9. Векторы s1, . . . , sk называются сопряженными относительно матрицы A или просто A-сопряженными,если они ненулевые и

si, Asj = 0, 1 ≤ i, j ≤ k, i = j.

Непосредственно из определения следует следующее

Утверждение5. Пусть векторы s1, . . . , sk сопряжены относительно положительно определенной матрицы A. Тогда они линейно независимы .

Доказательство. Предположим противное,что векторы s1, . . . , sk линейно зави-

симы.Тогда можно указать такой вектор si , что si = j=i αjsj, где не все αj равны нулю.В этом случае

Отсюда,поскольку матрица A положительно определена,получаем,что si = 0n.Мы пришли к противоречию.

Пусть теперь взятый нами набор s1, . . . , sn является набором из n сопряженных

относительно матрицы A векторов.Такую совокупность векторов принято называть A-сопряженной системой.Для нее соответствующая матрица ST AS имеет диагональный вид

где di = si, Asi > 0, 1 ≤ i ≤ n. Обратная матрица (ST AS)−1 также будет иметь диагональный вид и мы получаем,что коэффициенты ai равняются следующим величинам:

28

Поясним смысл коэффициентов ai в случае A-сопряженной системы векторов s1, . . . , sn. Введем в рассмотрение точки

i

xi = xi−1 + aisi = x0 + ajsj,

j=1

где i = 1, 2, . . . , n.Если обратиться к задаче

Приведенные выше рассуждения позволяют проинтерпретировать процесс построения точек x1, . . ., xn с несколько иной точки зрения . А именно , пусть задана начальная точка x0.Берем произвольные направления s1, . . ., sn,которые образуют A-сопряженную систему.Последовательно вычисляем точки x1, . . ., xn, полагая :

где k = 1, 2, . . . , n. Так как коэффициент αk получается из условия минимизации функции f (xk−1 + αsk) по α (он может быть как положительным,так и отрицательным),то на каждом из n шагов процесса(53)получаем

29

Как мы видели,такой процесс для любого x0 Rn позволяет найти минимум функции f(x) за не более,чем n шагов.Если на некотором k-м шаге оказывается fx(xk) = 0n,то расчеты заканчиваются,так как найдено решение задачи минимизации выпуклой функции(48).

Обратим внимание на еще одно свойство процесса(16).Обозначим через Lk k- мерное линейное подпространство,порожденное векторами s1, . . . , sk, а через Xk сдвиг этого подпространства на вектор x0, т . еX.k = x0 + Lk.

Упражнение.Покажите,что для любого 1 ≤ k ≤ n точка xk доставляет минимум функции f(x) на линейном многообразии Xk.

Описанная процедура является общей схемой так называемых методов сопряженных направлений.Существует целое семейство таких методов,отличающихся друг от друга конкретным способом выбора направлений s1, . . ., sn.

Рассмотрим метод сопряженных градиентов,который является одним из наиболее эффективных среди методов сопряженных направлений.Данный вариант метода носит название метода Хестенса-Штифена.В нем вычисления проводятся согласно общей схеме(16),т.е.начальная точка x0 задается,а последующие точки определяются по формулам:

а числа βk−1 выбираются из условия A-сопряженности двух"соседних"направлений

Сформулируем теперь алгоритм метода сопряженных градиентов для минимизации выпуклых квадратичных функций.

Алгоритм. Берем произвольное x0 Rn и полагаем k = 1.

30