Zhadan_lektsii_6_semestr

справедливая при i → ∞.

Опишем первые две итерации метода Фибоначчи для минимизации унимодальных функций.Для простоты будем считать,что отрезок [a, b] совпадает с единичным отрезком [0, 1].Это никоим образом не ограничивает общности рассуждений,так как всегда от произвольного отрезка [a, b] можно перейти к единичному отрезку [0, 1], сделав замену переменных x = a + y(b − a), где y [0, 1].

Предположим,что задано целое число N ,связанное с тем количеством вычислений значений целевой функции f (x),которое хотим провести.На начальной итерации

которые расположены симметрично относительно середины отрезка [a1, b1] (единичного отрезка).Вычисляем значения целевой функции f (y1) и f (z1). Возможны два случая:

11

Точки y2 и z2 снова расположены симметрично относительно середины отрезка [a2, b2]. Далее переходим ко второй итерации,которая делается полностью аналогично первой.После выполнения второй итерации получаем отрезок локализации решения

[a3, b3] с длиной

∆3 = FN−2 ∆1 < ∆2.

FN

Последующие итерации также проводятся подобным образом.На k-м шаге мы получаем отрезок локализации с длиной

∆k+1 = FN−k ∆1,

FN

Соответственно,на последней (N − 1)-й итерации имеем

∆N = F1 ∆1 = 1

FN FN

или,если вернуться к старым переменным,

1

∆N = FN (b − a).

Процесс на этом заканчивается.Меньшая и большая точки yN и zN при этом"схлопываются"в одну точку,совпадающую с серединой отрезка [aN−1, bN−1].Эту точку и целесообразно брать в качестве приближенного решения задачи (4), т . е . точкиxN . Для расстояния от точки xN до точного решения x справедлива оценка

Однако решение x может оказаться как слева от точки xN , так и справа от нее .

12

Поэтому отрезок локализации решения имеет удвоенную длину,т.е.

2

x [aN−1, bN−1], bN−1 − aN−1 = FN (b − a).

Чтобы определить в какой из половин отрезка [aN−1, bN−1] находится точка x и тем самым уменьшить длину отрезка локализации решения,следует провести дополнительное вычисление значения функции в какой либо близлежащей к xN точке(справа или слева).

Неравенство(17)позволяет определить то число требуемых вычислений значений функций f(x) и,стало быть,число итераций методом Фибоначчи,которое позволяло бы добиться заданной точности ε > 0.Используя(17)и приближенную формулу(15) для числа FN , приходим к следующей оценке на число N:

Оценка(17)близости точки xN к решению задачи после N − 1 итераций в методе Фибоначчи примерно на 7% меньше соответствующей длины в методе золотого сечения.Но в методе золотого сечения можно в любой момент прервать вычисления и дальше их продолжить из найденных точек,если полученная точность нас по какой-то причине не устраивает.В методе Фибоначчи этого делать нельзя.Требуется заново задавать число N и заново проводить вычисления,правда,это можно делать, беря за основу найденный уже отрезок локализации решения.

1.3.Методы решения задач безусловной минимизации

В данном разделе нас будут интересовать методы решения задач безусловной минимизации

где относительно f(x) предполагается,что она является непрерывной достаточно гладкой функцией.Мы будем рассматривать в основном методы поиска локального минимума функции,которые,разумеется,если функция оказывается выпуклой, позволяют найти и глобальный минимум.

Среди методов решения задачи(16)одними из основных являются методы спуска. В них строится последовательность точек {xk} такая,что f(xk+1) < f(xk).При этом начальная точка x0 задается,а для построения последующего приближения на k-й итерации берется направление убывания функции f(x) в точке xk и тем или иным способом подбирается некоторый шаг,двигаясь с которым вдоль направления убывания,мы получили бы точку xk+1 с меньшим значением целевой функции . Раз - ные методы отличаются друг от друга способом выбора направления убывания и

13

способом выбора шага.Эти процедуры дополняются правилами остановки процесса, которые зависят от используемой информации и носят главным образом эвристический характер.

Дадим теперь более строгое описание методов спуска для решения задачи безусловной минимизации(18).Напомним,что согласно определению16ненулевой вектор s Rn называется направлением убывания функции f(x) в точке x Rn, если f(x + αs) < f(x) для всех достаточно малых α > 0.Множество всех направлений убывания функции f(x) в точке x образуют конус.Обозначим его Kd(x).Имеет место следующий почти очевидный результат.

Утверждение3. Пусть функция f(x) дифференцируема в точке x Rn. Тогда :

1.для любого s Kd(x) выполнено fx(x), s ≤ 0;

2.если s удовлетворяет условию fx(x), s < 0, то s Kd(x).

Доказательство. Докажем сначала второе утверждение.Имеем в силу диффе-

пусть fx(x), s > 0. Тогда с помощью только что приведенного разложения убежда - емся,что s является направлением возрастания функции f(x) в точке x.Следовательно, s / Kd(x).Мы пришли к противоречию.Поэтому выполняется неравенство

fx(x), s ≤ 0.

Мы будем рассматривать итерационные методы спуска,описываемые следующим

всех xk, то получаем последовательность {f(xk)},которая является монотонно убывающей.Если же Kd(xk) = на некоторой итерации,то процесс(19)прерывается. Конкретные методы характеризуются различными способами выбора направления sk и шага αk.

1.3.1.Правила выбора длины шага

Задача выбора шага спуска αk является задачей одномерной минимизации на луче. Она играет важную роль в методах спуска и от эффективности ее решения в сильной

14

степени зависит эффективность всего метода,особенно в случае,когда вычисление значений функции f(x) трудоемко.Довольно часто она решается приближенно.Рассмотрим несколько наиболее известных правил,применяемых при выборе шага αk.

Правило одномерной минимизации.Согласно этому правилу в качестве αk берется решение задачи

Обозначим через φ(α) функцию φ(α) = f(xk + αsk), зависящую от одной пере - менной.Тогда задачу(20)можно переписать как

min φ(α).

α≥0

Если αk > 0 и функция f(x) дифференцируема в точке xk+1 = xk + αksk,то выполняется условие:

Таким образом,если fx(xk+1) = 0n, то геометрически решение задачи (20) означает , что xk+1 является точкой касания луча,задаваемым направлением sk, с поверхно - стью уровня функции f(x), проходящей через точку xk+1.

В некотором смысле выбор шага αk согласно правилу одномерной минимизации наилучший,так как при этом способе получаем наибольшее убывание значения целевой функции вдоль используемого направления sk.В некоторых случаях,когда целевая функция f(x) имеет простой вид,задачу(20)можно решить аналитически. Например,если f(x) сильно выпуклая квадратичная функция,т.е.

следовательно, Axk + b, sk < 0.

В общем случае точное решение задачи (20) может оказаться весьма сложной проблемой и поэтому ее решают приближенно.В частности,заменяют задачу поиска шага αk на луче на задачу поиска этого шага на отрезке:

min φ(α), ∆= [0 , αø],

α ∆

где αø фиксированная положительная величина.Если φ(α) оказывается унимодальной функцией на отрезке ∆, то можно использовать процедуры одномерного поиска , рассмотренные в предыдущем параграфе.

15

Правило Армихо.Это достаточно простой приближенный способ определения

шага αk.

Предположим,что функция f(x) дифференцируема в точке xk. Задаются два числа: 0 < ε < 1 и 0 < θ < 1 и выбирают начальное значение длины шага α¯. Полагаем α = α¯.Выбор αk проводится согласно следующей двухэтапной процедуре:

Шаг1 .Проверяем выполнение условия

на шаг1.В противном случае полагаем αk = α и заканчиваем процесс . Покажем,что если для направления убывания sk выполнено достаточное условие

утверждения3,т.е.неравенство fx(xk), sk < 0, то количество дроблений шага в описанной процедуре будет конечным.

Утверждение4. Пусть функция f(x) дифференцируема в точке xk Rn иfx(xk), sk < 0. Тогда неравенство (23) справедливо для α достаточно малых.

Доказательство. Поскольку fx(xk), sk < 0, имеем

если α достаточно мало.

Накладывая на функцию f(x) дополнительные требования,можно добиться того, чтобы число дроблений α,после которых выполняется условие(23),было бы ограничено снизу равномерно по точкам xk.Другими словами,существует оценка снизу αmin > 0 такая,что на всех итерациях выполняется αk ≥ αmin.

Лемма1. Пусть функция f(x) дифференцируема на Rn, а ее производная непре - рывна по Липшицу с константой L, т . е .

Тогда,если fx(xk), sk < 0, то неравенство Армихо (16) выполняется для любого

α (0, αˆk], где

Доказательство. Возьмем произвольные x Rn и s Rn. Тогда по формуле Ньютона-Лейбница с учетом(24)и неравенства Коши-Буняковского-Шварца полу-

16

то количество дроблений α будет конечным,ограниченным снизу одним и тем ж числом для всех итераций.

Правило постоянного шага.Подставляя(27)в верхнюю оценку αˆk, получаем

αk ≤ αˆ = −2(1 − ε)δ . L

Тогда можно заранее выбрать начальное α¯k = α¯ таким,чтобы α¯ ≤ αˆ. В этом слу - чае,фактически реализуется простейшее правило выбора шага αk, когда он на всех итерациях берется одним и тем же,равным α¯.

Правило Голдстейна. В нем задаются два параметра 0 < ε1 < 1 и 0 < ε2 < 1, причем ε1 < ε2. Шаг α на k-й итерации подбирается таким образом,чтобы он удовлетворял условиям

Левое неравенство в(28)это по существу правило Армихо.Правое неравенство водится для того,чтобы шаг не был достаточно малым,т.е.попадал в диапазон,указанный на рис. 2222.

Имеются также целый ряд других процедур для выбора шага.Среди них отметим лишь две.

Правило априорного выбора.Согласно этому правилу предварительно перед началом вычислительного процесса задается последовательность шагов {αk} такая,

17

что

∞ ∞

αk > 0, αk = ∞, αk2 < ∞.

k=0 k=0

Разумеется,что при таком выборе шага на некоторых итерациях может оказаться, что f(xk+1) ≥ f(xk),т.е.метод решения задачи(19)перестает быть методом спуска.Правило априорного выбора применяется главным образом при минимизации негладких функций f(x).

Интерполяция сплайном.

1.3.2.Метод градиентного спуска

Метод градиентного спуска применяется для минимизации дифференцируемых функций f(x) на Rn. В нем в качестве направления sk на каждой итерации берется антиградиент функции f(x) в текущей точке , т . sеk.= −fx(xk).Сам метод описывается следующим рекуррентным соотношением:

Начальная точка x0 задается.Если на некоторой k-й итерации оказывается fx(xk) = 0n, то точка xk является стационарной,в ней выполняется необходимое условие минимума в задаче безусловной минимизации дифференцируемой функции на всем пространстве Rn.Процесс(29)при этом прерывается.

Шаг αk в(29)может выбираться по одному из указанных выше способов.Рассмотрим вариант метода градиентного спуска(29),когда αk выбирается по правилу Армихо.Тогда согласно(23)на каждой итерации выполняется неравенство

f (xk − αkfx(xk)) − f(xk) ≤ εαk fx(xk) 2.

Более того,при sk = −fx(xk) получаем,что

fx(xk), sk = −1,

sk

и эта величина не зависит от точки xk.Поэтому,если градиент функции f(x) непрерывен по Липшицу с константой L, то соответствующая константа αˆk, которая входит в утверждение леммы1,оказывается равной

Таким образом,дробление начального шага α¯k производится всегда конечное число раз,причем не превышающее определенное число.Данное число не зависит от номера итерации.Поэтому существует оценка снизу на длину шага αmin > 0, и на всех итерациях выполняется: αk ≥ αmin.

18

Теорема1. Пусть f (x) дифференцируемая и ограниченная снизу на Rn функция.Пусть,кроме того,ее градиент непрерывен по Липшицу на Rn. Тогда для градиентного метода спуска с правилом выбора шага по Армихо выполняется

Доказательство. Согласно(23)на каждой итерации имеет место неравенство

т.е.последовательность значений функции {f (xk)} является невозрастающей.Так как,по предположению,функция f (x) ограничена снизу на Rn, то эта последова - тельность сходится и f (xk+1) − f (xk) → 0 при k → ∞.Но тогда в силу(32)и оценки снизу αk ≥ αmin получаем

Правая часть в этой цепочке неравенств стремится к нулю.Поэтому выполняется предельное равенство(31).

Таким образом,согласно утверждению теоремы1любая предельная точка последовательности {xk} оказывается стационарной точкой функции f (x), т . е . той точкой , в которой выполняется необходимое условие минимума.Если функция f (x) выпукла, то это будет решение задачи безусловной минимизации(16).

В качестве критерия останова процесса(29)могут быть взяты следующие три правила:

1)xk+1 − xk ≤ ε1, xk+1 − xk ≤ ε˜1(1 + xk );

2)|f (xk+1) − f (xk)| ≤ ε2, |f (xk+1) − f (xk)| ≤ ε˜2(1 + |f (xk)|);

3)fx(xk) ≤ ε3.

Для выбора шага αk может также применяться правило постоянного шага или правило одномерной минимизации.Вариант метода градиентного спуска,в котором шаг выбирается согласно правилу одномерной минимизации,шага называется методом наискорейшего спуска. Он характерен тем , что в нем на каждой итерации выполняется соотношение

fx(xk+1), fx(xk) = 0,

т.е.используемые на соседних итерациях направления перемещения sk = −fx(xk) и sk+1 = −fx(xk+1) ортогональны друг другу(см.рис3333).

Другие более сильные утверждения о методе,гарантирующие сходимость последовательности {xk}, получаются , если предъявить к функцииf (x) повышенные по сравнению с условиями теоремы1требования.Предположим,что f (x) сильно выпуклая дважды дифференцируемая на Rn функция и ее матрица вторых произ-

19

где 0 < m ≤ M < +∞.Тогда все множества уровня этой функции выпуклы и ограничены.Поэтому для любого начального приближения x0 последовательность {xk}, как при выборе шага αk по правилу Армихо,так и на основании наискорейшего спуска,оказывается ограниченной,следовательно,имеет предельные точки.Более того, из правого неравенства(33)вытекает,что градиент функции f(x) непрерывен по

Липшицу на Rn. В этом случае в силу утверждения теоремы 1 на самом деле после - довательность {xk} оказывается сходящейся,причем она сходится к единственной точке минимума x функции f(x) на Rn.

Если в правиле Армихо взять ε = 0.5, то величина αˆ из(30)становится равной αˆ = 1/L, причем в качестве L можно взять константу M из правого неравенства(33). Тогда при постоянном шаге αk = 1/M метод градиентного спуска также сходится к решению.

Для метода наискорейшего спуска оказывается справедливой следующая оценка скорости сходимости.

Теорема2. Пусть f(x) дважды дифференцируемая сильно выпуклая на Rn функция,а ее матрица вторых производных fxx удовлетворяет условию(33).Тогда на каждой итерации выполняется

Неравенство(34)показывает,что при сделанных предположениях метод сходится с линейной скоростью сходимости.Однако при m M соответствующая константа C = (M −m)/(M + m) оказывается близкой к единице и скорость сходимости оказывается невысокой.Величины m и M фактически являются оценками соответственно снизу и сверху наименьших и наибольших собственных чисел матрицы fxx(x). Боль - шой разброс собственных чисел говорит о том,что функция f(x) имеет так называемыйÓовражный характерÓ,т.е.ее линии уровня оказываются сильно вытянутыми

(см.рис. ***).

1.3.3.Метод Ньютона

Метод Ньютона хорошо известен как один из основных методов решения систем нелинейных уравнений.Его применение для решения системы fx(x) = 0n, являющейся необходимым условием для задачи минимизации дифференцируемой функции f(x) на всем пространстве,приводит к варианту метода Ньютона для решения оптимизационных задач.Следует сразу сказать,что в своем классическом варианте оптими-

20