![](/user_photo/_userpic.png)
книги из ГПНТБ / Васильев Ф.П. Лекции по методам решения экстремальных задач
.pdf70 |
М И Н И М И З А Ц И Я Ф У Н К Ц И И М Н О ГИ Х П ЕРЕМЕННЫ Х |
[Гл. 2 |
достаточно круты, то такие скачки «со склона на склон» точек ип могут сильно замедлить сходимость градиентного метода.
Для ускорения сходимости этого метода при поиске миниму ма «овражной» функции можно предложить следующий эвристи ческий прием, называемый овражным методом [67]. Сначала опи шем простейший вариант этого метода.
В начале поиска задаются две точки й0, й\, из которых произ водят спуск с помощью какого-либо варианта градиентного мето да и получают две точки и0, щ на «дне оврага». Пусть, например, /(«[) </ («„). Тогда полагают
где h — положительная постоянная, называемая овражным шагом. Из точки «2, которая, вообще говоря, находится на «склоне овра га», производят спуск с помощью градиентного метода и опреде
ляют следующую точку и2 на «дне |
оврага». Если уже известны |
|
точки «о. иь ..., ип ( д ^ 2 ) |
и J {ип) |
то из точки |
Un+ 1 = |
ип |
ип- 1 ^ |
и п - f |
ип - 1 I |
|
|
I и п |
совершают спуск с помощью градиентного метода и находят следующую точку ип+1 на «дне оврага» (см. рис. 9; спуск из точки й„ в точку и„, состоящий, быть может, из нескольких итерацион ных шагов градиентного метода, на рис. 9 условно изображен от резком прямой, соединяющей точки йп, ип, п — 0, 1-, ...).
Величина овражного шага h подбирается эмпирически с уче том информации о минимизируемой функции, получаемой в ходе поиска минимума [67]. От правильного выбора h существенно за
§ 2} Градиентный метод 71
висит скорость сходимости метода. Если, шаг h велик, то на кру-^ тых повоторах «оврага» точки йп могут слишком удаляться от «дна оврага» и спуск из точки йп в точку ип может потребовать большого объема вычислений. Кроме того, при больших h на кру тых поворотах может произойти выброс точки йп из «оврага» и правильное направление поиска точки минимума будет потеряно. Если шаг слишком мал, то поиск может очень замедлиться и эффект от применения овражного метода может стать незначи тельным.
Эффективность овражного метода может существенно возрас ти, если величину овражного шага выбирать переменной, реаги рующей на повороты «оврага» с тем, чтобы: 1) по возможности
быстрее |
проходить |
прямолинейные |
участки на «дне |
оврага» за |
счет увеличения овражного шага; 2) |
на крутых поворотах «оврага» |
|||
избежать |
выброса |
из «оврага» за |
счет уменьшения |
овражного |
шага; 3) добиться по возможности меньшего отклонения точек йп от «дна оврага» и тем самым сократить объем вычислений, тре буемый на градиентный спуск из точки йп в точку ип, п = 0, 1, 2 ,....
Интуитивно ясно, что для правильной реакции на поворот «оврага» надо учитывать «кривизну дна оврага», причем информацию о «кривизне» желательно получить, опираясь на результаты преды
дущих итераций овражного метода. |
|
|
|
|
|||
В работе |
[211] |
предлагается |
следующий |
способ |
выбора |
||
овражного шага: |
|
|
|
|
|
|
|
|
hn+l = |
К ■с ^ п - ^ п - г , |
п = |
2, 3, . . . , |
(7) |
||
где а п— угол |
между |
векторами ип— ип-\, |
ип — ип-\, т. е. |
|
|||
|
cos а п = |
п~ |
~ LLn~l) ■, |
|
|
||
|
|
|
I иП иП-1 I I |
|
4/I-J | |
|
|
постоянная с > 1 является |
параметром |
алгоритма. |
Точка u„+i тогда |
||||
определяется так: |
|
|
|
|
|
|
|
ип+ 1 = |
ип |
|
•hn+i (при I (u„) < / (u„_i)) . |
|
|||
|
\иП~ И/1-ll |
|
|
|
|
||
* Разность |
cos а п— cos an_i в равенстве (7) связана с «кривизной |
||||||
дна оврага», и, кроме того, |
обладает важным свойством указывать |
||||||
направление изменения «кривизны». А |
именно при переходе с участ |
||||||
ков «дна оврага» с малой «кривизной» на участки с большей |
«кривиз |
ной» будем иметь cos а п— cos an_ i< 0 (см. рис. 10). Тогда в силу соот ношения (7) /in+i</i„, т. е. овражный шаг уменьшается, приспосабли ваясь к повороту «дна оврага», что, в свою очередь, приводит к уменьшению выбросов точки -йп+\ на «склоны оврага». При пере ходе с участков «дна оврага» с большей «кривизной» на участки
72 |
М И Н И М И З А Ц И Я |
Ф У Н К Ц И И МНОГИХ ПЕРЕМЕННЫХ |
[Гл. 2 |
с меньшей |
«кривизной», |
наоборот, cos а„ — cos а)г_ !> 0 , |
поэтому |
овражный шаг увеличится и появится возможность сравнительно быстро пройти участки с малой «кривизной», в частности, прямо
линейные участки на «дне оврага». Если |
«кривизна дна оврага» |
||||||
на некоторых участках остает |
|||||||
ся постоянной, |
|
то |
разность |
||||
cosan— cosa„_i |
будет |
близка |
к |
||||
нулю, |
и поиск |
|
минимума |
на |
|||
таких |
участках |
будет прово |
|||||
диться |
с |
почти |
постоянным |
||||
шагом, |
сформированным |
с |
|||||
учетом |
величины |
«кривизны» |
|||||
при |
выходе |
на |
|
рассматривае |
|||
мый участок. |
с |
|
|
|
|||
(7) |
Параметр |
в |
равенстве |
||||
регулирует |
|
чувствитель |
ность метода к изменению «кривизны дна оврага», и правильный выбор этого параметра во многом определяет скорость движения по «оврагу». Некоторые эвристические соображения по поводу вы бора с и другие аспекты применения овражного метода обсужде
ны в работе [211]. |
|
|
|
|
|
Выражение (7) для |
овражного шага удобнее |
преобразовать |
|||
так: |
|
|
|
|
|
hn+i = hncC05a’~C0san-i = |
йЛ_ 1ссмв« -ео**я-з = |
. . . |
= |
/г2сС05а*“ С05е\ |
|
откуда окончательно |
|
|
|
|
|
hn+l = Kccosa", К = |
h„c~cosa' = const> 0 , |
п = |
2 , 3 , . . . |
||
Другой способ ускорения сходимости градиентного метода за |
|||||
ключается в выборе подходящей замены |
переменных |
u = g (Q |
|||
с тем, чтобы поверхности |
уровня функции J(g(£,)) |
в пространстве |
|||
переменных £ были близки к сферам [251—253]. |
|
|
|||
Упражнение. Опишите метод скорейшего спуска для |
функций |
||||
J(u) из упражнений 1.15 |
и 1.16. Укажите явное выражение для an |
||||
из условия (2). Пользуясь теоремой 1, оцените скорость |
сходи |
||||
мости. |
|
|
|
|
|
§ 3. МЕТОД ПРОЕКЦИИ ГРАДИЕНТА
Рассмотрим задачу минимизации функции /(ы )еС '(£/) для случая, когда 11фЕт. Непосредственное применение градиентного метода из § 2 здесь невозможно, ибо при каком-либо п точка ип из (2.1) может не принадлежать U. Однако нетрудно избежать эту неприятность, если каждый вновь полученный член последователь
£ 3] |
|
|
Метод проекции |
градиента |
|
■73 |
|
ности (2.1) проектировать на множество U. В результате мы при |
|||||||
дем к так называемому методу проекции градиента. |
|
||||||
1. |
Для точного описания этого метода нам понадобятся вс |
||||||
могательные сведения. |
|
|
|
|
|||
О п р е д е л е н и е 1. |
Проекцией |
точки « е £ т на множество |
|||||
UczEm называется |
точка |
P u ( u ) d U , |
удовлетворяющая |
условию |
|||
|
|
|и — Рц (а) |= inf |и — о| = р (и, |
U), |
|
|||
|
|
|
|
v£U |
|
|
|
где р(и, U) — расстояние от точки и до множества U. |
|
||||||
Если |
u d U , |
го |
очевидно, что Р и (и )= и . |
Нетрудно |
указать |
||
множества U, когда проекция точки на это множество не сущест |
|||||||
вует или определяется неединственным образом. |
|
||||||
Т е о р е м а |
1. |
Если множество UczEm замкнуто и выпукло, то |
для всякой точки u d E m существует и притом единственная проек
ция Ри(и) на это множество. |
Справедливы неравенства |
|
||||
(Ри(и)— и, v — P t/ («))> 0 |
при всех v£ U, |
(1) |
||||
|Ри (и) — Ри (V) |< |
I и — v I при всех и, v в Ет. |
(2) |
||||
Д о к а з а т е л ь с т в о . |
Рассмотрим |
непрерывную |
функцию |
|||
g(o) = |w— и\2 переменного v<=Em при произвольном |
фиксирован |
|||||
ном tid E m. Нетрудно |
проверить тождество |
g ( a o + ( l — a)ie>) = |
||||
= ag-(o) + ( l — a ) g (w ) — a ( l — a)\v— w\z, |
справедливое |
|
при всех |
|||
v, ш е £ га и O ^ a ^ l . |
Следовательно, g (o) |
сильно |
выпукла на |
всем пространстве и согласно теореме 1.7 достигает своего мини
мума на замкнутом выпуклом множестве U в |
единственной точке |
|||
v, w d E m |
и O ^ a ^ l . |
Следовательно, g(v) |
сильно |
выпукла на |
при всех |
v d U , причем |
равенство достигается |
только |
при v = v*. |
Остается принять Pu(u} = v*.
Докажем неравенство (1). Согласно теореме 1.3 для достиже ния функцией g(v) минимума на U в точке v* необходимо и доста
точно, чтобы (g' (и*), |
V—v * ) ^ 0 |
при |
всех |
v d U . |
Поскольку |
|
g ' (v ) = 2 ( v — и) |
и v* = Pv (u), то |
отсюда |
сразу |
получаем нера |
||
венство (1). Далее из |
(1) имеем |
|
|
|
|
|
(Ри (и) — и, |
Ри (о) — Ри (и)) > О, |
(Ра (v) —v, Ри (и) - |
Ри (v)) > 0. |
|||
Сложив эти два неравенства, получим |
|
|
|
0 < (Ри (v) — Ри (и), Ри (и) — и — Рц (v) + v),
или
\Ри(и) — Pu(v)\2< ( P u ( v ) ~ Ри(и), V — u)K\Pu(u) — Pu(v)\\v — u l
Разделив это неравенство на \ Ри (и )~Pu(v) |фО, придем к нера венству (2). Если же \Ри(и)—Pu (v) |= 0 , то (2), очевидно, также верно. А
74 |
М И Н И М И З А Ц И Я Ф У Н К Ц И И М НОГИ Х П ЕРЕМЕННЫ Х |
[ Г л . 2 |
2.Опишем метод проекции градиента. Пусть начальное п
ближение un^ U известно. Строим |
последовательность |
{ип} по |
||
правилу |
|
|
|
|
Un+ 1 = |
Рц (ы„ — a nJ' (un)), |
п = |
0 , 1 , 2 , . . . , |
(3) |
где a n= const>0. |
Существуют различные |
способы выбора вели |
чины а п в равенстве (3), и в зависимости от этого можно получить различные варианты метода проекции, градиента. В частности, а„ можно выбирать из условий
. J (un) — J (un+i) > |
е I un— un+1 12, a„ > 0, |
(4) |
где un+1 имеет вид (3), s > 0 |
— некоторое фиксированное |
число. |
Ниже будет показано, что при некоторых ограничениях на функ
цию такой выбор а п возможен. |
Если же в (4) может |
быть лишь |
а п= 0, то процесс прекращается |
и при необходимости |
проводится |
дополнительное исследование точки ип на минимум. |
|
Если U = E m, то (3) переходит в (2.1) и метод (3), (4) пре вращается в обычный градиентный метод § 2, а условие (4) для выбора a n перепишется в виде [82]
. |
. |
^ |
|
-..J Ю — J (Un+1) > |
ea21 J' (u„) I2. |
|
|
|
|
|
|
||||||
Т е о р е м а |
2 .^1усть U — замкнутое |
выпуклое |
множество, |
||||||||||||||
ф у й |
|
к ц и я - и |
ограничена |
снизу |
на |
U, |
градиент |
Г {и) |
|||||||||
удовлетворяет условию Липшица: |
|
\Р(и) — Л (о )| ^ £ | ц — v\ |
при |
||||||||||||||
всех и, |
ш=£/, |
L = const>0. Пусть |
|
щ — произвольная |
начальная |
||||||||||||
точка из |
U и величины а п в |
(3) |
выбираются |
из |
условий |
[155] |
|||||||||||
|
|
|
|
|
0 < e 1 < a , t < - |
- ? |
- , |
|
|
|
|
|
|
(5) |
|||
|
|
|
|
|
|
|
|
|
L + 2е |
|
|
|
|
|
|
|
|
где 8i, |
8 — заданные |
числа, |
|
|
|
2 |
|
в > 0 . |
Тогда |
по- |
|||||||
0<^ех < ------------, |
|||||||||||||||||
|
|
|
|
|
|
|
|
|
L -J- 2е |
|
|
|
|
|
|
|
|
следовательность |
{«„} |
из |
(3) |
удовлетворяет |
условию |
(4) |
и |
||||||||||
\ип—цп+1|-^0 (n-voo). |
|
|
|
|
|
|
|
|
|
|
|
||||||
Если, кроме, того, |
J (и) |
выпукла, и множество |
М(и0) = {и : |
||||||||||||||
С u e U , |
|
J ( u ) ^ J ( u 0)} |
ограничено, |
то последовательность |
{«„} |
яв |
|||||||||||
ляется минимизирующей и любая ее предельная |
точка |
и* будет |
|||||||||||||||
точкой минимума I(и) |
на U, причем в случае единственности точки |
||||||||||||||||
минимума вся последовательность |
{ип}-+и* |
(я-*-оо). |
Справедлива |
||||||||||||||
оценка |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
, |
|
0 < |
ая = |
/ (и„) — /* •< — |
•— , |
л = 1 , 2 , |
|
|
|
|
(6) |
||||||
|
|
|
|
|
|
|
|
е |
п |
|
|
|
|
|
|
|
|
где |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
J * = |
inf J (и) , С = sup |
|J' (и) |4— — D, |
|
|
|
|
и |
М{и0) |
еА |
0 3] |
|
Метод проекции |
градиента |
|
|
|
|
|
75 |
||||||
D — диаметр множества1 |
М (и0). |
|
|
|
|
|
|
|
|
|
|
||||
Если, кроме того, J |
(и) |
сильно выпукла на U, то |
|
|
|
||||||||||
|
|ип— и* |2 < |
|
2с 2 |
|
1 |
|
1 , 2 , . . . |
|
|
(7) |
|||||
|
--------•— , |
|
|
||||||||||||
|
|
|
|
|
к ■е |
|
п |
|
|
|
|
|
|
|
|
Д о к а з а т е л ь с т в о . Прежде всего, если в (1) |
принять и = ип— |
||||||||||||||
— аЛУ' '(ип) и учесть (3), |
то |
получим |
|
|
|
|
|
|
|
|
|||||
или |
(ип+ 1 — ип -f |
а J ' |
(«„), |
и — «я+0 > |
О, |
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
( / ' («„), |
И — H„+i) > |
— |
(«„• |
■ил+1, и — w„+i) |
|
при всех |
«££/, |
||||||||
|
|
|
|
п = 1 , 2 , . . . |
|
|
|
|
|
|
(8) |
||||
Заметим, что если при каком-либо п оказалось, что |
ип= и п+и |
||||||||||||||
то из (8) следует |
(Г ( и п), |
и— ип)^=0 при |
всех |
и<=£/, т. е. «„ — |
|||||||||||
стационарная точка I (и) на U, |
которая в случае выпуклости функ |
||||||||||||||
ции будет точкой ее минимума на U. |
|
|
|
|
|
|
|
||||||||
Воспользуемся формулой (1.18) |
при v= un, и = и п+ь Получим |
||||||||||||||
J («п) — J («Я-и) > |
(J' (ип) , ип— ц„+1) ----- —1 |
L\un — ил+112. |
|||||||||||||
Отсюда с учетом условий (5) и неравенства |
(8) |
при |
и = ип |
получим |
|||||||||||
|
j (Un) |
J (ил+1) ^ |
|
-------- I ип— |
Ил+1 |2 ^ |
|
|
|
|||||||
|
^ е |и „ — и п + 1 |2 > 0 , |
/г = 0, |
1, 2, . . . |
|
|
(9) |
|||||||||
Как видим, |
выбор |
а п из |
(5) здесь |
гарантирует выполнение нера |
|||||||||||
венства (4). Далее, из (9) |
(или |
(4)) следует, |
что |
последователь |
|||||||||||
ность {J(u n)}, убывает. Так как |
J(u n) ^ J * > — оо, |
то существует |
|||||||||||||
lim /(«„), и, следовательно, |
J(u n) —J (u n+i)-+-0(n-+oo). А тогда из |
||||||||||||||
/I—>00 |
|ип— «п+1 |-И)(ц-*-оо). |
|
|
|
|
|
|
|
|
|
|||||
(9) имеем |
|
|
|
|
|
|
|
|
|
||||||
Пусть теперь /(«) |
дополнительно удовлетворяет еще условию |
||||||||||||||
выпуклости и множество М (и0) |
ограничено. Ясно, |
что {и „}& М (и 0) |
|||||||||||||
и 7* = in f/(и). Поскольку |
/ (и) |
непрерывна, то |
она |
на |
ограничен- |
||||||||||
М(и„) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 Ограниченность |7'(и)| |
на М(и0) следует из ограниченности |
множества |
|||||||||||||
М(и0), условия Липшица для /'(и) и неравенств |
|
|
|
|
|
|
|
||||||||
IJ ' (и) |< |Г |
(и) - Г |
(и.) |+ IJ ' |
(«„) |< |
L |и - иа |+ ' \ Г |
(и0) |< LD + |
|J ' (И#)|.‘ |
76 М И Н И М И З А Ц И Я Ф У Н К Ц И И М Н О ГИ Х ПЕРЕМЕННЫ Х [ Г л . i
ном замкнутом множестве М (и0) достигает своей нижней грани в
некоторой точке |
и*е£/, причем J ( u * ) = J * . |
Согласно |
теореме |
1.2 |
||||
О < |
ап = / («„) — J |
(«*) < iJ ' («я). ип — «*) = |
|
|
||||
= |
(J' («„). «п — Ид+l) — (^' («„), u* — u„+ i). |
|
|
|||||
Отсюда с учетом (5) и неравенства (8) при u = |
iC получим |
|
||||||
О -С #л "С {J' (un) . ип— u/t+l)---------(“л — ип+1. и"— ип+\) -< |
|
|||||||
|
|
|
|
&П |
|
|
|
|
< ( sup |
I J ’ (u) |+ |
— |
) |«Л — «Д+1 1= |
cI un— ы„+ 1 1. |
(10) |
|||
\M(«o) |
|
el |
J |
|
|
|
|
|
Так как \un— un+\|-*-0(/i-»-oo), |
to a n= J (u n) — /*->■0, т. |
e. последо |
||||||
вательность {«„} |
минимизирующая. А тогда |
любая |
предельная |
|||||
точка последовательности |
{«„} является |
точкой минимума |
н в |
случае единственности точки минимума и* вся последовательность
{ип}-*-и*(и-*-оо). Из неравенств (9), (10) |
имеем |
|
|
|||
а п — Q«+i > |
а 2,п (и = 0, |
1, |
2, . . . ) . |
|
|
|
Так как а „ > 0 (если |
ап = 0, |
то ип — точка |
минимума), |
то |
отсюда |
|
с помощью леммы 1.2 |
получим оценку (6). |
Наконец, из |
(6) |
и тео |
ремы 1.6 следует оценка ( 7 ) . ^ |
|
|||
В тех случаях, |
когда константа Липшица L для J'(u) |
неиз |
||
вестна, |
при |
выборе |
а п вместо условия (5) следует использовать |
|
условие |
(4). |
В этом |
случае часто полагают an = a = c o n s t> 0 |
и на |
каждом шаге проверяют выполнение условия монотонности:
/(«7l+i) < / (« „ ). Если оно нарушается, |
то а |
дробится до |
тех пор, |
пока не восстановится монотонность; |
время |
от времени |
следует |
пробовать увеличить а с сохранением монотонности. Величина е > 0 в (4) является параметром алгоритма и в каждой задаче подби рается эмпирически. Следует иметь в виду, что если величина е слишком мала, то метод (3), (4) может сходиться медленно, если она слишком велика, то может затрудниться выбор а п из (4). Еще один способ выбора а п в (3) будет рассмотрен в § 5. Другие ва рианты метода проекции градиента, обсуждение различных вычис лительных аспектов этого метода см. в работах [9, 10, 31, 35, 97, 114, 116, 149, 155, 170, 189, 193, 235, 239, 267] и др.
Следует заметить, что задача отыскания проекции точки и на заданное множество U сама, в свою очередь, является задачей минимизации функции g{v) = \v— и\2 на этом множестве, и уме ние решать эту задачу во многом обеспечивает эффективность ис пользования метода проекции градиента при минимизации функ ций. Для некоторых множеств II, когда, например, U есть шар в Ет или параллелепипед с гранями, параллельными осям коорди
§ 4} |
Метод возможных направлений |
77 |
нат, пли гиперплоскость, или полупространство, задача проекти рования точки решается просто в явном виде, и реализация мето да проекции градиента в этом случае не вызывает особых затруд нений. Если лее задача проектирования для своего решения тре бует применения тех или иных итерационных методов, то эффек тивность метода проекции градиента, вообще говоря, снижается.
Упражнения. 1. Доказать, что, для того чтобы точка w из вы пуклого замкнутого миолсества была проекцией какой-либо точки и пространства Е т, необходимо и достаточно, чтобы
(:w — и, v — оу) > 0 при всех v£.U |
(11) |
(см. теорему 1). Выяснить геометрический смысл неравенства (11) на плоскости.
2. Найти проекции заданной точки и<^Ет на следующие мно-
лсества: |
|
|
|
|
|
|
|
a) |
£/ = |
{и : а£ < гУ < р£, i = 1,2, . . . |
, т}; |
б) U = { u : \и— и1\< /?}; |
|||
в) |
£/= {и: (с1г и — иг) = |
0}; г) U = |
{« : |
(сх, и — иг) < 0 } ; |
|||
д) |
U = |
{« : (сх, и — щ) = |
0, (с2, и — и2) < |
0}, |
|
||
где точки |
ии и2, векторы |
С\Фб, с2Ф 0, |
числа R, щ, Pi. £ = 1, 2,..., т |
||||
считаются известными. |
|
|
|
|
|
||
3. |
Пусть С\, с2, ..., ср — линейно-независимая система/п-мерных |
||||||
векторов, |
ии и2,..., ир — |
заданные точки |
евклидова |
пространства |
|||
Е т. Пусть |
U = { v : |
(с,, у—щ ) = 0 , i = 1, 2, ..., |
/^— пересече |
ние р гиперплоскостей в Ет. Показать, что проекцию любой точки и ^ Е т на множество U. молено представить в виде
|
|
р |
|
|
|
w = |
u + ' £ 'kfj, |
|
|
|
|
/=> |
|
|
где Я.1, Я,2, .... Ар определяются |
из следующей линейной алгебраиче |
|||
ской системы уравнений: |
|
|
|
|
р |
h (С/, Ci) = (Cit щ — и), i = 1, |
|
, р. |
|
2 |
2, . .. |
|||
7=1 |
|
|
|
|
У к а з а н и е . |
Воспользоваться неравенством |
(11). |
||
4. Описать метод проекции градиента для минимизации функ |
||||
ций из упраленений 1.15— 16 на мнолеествах |
U из упражнений 2,3. |
§4. МЕТОД ВОЗМОЖНЫХ НАПРАВЛЕНИЙ
1.В этом параграфе рассмотрим один метод минимизац
функции J (и) |
на мнолеестве О ф Е т, близкий по своей идее к ме |
тоду проекции |
градиента. Будем предполагать, что мнолсество U |
78 |
М И Н И М И З А Ц И Я Ф У Н К Ц И И МНОГИ Х ПЕРЕМЕННЫ Х |
[ Г л . 2 |
задается |
так: U = {и : gi(u) < 0 ( i = 1,.... s)}, где g i(u ) |
— известные |
функции, определенные на всем пространстве Ет. Метод возмож ных направлений опишем (следуя [116]) для линейной функции /(«) = (с, и), где с ф 0 — заданный вектор из Е т. Это обстоя тельство не умаляет общности рассуждений, ибо если в исходной задаче ввести новую переменную | и дополнительное ограничение
. go(g, u ) = J ( u ) —g^:0, |
то в пространстве E m+i переменных (g, |
и) = |
|||
= (g, и1, ..., ит) получим эквивалентную задачу: |
минимизировать |
||||
линейную функцию /i(g, и) = g на множестве |
|
|
|
||
= {(ё. |
«): gi (g, и) < 0 (t = |
0, . . . |
, |
s)}, |
|
где g 0{l, u ) = J ( u ) —g, |
gi(l, u ) = g i(u ) |
(i= 1, |
..., |
s). Заметим, |
что |
этот прием сведения задачи минимизации нелинейной функции к задаче минимизации линейной функции за счет увеличения коли чества переменных может быть полезен и при использовании дру
гих методов, |
если, конечно, |
добавление |
ограничения go(£. |
и) == |
||
= / (и)— g^O |
не затруднит |
реализацию |
выбранного |
метода |
из-за |
|
возможной сложности работы с множеством Uь Непосредственное |
||||||
описание метода возможных |
направлений для |
исходной задачи |
||||
см. в работе [114]. |
|
|
|
|
(с, и), |
|
Итак, пусть требуется минимизировать функцию 7(«) = |
||||||
с ф 0 на множестве U = {u : gi(u) =sgO(i = 1,..., s)}. |
|
|
||||
О п р е д е л е н и е . Направление р ф 0 в |
точке |
« е [/ |
назы |
вается возможным, если достаточно малое перемещение из точку и
в направлении р не выводит за пределы множества |
U, т. е. сущест |
|||
вует |
такое а о> 0 , |
что |
u + a p ^ U или g i(u + a p ) ^ 0 ( i = 1,..., s) при |
|
всех |
а, О ^ а ^ а о . |
Возможное направление р называется подходя |
||
щим, если (/'(и ), |
р) = |
(с, р ) < 0, т. е. функция J (и) в окрестности |
||
точки и убывает при движении по направлению р. |
|
|||
|
Прежде чем |
переходить к описанию Метода |
возможных на |
правлений, выведем критерий оптимальности для рассматриваемой задачи.
|
Т е о р е м а |
1. Пусть U = {и : gi(u) ^ 0 ( t = 1,..., s)}, |
где gi(u) — |
|||||||
выпуклые функции из С1(Ет), и пусть множество U имеет внут |
||||||||||
реннюю точку «о- Тогда, для того чтобы точка |
была точкой |
|||||||||
минимума J(u) = (c, |
и) |
на U, необходимо и достаточно, чтобы ми |
||||||||
нимальное |
значение |
функции v ( a )= g |
переменной |
a = (g , р ) — |
||||||
= |
(g, Р1, |
Рт) |
на |
множество |
А = |
{ а = |
(g, р) |
: (с, |
p )< g , |
|
(gt |
(«*), р) ^ g |
при ie / *, |р*|^:1 ( t = l , |
..., |
т )} |
равнялось |
нулю: |
minv ( a ) = 0 ; здесь множество индексов I * = { i : 1 =SgisSgs, £ *(«*) = 0}
А
всегда непусто, так как и* — граничная точка U.
Д о к а з а т е л ь с т в о . Н е о б х о д и м о с т ь . Пусть и* — точ ка минимума J (и) на U. Тогда ы* — граничная точка множества U и множество индексов /* непусто. Пусть min v(a) = g * достигается
§ 4] |
Метод возможных направлений |
79 |
в точке а * = (£ * , р*). Так что = 0. Если | *< 0, то щим. В самом деле, из ie / * следует
как а = ?0еЛ , то £*^л>(0) = 0 . Покажем,
р * ф 0 |
и'-направление р* будет подходя |
условий |
gt(u) еС > (Ет) и g i ( u * ) —0 при |
gi (и* + |
ар*) = gi (и* + |
ар*) — g£ (и*) = |
a (gi (и* -f Qap*), |
р*) < |
а - у - < 0 |
||||||||||||||||
при |
ге/ *, |
а |
при |
i(£ I* g i(u * + ар*) < 0 |
для |
всех |
достаточно |
||||||||||||||
малых |
а > 0 . Кроме того, |
(с, |
р*) =%:£*<0. Существование подходя- |
||||||||||||||||||
. щего направления р* в точке и* противоречит тому, |
что и* — точ |
||||||||||||||||||||
ка минимума. Следовательно, |
£* = 0. |
|
|
|
|
|
|
|
|
|
|
|
|||||||||
Д о с т а т о ч н о с т ь . |
Пусть |
при |
некотором |
и* 6 |
U |
выяснилось, |
|||||||||||||||
что Г ф |
0 |
и minv (а) = £* = 0. |
Покажем, |
что и *— точка |
минимума' |
||||||||||||||||
J (и) на_и. |
|
А |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
и £ |
U, |
||
Пусть |
это |
не так. |
Тогда |
существует такая |
|
точка |
|||||||||||||||
что J (и) <^J(u*). Можем считать, |
что и — внутренняя |
точка |
множе |
||||||||||||||||||
ства |
U, |
так |
как |
по условию существует внутренняя точка и0 и, сле |
|||||||||||||||||
довательно, |
точки |
v = |
и + |
а (п0 — и), |
|
0 <£ а |
1, |
являются |
внутрен |
||||||||||||
ними (см. |
упражнение |
5.1) |
и |
неравенство |
/ (и*) > |
J (и) = J (и) + |
|||||||||||||||
-j-а (с, |
и0 — и) сохранится |
при всех достаточно малых а > 0 . |
Однако |
||||||||||||||||||
если |
и — внутренняя точка |
U |
и J (и) <£/ (и*), |
[то |
точка |
a = |
(|, |
р), |
|||||||||||||
где р = |
и — и*, |
принадлежит множеству А при некоторых £<£’0. |
|
||||||||||||||||||
В^самом деле, |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
(с, |
р) — J {и) |
J (и*) < |
0, |
(gi (и*), |
р) = (gi (и*), |
и — и*) < |
|
|
||||||||||||
|
|
|
|
|
< |
Si (“) — gi (“*) = |
gi (й) < |
0J |
|
|
|
|
|
|
|
||||||
при t£ / *,_ и остается |
взять |
£ = max{(c, р); |
(g\(u*), р) |
|
(t £ / *)}< (). |
||||||||||||||||
Тогда |
v (a) = |
|
= |
|* = |
inf v (а). |
Противоречие. |
Следовательно, |
||||||||||||||
и* — точка минимума J |
|
А |
|
Д |
|
|
|
|
|
|
|
|
|
|
|
||||||
(и) на U. |
|
|
|
|
|
|
|
|
|
|
|
||||||||||
|
2. |
|
Опишем метод возможных направлений, предполагая, |
||||||||||||||||||
множество U удовлетворяет условиям теоремы 1. На каждом шаге |
|||||||||||||||||||||
итераций находятся точка u ^ U |
и число б *> 0. В качестве началь |
||||||||||||||||||||
ного приближения выбираются произвольная точка u0^ U |
и произ |
||||||||||||||||||||
вольное число 6о>0, например бо=1 |
(о выборе и0 см. ниже). Пусть |
||||||||||||||||||||
для некоторого /гГ^О точка |
u.h<=U |
и число |
б/г> 0 |
уже |
найдены. |
||||||||||||||||
Тогда следующее приближение ищем так. |
|
|
|
|
|
|
|
|
|
||||||||||||
|
1. |
Сначала |
определяем |
множество |
индексов |
Д = |
{ i : 1 |
^ |
|||||||||||||
|
— bh<.gi(u-k) =^0}. Из определения |
1к |
следует, |
что |
gi(uk |
|
^— бд при i^/ft.
2.Затем решаем задачу минимизации функции v (a )= g пере
менных а = (|, р) = (£, р 1, ..., рт) на множестве Лл= { а = ( | ,' р) :