J9:J |
|
Г.~. 4. Оптшшзация |
|
Предположим, |
что |
z*=Fy*, |
тогда !1 |
(у*) >11(z*) или, |
что эквпвалентно, |
|
|
|
J(z~I>,.. " z~h-1), |
L(z*), z~h),"., z~т-1>)< |
<J(y~t>,"., |
y;тi-l), |
L(y*)' y;h>, |
"., y~•z-t>)=J(x*), |
а это противоречит предположению об экстремальности
точки х*. Теорема доказана.
Согласно первым двум утверждениям теоремы, вы
полнение подобной процедуры перехода от функциона
ла ! к функционалу 11 приводит к тому, что число больших собственных чисе.'I матрицы Гессе Ji'' умень
шается на единицу («исключение большого собственно r·о чпс.1а»), при этом малые собственные числа по мо
дулю пе убывают.
Повторяя описанный процесс исключения m-r раз,
прихо,:~д.'vt к эквивалентной (в смысле, указанном в пре дыдуще:м параграфе) задаче минимизации некоторого
функцпонала lm-r в r-мерном пространстве. После ис
ключенпя m-r больших собственных чисел и незначи тельного возрастания модулей малых чисел минимиза ция нового функционала lm-r будет происходить в ус ловиях существенно более низкой степени овражности,
ияв.1ен11я некорректностп при применении квадратич
ных ;:...1етодов возникать уже не будет.
Оп1ет11м, что пзложенная процедура приводит к по строенпю иерархии линейных связей типа (56) и иерар
х1ш квадратичных функционалов J1, "., lm-r по числу
бо.т~ьших собственных чисел матрицы Гессе исходного функционала. При переходе от Ji к li+1 каждый раз осуществ.'Iяется независимое от Ji определение коэффи
циентов в выражении для последующего квадратичного
функцпонала li+t·
Вычпсление значений функционала Ji (si) для опре
деления коэффициентов в соответствующем квадратич· ном представлении осуществляется следующим обра
зом.
По заданному подвектору Si вектора х с помощью по.т~ученной к i-му шагу иерархии линейных связей вос станав.1ивается полный вектор х. Далее полагаем
li (6;) = / (х).
§ 4.5. Иерархическа.ч оптимизация |
191 |
Таким образом, вычисление значений функционалов fп; n= l, .. " m-r, п-роиЗJводится через .вычисление зна чений исходного функционала в соответствующих точ·
ках.
Возвращаясь к рис. 16, отметим, что значения /1 для рассматриваемого случая совпадают со значениями J (х) при ус.r~овии, что точки х расположены на прямой АВ.
Далее останов11\1ся на методах получения соотноше
ний (56), вид которых в точности |
совпадает с |
форму |
лами (3.15). Для их построения также |
|
может быть ис |
пользовано условие |
квазистационарности |
пропзво;111ых |
по параме1'ру t от |
некоторых |
·КО~1шонент |
вектора х (f). |
определяемого уравнением спуска (49). |
|
|
|
|
Действительно, дифференцируя |
уравнение |
спуска |
s-l раз и обозначая |
j-й |
вектор-столбец |
матрицы As, |
гJ.е А =-D, через С18, |
имеем |
|
|
|
|
|
|
|
|
d8 хШ ( s |
х |
) |
+ |
( s-1 |
, Ь |
) |
, |
|
|
-- = |
Ci, |
|
Ci |
|
|
|
dt5 |
|
|
|
|
|
|
|
|
|
|
|
r .1е |
|
|
|
|
|
|
|
|
|
|
(92) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
т |
|
|
|
|
|
ej= (0, ... , |
l, |
... , |
0)= ~ (ej, |
Ип)Ип |
|
|
n=l
-j-й единичный орт. Отсюда
т
== l.f-I (А)~ u~i) Р·п (А)/1.1(A)]s-l х
n=I
Пренебрегая слагаемыми с номерами n=l+ 1, |
.. " |
т. |
где l - r<ратность |
маr<сима:rьного |
собственного |
числа |
l.1 (D), получим |
|
|
|
|
ds х<Л |
Ч(А) [и1, х)+1.11 |
(А)(и1, Ь)], |
|
(94) |
' = |
|
dt5 |
|
|
|
|
l |
|
|
|
|
где Vj=~unmun - |
собственный вектор матрицы D, |
co- |
1t=I
192 |
Гл. 4. Опт~ишзация |
Из (94) видно, |
что условие квазистацпонарности |
(s-1)-i"r произ1во,Jной от j-I'f·ко~лпоненты вектора x(t),
соответствующей ненулевому вектору VJ,
dt5
эквива.'Iентно искомому уравнению связи (56) для i = 1.
1"\ожет оказаться, хотя это п маловероятно, что вы
бранный номер j определяет нулевой вектор v.i· |
Тогда |
необходимо заменить номер j на другой. |
Легко |
пока |
зать. что такой нo:viep |
j, |
д:1я |
которого |
v_;*O, |
всегда |
найдется. |
|
|
|
|
любом j= 1, |
"., |
|
Действите.11ьно, пусть |
Vj=O при |
т. |
Тог.1а |
|
(vj, |
ид = О |
|
|
|
|
|
ц~iJ = |
|
|
|
|
|
прп .1юбых j= 1, ".. т; |
i= 1, |
"., |
l, т. |
е. u;=O, i= 1, .", |
l, |
а это противоречит тому, что ui - |
собственные |
векто |
ры, 11 потому ui*O при любом i. |
|
|
|
|
|
|
Остановимся несколько подробнее |
на |
определении |
номера j уравнения (95) для получения |
соответствую |
щей тшейной связи. |
|
|
|
|
|
|
|
|
|
Пре.Jположим для |
простоты, |
что |
кратность |
макси |
ма.1ьного собственного |
чис.'!а l= 1. |
Тогда |
(94) перепи |
шется в виде |
|
|
|
|
|
|
|
|
|
ds x<i> |
|
|
|
|
(А) (и1, |
|
|
|
-- = Лf (А) uji> [(и1, х) +Л(1 |
b)l. |
|
|
dt5
Ясно, что если для некоторых j имеем u1<J>*O, то со ответствующее уравнение (95) доставляет искомую ли нейную связь. Однако еслп матрица D не имеет на диа
гопа.111 независимых блоков вида
D = (_-0~--J-J~!_OJ_f___O_) ' |
(96) |
, О 1N |
|
то практически пригодно любое уравнение (95). Действительно, пусть, например, выделено первое
соотношение
ds х<1)
--=О
§ -1.5. Иерархическая оrzт11.11изация |
193 |
и при этом случайно оказалось и1<1>=0. Из-за ошибок
округления при каком-то s получим
С~= (А5 +П8) е1
вместо точного соотношения (92)
Cf=A5 e1•
Здесь Пs - матрица погрешности в задании матри
цы As. Имее:\t
т
с~= ~ и}1) Л.j (А) щ +ss1·
j=2
|
|
т |
|
t 1= П |
s |
е1=~ \.., |
t(j) U· |
':>s |
~ |
':>st J• |
i=I
и так ка1<
тт
сs+п = An с• = \.., |
u\I) л~-:-s (А) и.+\, s<Л 1.~ (А) Uj |
' |
1 |
1 |
:_. |
/ |
J |
J |
_ |
st |
/ |
|
|
1=2 |
|
|
i=l |
|
|
|
то |
|
|
|
|
|
|
|
|
|
ds~n x(l) |
|
х) + (с~+п-1, ь) = |
|
|
|
|
dts+n |
( с~+п' |
|
|
|
|
|
т |
|
|
|
|
|
|
b)J + |
|
|
= \'u\1J 1.~+п-1 (А) P•j (А)(и;, |
х)-;-- (uj, |
|
|
..... 1 |
1 |
|
|
|
|
|
|
|
|
j=2 |
|
|
|
|
|
|
|
|
|
|
|
т |
|
Л~-1 (А) p,j (А) (щ, х) + (щ. b)J. |
|
|
+ \'s< |
1i) |
|
|
|
' - s |
|
1 |
|
|
|
|
j=l
При да,1ьнейшем увеличении п слагае:-.1ое s~JI Л7 (А) [(и1, х) + Л11 (А) (и1, Ь)]
начнет быстро возрастать по сравнению с остальными
ив конце концов станет доминирующим, определяя ис
комое уравнение связи.
Если матрица D имеет структуру типа (96), то ис
ходная экстрема.11ьная задача распадается на несколько
независимых подзадач (сепарабельность) д.ТJя разных 1шадратичных функционалов, которые могут исследо
Практическ11 це.1есообразно выбирать уравнение
(95)со сравнпте.1ьно большими коэффициентами г.ра
компонентах вектора х - это свидетельствует о нат1-
чии полезной ннформации о больших собственных Ч!~с
.1ах (см. также § 3.1).
Порядок д11фференц11рования s может быть выбрз.н достаточно малым (обычно 2, 3) (C:vI. § 3.1). Необходи
мо лишь, чтобы вектор, ана.1огичный VJ из выражения
(94), оказался в подпространстве, натянутом на собст
венные векторы, соответствующие доминирующим соб
ственным числам Л1, ••• , 1.m-r· Последнее условие выпол
няется у;ке пр111 чалых s, 1160 предполагается, что i.m-r~ \t.;;1-1·.:-1 \. Теорема 4.3 при этом остается справед
.111вой.
Особо отметим, что изложенный метод построения
.1инейных завпсимостей (56) никак не связан с пробле мой разде.1ения близких собственных чисел. Если, на
пример, ~-1 существенно больше Л2, то такое разделение
при надлежащем выборе номера j уравнения (95) дей ствительно произойдет. Если ~Л1~Л2 - почти кратное
t:обственное чпс.10, то нет необходимости vвеличивать s до разде.1енпя /-.1 и ''i.2 • В качестве коэффиЦиентов при
компонентах вектора х в (95) в этом случае будет ис
пользо·ваться не |
собсТ'Венный |
вектор |
и 1, а |
некоторая |
комбинацпя |
~·нп-г |
а;и;, |
бш1зкая |
к а1и1 |
+ а2и2. |
|
/, . |
|
|
""-1•=1 |
|
|
|
|
|
Еще раз остановимся на точности |
опреде.11ения ко |
::-ффициентов |
линейных |
связей |
(95) на |
основе |
приб:ш |
женных объектов D и Ь.
В случае, рассмотренном в предыдуще:.11 параграфе, пск.ТJючаемое число ./.1 было существенно изолирован
ным, п поэтому погрешностями в задашш /.1, и1 можно
было пренебречь, так как /, 1, и1 мало зависят от малых
варпацпй |
D и Ь. В общем же случае задача |
определе |
ш1я и 1 по |
приближенной матрпце D может |
оказаться |
плохо обус.1овленной, т. е. малые деформацrш элемен
тов матр11цы D при наличии близких к /ч собственных
чисе.1 могут прпвести к весьма |
значительным вариа |
цням 11 1. Однако ..'1.-'IЯ излагаемого |
подхода указанное |
обстоятельство не имеет существенного значения, ибо,
как нетрудно убедиться, вариации и1 будут необходимо
происходить в подпространстве собственных векторов,
ность rвычис.~ення функциона.ТJа J (х), а S - степень его
овражности).
Далее следует иметь в виду, что обращаться r< асим
птотическим методам необходимо лишь после сущест
венного замедления сходпмости применяемого марше
вого алгоритма минимизации (например, системного),
что соответствует попаданию фазовой точю1 в обла.::ть
дна оврага. В противном случае существует опасность
выхода процедуры нз области, где минимизируемый
функционал достаточно точно описывается построенной
квадратичной аппроксимацией.
Действительно, из рис. 16 видно, что если исходное положение вектора Хо достаточно далеко от пря'Мой АВ,
то точность квадратичной аппроксимации, построенной
в окрестности Хо, может для функционала, отличного от
1<.вадратпчного, |
теряться |
при |
переходе в окрестность |
прямой АВ. Для строго |
квадратичных |
зависимостей |
! (х) подобная ситуация, естественно, не вознwкает. |
Кроме того, |
при исключении доминирующих |
собст |
венных ч11се.1 |
uелесообразпо |
исключать |
.1ишь |
самые |
( таршпе чис.1а |
до получения |
приемлемой |
степени ов |
ражности в с~1ысле S < l/бJ. Далее процесс минимнза
шш целесообразно строить на основе системных мето J.ОВ опт1ошзаuии, позволяющих эффективно проводить
оптнмнзашrю в Ус.ТJовиях достаточно высокой остаточ
пой степени овр.ажности. При нарушении данного тре
бованш1 п 11ск.1ючени11 «лишних» собственных чисе.'i ве
.1пчпна пограннчного слоя т пс может существенно
возраст11, что опять-таю~ приводит к возможности вы
хода пз об.1астп, описываемой рассматрпваемым KGa.:t- Г- атичным прпбт1женпем.
Ана.ТJоп1чно методам, пз.1оженным в § 3.1, метод
11ерарх11ческой оптимизащш, основанный на нсключеюш домпнирующ11х собственных чпсел, может быть реатr зован в так называемо:'v!: блочном варианте, когда сра
зу опрсде.1яется система линейных соотношений (56)
11.111 ей экв11ва.1ентная и осуществляется переход от ис
ходного функционала J(x) к функционалу lm-r, опре
де.ТJенному в r-мерном пространстве векторов ~m-r·
Здесь ""ы не буде:'vl: останавливаться на .подобно~f под
ходе, так как соответствующие вопросы достаточно под
робно 11з.1ожены в § 3.1. Отметим только, что для опре-
де.'!ения уравнений, эквивалентных (56), также можег
быть 11спо,1ьзовано условие квазистационарности про
из·водных ,:~:.1я m-r ко:.шонент вектора х (t), описывае мого уравнением спуска (49).
Приведем численные примеры, и.1.'!юстрирующие а.'1-
горитмпческпе возможности рассмотренных в предыду
щем параграфе методов. |
|
|
|
|
Пр им ер |
l. Пусть задан выпуклый квадратичный |
функционал впда |
|
|
|
|
|
J (~, х) = ~о+ ~i (x<l>)2 + |
|
|
|
|
|
|
+~2 x<I> х<2> + ~3 (х<2>)2-~4 x<I>-~s х<2>, (97) |
rде ~=(~о, ~1, •.. , ~s) |
- |
вектор |
неизвестных |
коэффи |
циентов. |
|
|
/\ |
|
|
|
|
|
|
|
|
|
Требуется |
получить |
оценки ~i |
на |
основе |
измерений |
значеннй J в |
некоторых |
точках |
и |
затем определить |
экстрема.'lьную точку х* из условия |
|
|
|
/\ |
/\ |
|
л |
|
|
|
J (~, |
х*) =--= min J ф, |
х). |
(98) |
х
При этом предполагается, что измеряемые значения J
искажены шумом
где бJ - заданная относительная погрешность. Приведенная постановка задачп, в частностп, весь
ма характерна для теорип планирования экстрема.1ьных
экспериментов, пмеющей де.'lо с алгоритмическп задан ными J\шнп~шзируемымп функциона.'Iами, пзмеренпя значеннй 1<0торых искажаются сравнптельно высон:ш.1
уровне~~ шума.
Как ниже показывается, Уже достаточно малая сте
пень овражности J (х) не позволяет при:11енять традн
ционные методы и вынуждает обращаться к специа.'lь ным методам, развитым в предыдущих параграфах.
Предположим, что истинные значенпя параметров ~i равны:
ifo = l 111, '31 = 989, /32 = 984, ~3°= 251,
~= l 978, jf5 = 984. f(99/·
.!98 |
Гл. 4. |
Оптимизация |
|
Пр11 этом .JJerкo проверить, что |
|
|
x*=(l; О), |
J(~, х*)= 122,0. |
(100) |
|
|
л |
|
Используемые при получени11 оценок ~i эксперимен
та.1ьные данные имитируются прп заданных значениях
параметров (99). Шум измерений моделируется округ
,1ен11е~1 результата измерений до двух цифр мантиссы в '1.ре.:~:став.JJеюш числа в форме с П.'Iавающей запятой.
В табл. 7 приведен бт1зкпй к D-оптима.11ьному на-
л
сыщенный план эксперимента для определения ~i ме
то.:~:о:-.1 наюrеньших квадратов; l; - ~истинные значения
!в точr{ах плана х;, Ji - измеренные значения, иска
женные шумом.
Таблица 7
|
i |
1 |
x/l>I |
х/2>1 |
т: |
|
т; |
|
|
|
|
|
|
|
|
|
1 |
1 |
|
|
|
1 |
|
|
1 |
i |
--1 |
-1 |
1 |
6300 |
1 |
6297 |
|
2 |
1 |
-1 |
+1 |
2400 |
! |
2361 |
|
1 |
|
|
3 |
1 |
+1 |
-1 |
1 |
370 |
i |
373 |
|
4 |
1 |
+1 |
-i--1 |
370 |
373 |
|
|
|
5 |
|
о |
-1 |
|
2300 |
|
2346 |
|
6 |
1 |
о |
о |
1 |
1100 |
1 |
1111 |
|
|
i |
1 |
|
|
1 |
1 |
Функционал
1 Ф> = I6 rJ (~. xi>-.r;12,
i=l
:-:хтроенный по методу напменьших квадратов, прнни
:-.rает мпнимальное значение в точке
л |
л |
л |
л |
|
~0 = 1100, |
~1 =.1035, |
~2 =975, |
~3 =225, |
|
|
л |
|
л |
|
|
~4= |
1990, ~5= 975. (101) |
Сравнивая с (99), видим, что погрешность в опреде
л
.1ен11и ~i лежит во 2-3 знаке мантиссы, что согласует
ся с погрешностями экспериментальных данных.
Таким образом, можно считать, что задача 01'Iреде
..1ения коэффициентов ~i решена вполне успешно. Одна-
§ 4.6. Примеры |
199 |
ко попытка определить х* по полученным |
значению: |
( 1О1) нз системы
л
|
дJ (~. х) =0, |
i= 1, 2, |
|
дx(iJ |
|
|
пр.иводнт к неверно:v1у резупьтату:
л |
- |
л |
|
х*=(2,9; |
-4,0), Jф, х*)=231,О |
вместо точного (100). Причина |
неудачи |
заключаетсf:: |
в овражном характере J(x). |
(97) с |
|
Если представить |
выражение |
параметра:чп |
(99) в виде |
|
|
|
J= 1J2(Dx, х)-(Ь, х)+С, |
(102) |
получим |
|
|
|
D=f 1978 |
984 ) |
\ 984 |
502 • |
Ь=---=(1978;984), C=llll.
Собственные числа матрицы D равны
/,1 = 2470, Л2 = 1О.
Соответствующие собственные векторы имеют вид
2 |
|
,., |
U1= V5 (1; 0,5). |
|
2 |
|
|
U2= V5 (0,5; -1). |
|
|
Линии уровня функ- |
|
|
ционала ( 102) изображе- |
i |
|
ны на рис. 17. Овраг на- |
1 |
|
правлен параллельно век- ~ |
----; |
-----,-+---- |
тору tt2. Кружками обоз-
начены точки плана экс-
перимента, использован
ные п·ри .получении оце
нок (101).
Полученная точ.ка х"
существенно смещена
· ! |
-' |
". |
. |
1 |
1 |
L __ -~+- ___j |
! |
; |
1 |
Рис. 17.
вдоль образующей дна ов-
рага по сравнению с истинным положен1Ием х*.
Применим для решения этой же задачи ·метод иерар- хической олтимизац:ии. С по•мощью оценок ( 1О1) не уда-
