книги из ГПНТБ / Цирлин, А. М. Основы оптимального управления конспект лекций
.pdf§ 4. Методы поиска максимума функции нескольких переменных
Часто мы не знаем аналитического выражения максимизируемой фун.-.ции и не мояем поэтому воспользоваться необходимыми усло виями ее максимума, Для сложных функций и большого числа, пе ременных уравнения, следующие ив неооходимых условий, в ряде олучаев очень трудно решить. Если имеется возможность для каждого конкретного значения переменных получить значение фун кции, то для нахоадения ее максимума могут быть использованы поисковые методы. Смысл всех этих методов заключается в том, что по определенному правилу выбирается последовательность
( вначенай |
У |
такая, что значение функции для Х'-н |
больше или |
равно |
значению функции для <Х^ . 'Гак как |
функция предполагается ограниченной, то такая Последователь ность ее значений стремится к пределу. В зависимости от при нятого алгоритма и выбора начальной точки втим пределом может
быть локальный или абсолютный |
максимум |
( |
* |
) . |
|
||
Методам поиска максимума функций многих переменных посвя |
|||||||
щено огромное количество работ. |
|
|
|
|
|||
Здесь{ |
в очень конспективной |
форме рассмотрим |
несколько |
алго> |
|||
ритмов |
поиска. |
|
|
|
|
|
|
4 . 1 |
. Метод |
градиента |
|
|
|
|
|
Градйентбм |
называют вектор |
в пространстве JC |
, |
проекции |
|||
которого на |
оси J ^ j , ^ ' 2 -ч |
Р 8 * н ы |
соответственно |
. |
|||
|
|
|
|
|
|
ЪХ |
|
3t
Найдем, ваприивр, градиент функции
з точке l V t ='Л^*2 = I • Проекции градиента
|
Вектор градиенте |
показан |
на |
р и с Л . 1 . Скороотъ роота функ |
||||
ции |
j£(XJ |
в точке |
С 1,1 |
J |
вдоль оои J^j вдвое |
превыша |
||
ет |
скорость |
ее |
роста |
вдоль |
оои У^. |
Модуль градиента |
опреде |
|
лится через |
его |
проекции обычный |
способом |
|
||||
В рассмотренном примере
Величина модуля градиента показывав? скорость роста функ ции, а его ааправлоане соответствует направлению наиболее бы строго возрастания функции в окрестности то? точки, где внчаоляется градиент. Если функция непрерывна, дифференцируема ярн
всех |
допуотииыхУ |
, |
то в каждой ее точке^кроме точек стацио |
||||||
нарности, градиент |
отличен |
от нуля. Двигаясь |
по |
градиенту |
о* |
||||
некоторой |
начальной |
точки |
У |
, мы можем |
быть уверены, |
чгс |
|||
значения |
функции |
J - |
по керб движения будут воераотагь. |
||||||
На атом основании может быть предложен следующий алгорийй |
|||||||||
организации минимизирующей |
последовательности |
( р и о Л Л , а ) . |
|||||||
I . |
В произвольной |
допустимой |
точке |
делают.пробные |
|||||
шаги по каждой из переменных и находят проекции градиента в точке Уи как отношения &(Х,4+
|
|
32 |
|
2о |
Яелают рабочий шаг в направлении градиента, переходя в точ |
ку |
о |
координавами |
или |
в |
векторной форие |
Здесь |
^ |
" |
величина |
рабочего |
шага. |
|
|
|
|
|
8. |
Так |
продолжается |
до тех |
пор, пока |
не |
станет равным |
||||
нуле. Так |
как |
градиент |
в каждой |
точке |
иаеет |
в общем случае |
своё" |
|||
направление, |
то нельзя |
по градиенту, |
найденному в |
точке |
|
|||||
идти |
слишком |
далеко. |
С |
другой |
стороны, при |
малом |
значении |
~£ |
||
потребуется очень много шагов для выхода в экстремальную точку.
Практически для |
выбора шага |
"£ |
используют следующие сообра |
жения; сначала |
~£. выбирается |
произвольно, если окажется, что в |
|
точке «У^ направление градиента существенно отличается от направ
ления в начальной |
точке, |
то |
шаг ~£ |
уменьшают, если |
отличие век |
|||
торов |
по направлению |
мало, |
то увеличивают. Об угле |
между |
||||
Ч J |
^ Хц) |
и |
У J- |
( |
X.t) |
можно |
судить по величине |
|
Здесь в числителе стоит скалярное произведение векторов, а в зна менателе - произведение их модулей. Чем меньше шаг, тем меньше
величина |
с*/ , а |
К = Ceiol |
ближе |
к единице. Обычно JC стремят-- |
|||
.ся сделать равным |
0,6 * 0,8, |
увеличивая |
по мере |
приближения к |
|||
акотремуму. |
|
|
|
|
|
|
|
4.2. |
Метод наискорейшего |
подъема |
|
|
|
||
Этот метод отличается от метода |
градиента тем, |
что шаг |
~Ь в |
||||
нем выбирается переменным в каждом |
такте |
алгоритма. Причем |
выби- |
||||
33.
рается так, чтобы, |
двигаясь |
вдоль |
градиента, |
получить |
в точ |
|||||
к е ^ j |
локальный |
максимум функции вдоль градиента, |
найденно |
|||||||
го в |
точке |
У!ц |
(рис . 4 . 1,б) . Во |
всем же остальном |
(пробные |
|||||
ваги, |
определение |
градиента) |
этот |
метод |
совпадает с |
предыдущим, |
||||
3 случае, |
когда |
поверхности |
равного уровня J- |
(У |
) |
предотавг |
||||
аяют собой эллипсы, метод наискорейшего спуска приводит к |
||||||||||
иаксимуну |
за число |
шагов, равное |
числу |
переменных. |
|
|
||||
|)айдем составляющие градиента в точке- |
. |
координаты |
следующей |
точки |
|
|
|
|
|
|
|
||||
-Хг/ |
= |
° |
* |
|
• ' |
|
|
|
|
{ ч |
л |
) |
|
(ункция |
J.{ |
|
|
) зависит |
от |
величины Ту на первом шаге |
|||||||
шиска |
|
|
|
|
|
|
|
|
|
|
|
|
|
(еперь |
нужно |
найти |
, |
при |
котором |
функция |
максимальна |
|
и |
||||
[одставить |
это |
число |
в |
(ЧА). |
Когда |
функция |
J^- |
аналитически |
|||||
в задана, |
та |
|
же процедура |
проводится |
поисковым |
методом |
- |
дви- |
|||||
[аются по найденному направлению градиента наленбкими шагами,
[онтролируя величину |
^{ |
У({ |
) после каждого такого шага, до |
их пор, пока функция не отанет уменьшаться. В этой точке |
|||
ровь находят ^fJ-( |
J O |
и |
т . д . |
4.3.Метод покоординатного подъема
(Гаусса - Зайделя) .
Б методе наискорейшего подъема число вычислений по сравнению о градиентным методом сокращено аа счет того, что пробные шаги, нужные для определения градиента делаютоя реже. В рассматривае
мом же методе число пробных шагов оокращено еще более. |
|
|
||||||||||||
Последовательность |
поиска |
такова |
( р и с |
|
4.2): |
|
|
|
|
|||||
1. |
В произвольной допустимой |
точке |
Jfw |
меняют одну ив пере |
||||||||||
менных (назовем |
ее |
У^ |
) , |
о |
тем |
чтобы |
определить |
энак |
^ |
|||||
2. |
Двигаются |
вдоль |
оси J / j , |
оставляя |
все |
другие составляю |
||||||||
щие У |
неизменными, в |
направлении роста |
^ |
до |
тех |
пор, |
пока |
|||||||
функция не начнет |
уменьшаться. |
|
|
|
|
|
|
|
|
|||||
3. |
В этой точке |
фиксируют Уг |
|
и повторяют |
операции |
п.1 |
по от |
|||||||
ношению, к переменной^/£ |
и |
т , д |
» |
|
|
|
|
|
|
|
||||
Перебрав все переменные, вновь возвращаптоя к |
У г. |
' |
|
|||||||||||
Так продолжается до тех пор, пока изменение любой иэ перемен* |
||||||||||||||
ных не |
будет приводить |
к уменьшению J-fa) |
. |
|
|
|
|
|||||||
4.4.Общий недостаток поисковых методов заключается в том,
что движение из некоторой промежуточной точки У^ к предпола гаемому максимуму определяется поведением функции в окрестности этой точки. Поетому в многоакотренальных задачах зги методы могут привести к локальному, а не абсолютному макоииуму.
Упомянем коротко о некоторых приемах, позволяющих обойти эту
трудность за счет увеличения |
трудоемкости вычислеш^ |
I . Скавзрование: покрытие |
области допустимых значений аргу |
мента Сеткой с вычислением функции в узлах сетки. При этом опре деляется область притяжения глобального максимума, в которой и выбирают первое приближение для поискового алгоритма.
35-
2. Случайный поиск: направление движения на каждом шаге определено не точно, а с некоторой вероятностью. Случайным об разом выбирается и величина шага. При определенном выборе такого •вероятностного поведения этот подход позволяет найти глобальный
максимум функции с вероятностью единица.
3. Многократный поиск. начинается из различных точек допустимой области. Полученные в результате поиска значения фун кции сравниваются друг с другом.
|
4. Метод тяжелого |
шарика. |
при котором учитывается не толь |
||
ко |
приращение |
функции |
На очередном шаге (.скорость |
ее изменения), |
|
но |
и разность |
приращений на двух |
последних шагах |
(ускорение). |
|
Коэффициент, с которым учитывается ускорение,-эквивалент массы
шарика, катящегося в точку минимума |
и проскакивающего |
благодаря |
||||
наличию массы локальные |
"ямки" и "бугорки" (рис. |
4.3). |
|
|||
5. Сглаживание; |
сначала найдем |
максимум не исходной, а |
||||
сглаженной |
функции^fxj |
(рис . 4 . 4) . |
йсли область |
притяжения |
||
глобального |
макоимуна |
значительна, |
то^естественно,предположить, |
|||
что число локальных максимумов у сглаженной функции меньше, а глобальный максимум близок к максимуму исходной функции; Найден-1
нов решение .Y монет |
быть принято за |
начальную точку поиска. |
6. Приближение: |
исходная функция |
на всем множестве допус |
тимых значений аргумента или в достаточно широкой окрестности точки поиска заменяется суммой первых слагаемых ее разложения в ряд по некоторой системе функций. Обычно применяемые сиотемы функций{полиномы)4еоышева, Лагерра, Эрмита, тригонометрические ряды Фурье и др.) обладают тем свойством, что первые их слага емые меняются более плавно, содержат меньшую долю высокочас тотных составляющих. Поэтому замена функций первыми слагаемыми раз7южения в такие ряды, по существу, эквивалентна сглаживанию.
id-
Приближение (иногда интерполяцию) осуществляют по несколь ким значениям суункции. Через коэффициенты ряда находят полохв' ние максимума получившегося выражения, а затем уточняют приб лижение^ ли вводя дополнительные значения функции в окрест ности найденного максимума, или увеличив число членов разло жения.
г - |
JW |
3?
|
§ 5. Задача уоловного иакониума функции. |
|
|||||||
|
|
Метод Лаграняа . |
|
|
|
|
|
||
|
До сшх пор ии рассматривали |
задачу |
о максимума функциа, |
||||||
в gosopux ыноаеотво дооуотншх |
решений |
ограничивалось |
?огь- |
||||||
ко |
неравенствами, |
заложенными аа каждую во соогавдявдих |
|||||||
аргумента. |
Однако |
в реальных задачах |
ого множество опреде |
||||||
ляется уоловияня |
типа равенств |
(свяаамв) илн УСЛОВИЯМИ |
гого |
||||||
п другого типа. Методы раненая |
тагах |
аадач |
буду? pacoaos- |
||||||
рэны ниже. |
|
|
|
|
|
|
|
|
|
|
5 . 1 . Начнем с |
задачи |
об уоаовиоа накснауме |
фунзцив |
двух |
||||
|
Требуется иайта гакой |
вектор J ^ | ^ j 3 |
У 2 ] |
» ч*обн |
фунв- |
||||
ц ш |
I (X) достегала максимального значения |
при уодовга: |
|||||||
|
Jо |
|
|
|
|
|
|
(5.1) |
|
|
|
( Z j , 12 ) |
- О |
|
|
|
|||
|
|
|
|
|
|
|
|||
Ограннчевня |
з ssaS задаче огоуготяуют. |
|
|
|
|||||
|
Естественный куть решения такой задачи, на парный вагяяя, |
||||||||
вакдвчаэтоя |
в гои, чтобы из урвавшая |
(5.1) знрааать одэо |
|||||||
переменное |
через |
другое, |
аапраыер, |
|
|
|
|
||
подученную |
I |
V*fc2), |
в |
|
|
(5.2) |
|
||
функцыв подставить |
|
|
|
|
|||||
|
^ ( X j , 1 2 ) - /о( |
С ^ ( Х 2 ) , 1 2 ) |
(5.8) |
|
|||||
Тем самым задача об усдозном ааноннуае йущнцш оводаяса
Езадаче о безуолоэаои цаксануне фуннцаа одной переменной. Однако переход от уравнвгшн [5,1) в (5.2) даже в случае
авух переменных н одного уоловня доотазочяо врудоеыов. Epoas того, задача^по оущеотву, онмиетрячна относительно неренвннет ^1 s Х 2 и иногда полезно в столь se ошшеграчной
3*
подучить уоловия оптжмальностш. Попробуем использовать нэобхо-
явные уояогия максимума выражения (5,8), шсключвз ва них ^ а к |
|||
цию |
Эта попытка обещает |
быть уопевной, зав как нао инге- |
|
psqyex ваиожмооть I j от Хг |
в е |
»°ЮДГ, а яви* в окрестности ра |
|
невая. |
|
|
|
Итак, |
необходимое уояоме |
накошу на функции J~0 в форме-Ч513) |
|
с/у, |
= |
г7ш |
|
ыуг |
ъу2 |
|
-ьу, d/s |
и |
<5 . « |
|||
Теперь |
нужно жвеота з |
это яыраяение |
вместо |
фикции |
^ |
|
||||||
W№ Уi> |
Дяя этого учтеа, что яе множестве |
допустимых решений, |
||||||||||
определяемом |
связь» (5.1), |
|
|
|
|
|
|
|
||||
|
|
|
1>Хг |
|
|
|
|
|
|
|
(5.1а> |
|
откуда |
|
|
|
|
|
|
|
|
|
|
||
|
о/У, |
с/с/ |
|
|
|
|
|
|
|
|||
|
|
|
|
|
ЪУ |
|
|
|
||||
|
|
o/Sz |
о/Уе |
1>х2 |
|
|
|
|
||||
Подставим полученное |
адрааеняе х (5.4). Необходимое условие мак- |
|||||||||||
самума ^(Я) |
прв ^ ( 1 ) |
» 0 примет |
и д |
|
|
|
|
|
||||
ъхг |
|
ъу |
/ |
ъу, |
ъл2 |
|
|
|
(5.5) |
|||
|
|
|
|
|
|
|||||||
8деоь предполагается, |
что |
/ |
0. Обозиачая |
черев у / |
ве |
|||||||
личиху |
|
J |
|
2 d . |
2А |
|
|
(5. |
4л) |
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
перэшгнем |
(5.5) как |
ЪУ |
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
2У |
= |
о . |
|
(5.6) |
||
|
|
|
|
|
|
|
|
|
||||
В свою очередь,(5.^а) можно записать в аналогичной форма
ЪУ2
39
^ S r + j / t ^ t •0 |
(5-7) |
Уеяовая ыакоимуиа (5.6) a (5.7) se требуют рваенвя уравимяя овявв (5.1) в совершенно овшвтрнчвн по форме.'Из оообввяо
угодно |
иигерпретировать, введя |
специальную функцию |
|
|
||||||||
|
|
|
|
|
Л / , |
(Ю |
|
|
(5.8) |
|||
|
5.2. Метод веопредеденвыг мвонитеяай |
Дегваияа |
|
|||||||||
Внравенве (5.8) завывают функцией Загранка, a ji |
- нвопрв- |
|||||||||||
деданныи иноштелви |
Лагранаа. е^нкцня |
Q |
обладает |
тш |
вале- |
|||||||
чатеаьным свойством, что яа мяоавота* допустимых ревеиаН |
|
|||||||||||
оза совпадает |
о |
J 0 |
прш яюбон коаечвоа |
авач«ннш |
jl * |
8акв~ |
||||||
5ны, что Э2?а ояойогво сохраняется а при «// , вйаясвден от X |
||||||||||||
Такны oOpasoa, |
еоаа |
ваи удастся |
вябратъ |
|
|
|
|
|||||
j$ была иалонмальша, а asos ыаковшуа яоотигадоя |
яа допуопи |
|||||||||||
ман аноаеогве, |
хе будеа Ыйномыэдааа и функция |
|
, |
|
||||||||
Определясь ^// |
a |
J< * ыоаао, |
каяряавр, а таков |
нооявдоэа- |
||||||||
58ЯЬЭ005?Н: |
|
|
|
|
|
|
|
|
|
|
|
|
1. |
Эапасызаеа усвоена аавеиауаа фуакдвн |
Р |
(ока швв$ гад |
|||||||||
(5.6), |
(5.7) |
)и находаа 89 к |
1| |
( » / / ) , |
\ |
i J |
) . врячва |
|||||
веяачвяа <у/ |
|
|
определена. |
|
|
|
|
|
|
|
||
2. |
Подбираеа |
|
^/ |
гакяа образоы, |
таоба |
шюш1лес~ь"~уравдв« |
||||||
ыне связи (5.1), т.е» |
|
|
|
|
|
|
|
|||||
Так как условия |
(5.6), ( § . 7 ) , (5.1) следуз» |
аапооредсгвана?) |
||||||||||
ив ееооходыаого |
уаяовмя ойишалъгзоста (5.5), го заное знача |
|||||||||||
ще Л |
найдеэеоа. |
|
|
|
|
|
|
|
|
|
||
Наряду с этяы вовыоавя Б другой подход, вернее, яяез нсэеоа-
козанив тех se уравнений: