Добавил:
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:

Черноруцкий. Методы принятия решений

.pdf
Скачиваний:
749
Добавлен:
02.05.2014
Размер:
14.93 Mб
Скачать

262 Часть II. Алгоритмические методы скалярной оптимизации

также требования к выходным параметрам системы могут быть сформу­ лированы в виде неравенств

yj(x\x')<tj (j = lq-iy, y,(x')<t,^,

(11.53)

где У — Лу-мерный частный вектор управляемых параметров; х"^ — л^-мерный вектор управляемых параметров, влияющий на все q выход­ ных параметров и осуществляющий связь отдельных подсистем оптими­ зируемой системы. Размерность полного вектора управляемых парамет­ ров X = {х\ х^,..., л:^) равна

п = Х«,-

(И-54)

Используя технику построения целевых функционалов, представленную в главе 10, можно привести задачу решения системы неравенств (11.53) к виду

J(x) = Т фДхЛх^) -^ min ,

(11.55)

где критерий (11.55) является сглаженным вариантом минимаксного кри­ терия.

Функционалы (11.55) возникают и при других постановках задач опти­ мизации, не основанных непосредственно на минимаксных критериях. Поэтому задача (11.55) имеет достаточно общий характер.

Далее будут рассмотрены методы решения задачи (11.55) при следующих предположениях.

1.Критерий J(x) обладает относительно высокой степенью овражности, а его выпуклость гарантируется только в окрестности точки минимума.

2.Размерность (11.54) полного вектора управляемых параметров х велика, что, с одной стороны, затрудняет применение стандартных методов оптимизации из-за ограниченного объема доступной памяти компью­ тера, а с другой — не позволяет реализовать предельно возможные характеристики сходимости алгоритмов,

3.Решение задачи анализа оптимизируемой системы требует значитель­ ных вычислительных затрат. Поэтому в процессе оптимизации требу­ ется минимизировать число обращений к вычислению значений J(x).

4.Коэффициент заполнения у матрицы А(х) = J"{x) достаточно мал. Обычно можно считать у - I / q.

При сделанных предположениях структура матрицы А(х) не зависит от точки X (рис. 11.7).

Глава 11. Градиентные стратегии конечномерной

оптимизации

263

 

Аи

>Aiq

 

 

Агг

Агц

 

А{х) =

Аъъ

Аъц

 

 

 

 

Аф Аса Аф

Aqq

 

Рис. 11.7. Структурированная матрица Гессе

Подматрица Aij имеет размеры П{ х rij, а общее число ненулевых элементов равно

5nf+2n^2^n..

/=1

Таким образом, учитывая симметричность матрицы А(х), в памяти ком­ пьютера необходимо хранить

nf+n. q-\

/=1

ненулевых элементов. Необходимые сведения о схемах хранения разре­ женных матриц широко представлены в литературе.

Из изложенных в предыдущих разделах методов только методы Ньюто­ на и Левенберга могут рассматриваться при оптимизации больших сис­ тем с достаточно высокими показателями овражности т]. Однако непри­ менимость метода Ньютона в невыпуклой ситуации и отмеченные в разд. 11.2 недостатки метода Левенберга не позволяют считать вопрос решенным.

Обратимся снова к классу матричных градиентных схем (11.2).

В силу приведенных выше предположений и сформулированных в разд. 11.1 требований к функциям релаксации наиболее рациональный метод должен иметь функцию релаксации, значения которой резко сни­ жаются от /? = 1 при X = О, оставаясь малыми во всем диапазоне [О, Щ. И напротив, при X < О функция /?(Х) должна интенсивно возрастать. Кроме того, отвечающая RQC) матричная функция Н должна строиться без матричных умножений для сохранения свойства разреженности мат­ рицы А^ = /'(•^^).

264 Часть II. Алгоритмические методы скалярной оптимизации

Покажем, что в качестве такой R{X) с точностью до множителя могут быть использованы смещенные полиномы Чебышева второго рода Р^О^),

удовлетворяющие следующим соотношениям:

Л(Х)=1;Р2(^) = 2(1-2Л);

(11.56)

Л.,(Я) = 2(1-2^)Л(Я)-Л-1(^)-

График зависимости РД) / s для некоторого s представлен на рис. 11.8.

Ps/S

Рис. 11.8. Полином Чебышева

Действительно, полагая R(k) = PL(X) IL при достаточно большом значе­ нии L, получим сколь угодно быструю релаксацию любого слагаемого в представлении (см. разд. 11.1)

(11.57)

где

п

Это утверждение вытекает из известного факта равномерной сходимости последовательности {Р,(Х)1 s) к нулю при s-^oo на промежутке (0; 1). Далее будем предполагать, что собственные числа матрицы А,, нормиро­ ваны к промежутку (0;1). Для этого достаточно вместо матрицы /"рас­ сматривать матрицу J" I \\J\ а вместо вектора /'— вектор / 7 1 | / 1 .

Глава 11. Градиентные стратегии конечномерной

оптимизации

265

Отвечающая принятой R(X) зависимость //(Л) имеет вид

 

ЩХ) = [1- R(X)] /Х = [1-

PiXX) I L]IX,

(11.58)

Построение методов (11.2) непосредственно с функцией (11.58) возмож­ но, но приводит, как и в методе Левенберга, к необходимости решения на каждом шаге по к больших линейных систем уравнений с разрежен­ ной матрицей. Ниже показано, что существуют более эффективные приемы реализации.

Действительно, из выражений (11.58) следует, что Н(К) является полино­ мом степени L - 2, в то время как RQC) имеет степень L - 1. Поэтому для реализации матричного градиентного метода с указанной функцией Н{Х) нет необходимости решать линейные системы. Метод будет выглядеть следующим образом:

ус+1 ,, ^к _ ^^^^ ^ ^^^^ + ^^^ + a^^_,^/-V'(^') = ^' -

H{Aj)r{x'),

А,=Г(х').

(11.59)

Реализация метода (11.59) может быть основана на методах вычисления коэффициентов а, для различных степеней L. При этом число L должно выбираться из условия наиболее быстрого убывания J(x). Альтернатив­ ный, более предпочтительный подход основан на других соображениях.

Для функции

 

 

 

 

ЯДЛ) = а, +a2A.^-... + a^,_lЛ'"^

^ = 2, 3,

 

из (11.56) можно получить рекуррентное соотношение

 

(5 + 1)Я ^, =25(1-2Л)Я^ -(s-l)H^_, +4s,

(11.60)

(Я, =0,

Я2 = 2,

^ = 2,1 - 1) .

 

Из соотношения (11.60) имеем

 

 

 

 

 

5 + 1

 

5 + 1

5 + 1

 

(5 = 2 , 1 - 1 )

 

 

или

Л+1г^ . п

, >

 

 

 

 

 

в^^^=Х*^'[5 + 1]-Х'

 

 

25

5 - 1

45 .

(11.61)

s + \

' •' 5 + 1 '-' s + \

{•&,=0,%=-2J[,s

=

2,L-\).

Здесь х^'^'И есть S-Q приближение к вектору

х*"^' = x*'^'[L].

266 Часть II. Алгоритмические методы скалярной оптимизации

Таким образом, при фиксированной квадратичной аппроксимации f(x) функционала J(x) в окрестности х = х^ мы имеем возможность перехо­ дить от Р,, к /*,+1 в результате одного умножения матрицы Е-2А,, на век­

тор Ь,,

в полной мере используя свойство разреженности матрицы

Ai, = J'\

и не прибегая к дополнительным вычислениям градиента. Эф-

фективнорть алгоритма (11.61) при больших значениях г| определяется множителями релаксации для малых собственных значений матрицы Ai,. Рассмотрим положительную часть спектра (А, > 0), что особенно важно в окрестности оптимума, где матрица J\x) положительно определена. Ос­ новное достоинство метода с функцией релаксации вида Л/Х) = Л(^) / s состоит в том, что уже при малых s происходит заметное подавление сла­ гаемых из (11.57) в широком диапазоне значений X. В табл. 11.1 пред­ ставлены значения /?,. для внутреннего максимума /?л(^) и границы диапа­ зонов а, < X < Р,, где |/?,(Х)| < R,.

 

 

Таблица 11.1. Характеристики множителейрелаксации

S

3

4

5

6

7

8

Rs

0,333

0,272

0,250

0,239

0,233

0,230

а,

0,147

0,092

0,061

0,044

0,033

0,025

Р,

0,853

0,908

0,939

0,956

0,967

0,975

-К(Р)

5,30

10,0

16,0

23,3

32,0

42,0

Можно показать, что значения а,., (3, для ^ > 8 могут быть вычислены по асимптотической формуле

а,= 1,63/^2; Р,= 1-а,;

(11.62)

при этом R, < 0,23. В левой части спектра (X < 0) имеем RXX) > 1 + R[XO)X, поэтому значения производных Л'ХО) характеризуют множители релак­ сации для отрицательных слагаемых в (11.57).

Упрощенная схема алгоритма, построенного на основе соотношения (11.61), может быть реализована с помощью следующей последователь­ ности шагов.

Глава 11. Градиентные стратегии конечномерной оптимизации

267

11.5.1. Алгоритм RELCH

• Шаг 1. Задать начальную точку х; вычислить J := J{x)\ задать L.

• Шаг 2. Вычислить / ' := Г{х), J" := J\x)\ принять / ' := У71|/1|, / " : = / ' 7 | | Л | , а : = 1.

Шаг 3. По формуле (11.61) построить Ь^, принять У := х + Ь^.

Шаг 4. Вычислить /, := J{x'). Если /, > 7, перейти к шагу 5; иначе — к шагу 6.

• Шаг 5. Принять а := а / 2, У := х + abi^ и перейти к шагу 4.

• Шаг 6. Принять X := х\ / := /, и перейти к шагу 2.

Критерий окончания процесса здесь не указан. Как правило, вычисления заканчиваются по исчерпании заданного числа вычислений функционала либо при явной остановке алгоритма. Число пересчетов L по формуле (11.61) является параметром, задаваемым пользователем. Согласно

(11.62) первоначально целесообразно принять L~l,3^Jr\, Г| « 1/а^, где

г| — оценка степени овражности минимизируемого функционала. При таком выборе L множители релаксации в положительной части спектра будут гарантированно меньше 0,23. При конструировании алгоритмиче­ ских способов задания L необходимо учитывать, что последовательность {/,,}, где J^ = J(x^ +т&л) не будет при ^ —> оо убывать монотонно. На шаге

5 алгоритма применена регулировка нормы вектора продвижения с це­ лью предотвращения выхода из области справедливости локальной квадратичной модели функционала.

Дадим оценку эффективности метода (11.61) по сравнению с методом со­ пряженных градиентов (СГ), наиболее конкурентоспособным из стан­ дартных методов решения больших задач оптимизации.

Важная особенность алгоритмов типа RELCH заключается в том, что соответствующие множители релаксации будут определяться только числом итераций L и степенью овражности г\ задачи независимо от раз­ мерности п. В то же время в схемах методов СГ для завершения каждого цикла спуска требуется порядка п итераций; в противном случае соглас­ но (11.52) скорость сходимости может быть очень малой. Кроме того, каждая итерация метода СГ даже для квадратичной функции требует но­ вого вычисления градиента, т. е. дополнительных вычислительных за­ трат по анализам функционирования оптимизируемой системы.

268

Часть II. Алгоритмические методы скалярной оптимизации

Будем далее полагать, что алгоритм RELCH реализован с постоянным Ь = л]г\, имея в области Х>0 множители релаксации, не превышающие значения 0.23.

Рассмотрим задачу минимизации квадратичного функционала Дх) = I / 2{Ах, х) с положительно определенной матрицей А. Оценим ко­ личество вычислений/(х), требуемое для достижения контрольного век­ тора х' с нормой ||xl|<0,23, методом СГ и алгоритмом RELCH из на­ чальной точки х^ с ||xoll=l. По достижении точки х' вся ситуация повторяется, поэтому полученные ниже сравнительные оценки эффек­ тивности имеют достаточно общий характер.

Будем предполагать также, что для вычисления производных применя­ ются двусторонние конечно-разностные соотношения (10.15), (10.16).

Для достижения вектора х' по алгоритму RELCH требуется вычислить в точке х^ слабо заполненную матрицу Гессе с заполненной главной диа­ гональю и вектор градиента f(x^). При коэффициенте заполнения у для этого потребуется около 2уп'^ вычислений / Далее выполняется L= 1,3 v^ итераций по формуле (11.61), не требующих дополнительных анализов функционирования.

Чтобы получить вектор х'

по

методу

СГ, потребуется N итераций,

где число N определяется

из

условия

(11.52): ||х^|| = 2/^ = 0,23, т.е.

7V~ -2,2 / In t. Для выполнения каждой итерации необходимо обновление вектора градиента, что связано с 2п вычислениями/(х). Общее число вы­ числений/равно -4,4п/\п t. Относительный выигрыш в количестве вы­ числений/методом RELCH по сравнению с методом СГ задается функ­ цией \|/('п) == -2,2 / (ynln t). Очевидно, при г| -^ оо имеем /(г|) —> 1, \|/(г|) ^ с». Характерные значения \|/для у = 0,01 и w = 1000 даны в табл. 11.2.

Таблица 11.2. Функция выигрыша

л

100

1000

1500

10"

105

V

1,0

3,4

4,0

11,0

35,0

 

 

 

 

 

Таким образом, для получения сравнимых результатов при Г| = 10"* по алгоритму RELCH потребуется приблизительно в 11 раз меньше вычис­ лений/, чем по методу СГ. Следует однако учитывать, что при увеличе­ нии У] возрастает число L пересчетов по формуле (11.61). Это может при­ водить к возрастанию вычислительных погрешностей при вычислении -д, с большими номерами s.

Глава 11. Градиентные стратегии конечномерной оптимизации

269

Важным дополнительным преимуществом алгоритма RELCH по сравне­ нию с методом СГ является его достаточно высокая эффективность при решении задач с невыпуклыми функционалами, т. к. функция релаксации метода в левой полуплоскости целиком расположена в разрешенной об­ ласти и множители релаксации для А. > О быстро растут по абсолютному значению при переходе от д, к d,.+i. Характеристики роста были приведе­ ны ранее.

Так же как в методе ЭР, можно показать, что эффективность рассматри­ ваемого подхода сохраняется при степенях овражности, удовлетворяю­ щих неравенству г| < 1 / (пг^). Области работоспособности алгоритмов RELAX, RELCH в плоскости п,Г{ представлены на рис. 11.9.

Рис. 11.9. Области работоспособности

Ясно, однако, что при малых размерностях п более эффективными, во­ обще говоря, оказываются алгоритмы типа RELAX. Они позволяют за меньшее число Ny операций умножения матрицы на вектор получать заданные значения множителей релаксации. При больших ц это приво­ дит к существенному уменьшению накопленной вычислительной по­ грешности.

Для подтверждения данного замечания достаточно проанализировать характер изменения множителей релаксации при применении формул пересчета (11.37) и (11.61). Характерные зависимости для рассмотренных случаев (для фиксированного А,^ > 0) представлены на рис. 11.10 (1 — RELAX, 2 —RELCH).

270

Часть II. Алгоритмические методы скалярной оптимизации

Рис. 11.10. Значения множителей релаксации

Из рис. 11.10 видно в то же время, что если область локальной квадратичности функционала J(x) невелика (СА мало), то ~ 1 и более эффек­ тивными могут оказаться методы типа RELCH.

ЧАСТЬ III

ЭКСПЕРТНЫЕ СИСТЕМЫ ПРИНЯТИЯ РЕШЕНИЙ

Тут вы можете оставить комментарий к выбранному абзацу или сообщить об ошибке.

Оставленные комментарии видны всем.