книги из ГПНТБ / Методы оптимизации в статистических задачах управления

Из равенств (244) и (245) легко вывести рекуррентное соотно­

=/ = 1, 2, . . і + 1; I - 0, 1, 2 , . . . (248)

Сопоставляя равенство (248) и тождество

которое следует из формулы (245), получим

( - ^ ) * Д М = о , , +

Иначе говоря, при реализации итерационной процедуры (245) векторы градиентов в различных итерациях взаимно ортогональны. Это указывает на конечность данной процедуры, так как в я-мер- ном пространстве не может существовать более чем я взаимно ортогональных векторов, т. е. итерационная процедура должна закончиться не более, чем за я шагов. Условие (248) при / = 1, 2, . . ., і можно также представить в виде

Это означает, что направления движения в различных итера­ циях процедуры (245) взаимно Л-ортогональны [98].

107

Используя равенство (249), определим параметры ß/ и вектор

c . i + 1 .

108

Подставляя выражения (250), (251), (252) в формулу (245), получим окончательные соотношения для метода сопряженных градиентов:

і — 1, 2, . . ., S1 -

dq (л:0)

д х

Расчетные формулы (253) могут оказаться неудобными, так как для их использования требуется знание матрицы вторых произ­ водных А при вычислении а,-. Учитывая выражение (246), можно представить формулы (253) в виде:

q (X1_cc.si+1) = min q(xl —asi+1).

а

В эти формулы матрица А не входит, но при реализации ре­ куррентной последовательности требуется вычисление градиента функции q (X) и определение точки минимума функции q (х) в на­

правлении s‘+1.

Из последних соотношений следует, что рассматриваемый метод может быть применен к функции произвольного типа [129]. Ана­ лиз сходимости показывает, что метод сопряженных градиентов имеет примерно, такую же широкую область сходимости, что и метод наискорейшего спуска, но скорость сходимости квадратич­ ная. В случае применения метода к неквадратичным функциям це­ лесообразно время от времени производить «обновление», метода

т. е. после ряда итераций (порядка п) в точке хк вновь выбирать

Метод сопряженных градиентов относится к группе методов сопряженных направлений. Другие методы этой группы являются

109

всегда может быть представлено в виде двух ограничений типа не­ равенств:

h (х) О,

— h (X) -п 0.

Одним из простейших по своей идее методов решения задачи нелинейного программирования является метод штрафных функ­ ций или метод нагружения [56], предложенный Курантом для решения некоторых специальных экстремальных задач.

Метод штрафных функций, примененный для решения задач (255) и (256), состоит в сведении исходной задачи к безусловной минимизации нагруженной функции Ф (х, а):

где ер (а, г) — произвольная непрерывно дифференцируемая функ­ ция, удовлетворяющая условию

Одним из возможных вариантов функции ф (а, г) является

Ф(а, г) = 4: е“2.

Тогда выражение для нагруженной функции Ф (х, а) будет

иметь вид

т

будет соответствовать штрафу, накладываемому за нарушение на­ ложенных ограничений.

Рассмотрим параметрическую задачу безусловной минимиза­ ции функции Ф (х, а), определяемой формулой (257), по пара­ метру X в функции параметра а. Точка минимума х (а) этой функ­

111

По теореме о методе штрафных функций точка х+ удовлетворяет ограничениям (255). Поэтому условие для А,+ можно представить в более компактном виде:

#5 *0, i = 1 , 2, . . т.

Это условие принято называть «условием дополняющей не­ жесткости».

Таким образом, необходимым условием оптимальности точки х+ в задачах (255), (256) в предположении наличия хотя бы одной внутренней точки в области D является существование системы

неотрицательных параметров I t , Xt, . . ., Х+, для которых удов­ летворяются условия (263), (264). Это утверждение составляет содержание основной теоремы нелинейного программирования —• теоремы Куна-Таккера в дифференциальной форме [115, 138].

Легко увидеть, что теорема Куна-Таккера является обобще­ нием необходимого условия безусловного минимума. В самом деле, если точка х+содержится внутри области D, т. е. Ft (х+) <0, (г = 1, 2, . . ., т), то из условий (263), (264) автоматически следует

^oW _ 0

дх ~ *

Поясним математический смысл параметров Xf, Х+, . . ., Х+.

Рассмотрим некоторое обобщение задачи (255), (256). Пусть тре­ буется определить х+ из условия

которое означает, что параметр Х£ характеризует чувствитель­

ность минимального значения функции к ограничению Fk (х) + + 8k = 0 при 6 = 0. Это вполне согласуется с условием (264),

Точка минимума этой функции z+зависит от параметров а и б:

z+ = z+ (а, б).

В соответствии с теоремой о методе штрафных функций имеем

1ішФ(г+(а/, б), аі) — F0 (х+(8)).

у->оэ

Дифференцируя это равенство по параметру бА и учитывая, что z+минимизирует Ф (х, а, б), получим

что и требовалось доказать.

Для задачи выпуклого нелинейного программирования, т. е. в предположении, что функции Ft (х) (і = О, 1 , 2, . . ., т) вы­ пуклы, необходимое условие оптимальности (263) или (264) можно представить в более симметричном виде. Построим функцию Лаг­ ранжа:

Так как по предположению Ft (х), (і = О, 1, 2, . . ., т) — вы­ пуклые функции, то при Хі О (і = 1, 2, . . ., т) функция L (х, К) также выпукла по х. Из условия (263) следует, что

114

Поэтому в соответствии с тем, что L (х, Я) выпукла по х, имеет место условие

причем это условие удовлетворяется для любой точки п-мерногс пространства Еп. С другой стороны, так как точка х+принадлежит области D, т. е. для нее удовлетворяется система ограничений (255), то для совокупности неотрицательных параметров Я(. (і = 1, 2 , . . ., т) выполняется условие

Объединяя формулы (268) и (269), получаем, что если при ре­ шении задачи выпуклого программирования окажется, что в об­ ласти D содержится хотя бы одна внутренняя точка, то для опти­ мального решения х+ можно найти такую совокупность неотри­

цательных параметров Я = я^, яt , . . . , Я+, при которой выпол­ няется неравенство

Соотношения (270) или (271) представляют собой необходимое условие оптимальности для задачи выпуклого нелинейного про­ граммирования (теорема Куна-Таккера). Легко показать, что эти соотношения одновременно являются достаточным условием оп­ тимальности для задачи нелинейного программирования (255), (256) общего вида при отсутствии требований выпулкости функ­ ций Ft (х) (і = 0, 1, 2 . . ., т) и выполнения условия Слейтера [46]. Действительно, из неравенства (270) следует

т

І= 1

Поскольку для любого допустимого вектора х, принадлежащего области D, определяемой условием (255), имеет место условие

т

I i X t F ( x ) < 0, то из правой части неравенства (272) и условия

і=і

(273) следует:

т

Fo (х) > F0 (х+) - У і г р . {х) ^ р о (х+).

і = 1

Для любой точки X d D. Это неравенство и доказывает доста­ точность условия (270) для оптимальности точки х+в общей задаче нелинейного программирования.

7. Градиентные методы решения задач нелинейного программирования

Впредыдущем параграфе были выведены необходимые условия оптимальности (263), (264) или (270), для задачи нелинейного про­ граммирования. Используя эти условия, в очень редких случаях удается получить аналитическим методом решение реальных задач. Однако, анализируя условия оптимальности, можно по­ строить некоторые итерационные процедуры, которые дают воз­ можность найти численное приближенное решение.

Вчастности, Эрроу и Гурвиц [115] предложили определять оптимальное решение задачи (255), (256) как седловую точку функции Лагранжа (267) в соответствии с необходимым и доста­ точным условием (270). Для случая строгой выпуклости [109]

функций F( (х), (і — 0, 1,2, . . ., т) и в предположении выпол­ нения условия Слейтера ими было доказано, что решение системы дифференциальных уравнений

сходится к точному решению задачи нелинейного программиро­ вания при t —» оо:

Ііш X (t) = X*

£->• со

скалярной переменной у. На основании этого предлагается ите­ рационная процедура следующего вида:

116