Глава 2. Условия существования минимума в детериминированных задачах оптимизации

Одномерная задача оптимизации

Рассмотрим задачу поиска минимума одномерной функции (), определенной на интервале:

Как известно из курса математического анализа, внутренние точки локального и глобального минимума функции () являютсястационарными точками критерия оптимальности () (см. рис. 1) или, что то же самое, решениями уравнения

Рис. 1.  Локальные минимумы(x₁^*,x₃^*), локальный максимум (x₂^*) и точка перегиба (x_c^*) функции Φ(x).

Но, решениями уравнения (1) являются не только точки минимума, но и точки максимума и точки перегиба функции () (см. рис. 1). Следовательно, уравнение (1) является только необходимым условием минимума, но не является достаточным условием.

Если существует вторая производная функции (), то для отыскания достаточных условий минимума() можно привлечь эту производную. Из курса математического анализа известно, что если в точкезначение первой производной функции() равно нулю, а второй производной – положительно, то в этой точке функция() имеет минимум (локальный или глобальный).

Таким образом, имеем следующую теорему:

Теорема 1. Если функция () определена и дважды непрерывно дифференцируема на интервале [,], то необходимыми и достаточными условиями минимума этой функции в точкеявляются условия

Приведем доказательство справедливости последнего условия. Для этого рассмотрим разложение функции () в ряд Тейлора в окрестности точки:

Здесь – некоторая достаточно малая величина.

Для того, что в точке достигался минимум функции(), необходимо, чтобы разностьбыла положительной. Поскольку, то из (2) следует, что для выполнения этого условия необходимо, чтобы имело место неравенство

Точками, в которых функция () принимает наименьшее на интервалезначение, могут быть либо ее стационарные точки, лежащие внутри интервала, либо ее точки недифференцируемости (критические точки критерия оптимальности), к которым следует отнести также концы интервала .

Поэтому точку, в которой функция принимает наименьшее на интервалезначение, нужно искать, сравнивая значения этой функции во всех стационарных и критических точках.

Многомерная задача безусловной оптимизации

Многие методы решения многомерной задачи нелинейного программирования основаны на сведении этой задачи к задаче безусловной оптимизации. Поэтому рассмотрим -мернуюзадачу оптимизации без ограничений

По аналогии с одномерной задачей, для того, чтобы точка являлась минимумом функции() необходимо выполнение условия стационарности функции() в точкеили, что то же самое, необходимо, чтобы точкабыластационарной точкой функции ():

Положим, что функции () дважды непрерывно дифференцируема в окрестности точки. Для поиска достаточного условия достижения этой функцией в точкеминимума, разложим() в окрестности точкив ряд Тейлора:

Здесь -мерный вектор-столбец достаточно малых величин,–-матрица Гессе.

По аналогии с одномерной задачей, для того, что в точке достигался минимум функции(), необходимо, чтобы разностьбыла положительной. Поскольку, то из (3) следует, что для выполнения этого условия необходимо, чтобыматрица Гессе () была положительно определена в точке.

Таким образом, справедлива

Теорема 1. Если функция () дважды непрерывно дифференцируема в окрестности точкиRⁿ, то необходимыми и достаточными условиями минимума этой функция в точке являются условия:

() - положительно определена

Таким образом, теорема 1 определяет необходимые и достаточные условия минимума в многомерная задача безусловной оптимизации.

Заметим, что условие ()=0 является тольконеобходимым условием минимума в многомерной задаче безусловной оптимизации.

По аналогии с одномерной задачей точками, в которых функция () достигает своего наименьшего значения, могут быть либо еестационарные точки функции, либо критические точки функции (точки недифференцируемости).

Поэтому так же, как в одномерной задаче, точку, в которой функция () принимает наименьшее значение нужно искать, сравнивая значения этой функции во всех стационарных и критических точках.

Задача выпуклого программирования

Рассмотрим -мернуюзадачу выпуклого программирования

() –выпуклая функция, – выпуклое не пустое ограниченное и замкнутоемножество допустимых значений вектора варьируемых переменных. Напомним, что по определению выпуклая функция является непрерывной.

Во внутренних точках множества допустимых значений функция() достигает минимального значения в точках, которые являются ее либостационарными точками функции, либо критическими точками функции. Однако функция может достигать своего наименьшего значения и в граничных точках области определения .

Важные свойства задачи выпуклого программирования определяют две следующие теоремы.

Теорема 1. Если внутренняя точка множестваявляется точкой локального минимума взадаче выпуклого программирования, то в этой точке функция достигает глобального минимума.

Доказательство. Положим, что в точке функцияне достигает наименьшего во множествезначения. Тогда существует точка, для которой. Рассмотрим сечение. Функция() достигает в точке=0 наибольшее значение. Действительно, поскольку

Это значит, что существует окрестность точкии некотороетакие, что

. Но тогда , что противоречит условию теоремы

Из теоремы следует, что во всех точках локального минимума выпуклая функция имеете одинаковые значения.

Пример 1

Рассмотрим не строго выпуклую квадратичную функцию , определенную в области=(см. рис. 1). Все локальные минимумы этой функции равны нулю и расположены на прямой -+=0 .

MATLAB-программа:

x=-2:0.06:2;

y=x;

[X,Y]=meshgrid(x);

Z=(X+Y).^2;

V=[0.025,0.5,1,2,4,8];

[C,h]=contour(X,Y,Z,V);

clabel(C,h);

Рис. 1.  К прим. 1

Теорема 2. Функция (),строго выпуклая функция на выпуклом множестве, имеет в этом множестве не более одной точки минимума (глобального)

Условие существования решения задачи выпуклого программирования дает следующая теорема.

Теорема 3. Пусть функция () выпукла навыпуклом множестве и дифференцируема в точкеТогда для того чтобы эта точка была точкой минимума функции(), необходимо и достаточно, чтобы для любой точкивыполнялось неравенство

Необходимость. Рассмотрим сечение функции(). Функция() определена на отрезке [0,1], имеет в точке=0 локальный минимум и дифференцируема в этой точке. Следовательно(равенство нулю имеет место в том случае, когда точкаявляется внутренней точкой множества). По правилу дифференцирования сложной функции

Достаточность. Пусть в точке выполнено неравенство (1). Рассмотрим сечениефункции(), где– произвольная точка из множества. Поскольку() выпукла во множестве, то функция() также выпукла на отрезке [0,1]. Кроме того, из неравенства (1) следует, что(0)0. Это означает, что() - неубывающая отрезке [0,1] функция, т.е.(0)(1). Последнее неравенство означает, чтои в точкефункция() принимает наименьшее в областизначение

Теорему 3 иллюстрирует рис. 2, линии уровня на котором получены с помощью следующей MATLAB-программы:

x=-2:0.06:-0.1;

y=x;

[X,Y]=meshgrid(x);

Z=100.*(Y-X.^2).^2+(1-X).^2;

V=[2,8,32,125,250,500,1000,2000];

contour(X,Y,Z,V);

[C,h]=contour(X,Y,Z,V);

clabel(C,h);

Точкана рис.рис. 2 является точкой локального минимума, поскольку не существует такой точки, что скалярное произведение ((),(-)) отрицательно. Точка, например, не является точкой локального минимума, так как существуют такие точки, что скалярное произведение ((),(-)) отрицательно.

Рис. 2.  К теореме 3.

Заметим, что если точка является внутренней точкой множества, то условие (1) эквивалентно условию. Таким образом, условие (1) можно рассматривать как обобщениенеобходимого условия минимума в многомерной задаче безусловной оптимизации.

Задача нелинейного программирования с ограничениями типа равенств

Рассмотрим -мернуюзадачу нелинейного программирования

где

-не пустое, ограниченное замкнутое множество.

Нам понадобятся далее понятия множителей Лагранжа и функции Лагранжа. Функция Лагранжа для задачи (1) с ограничениями (2) определяется формулой

где --вектормножителей Лагранжа.

Нам понадобится также понятие условия регулярности ограничивающих функций. Если точка , то условие линейной независимости векторовназывается условием регулярности задачи (1), (2) в точке. Данное условие означает, в частности, что количествоограничивающих функций, проходящих через точку , не может быть больше размерностивектора варьируемых параметров, т.е. должно быть выполнено неравенство . Например, на рис. 1 в ситуации (а) количество ограничивающих функций, проходящих через точку, превышает размерность вектора варьируемых параметров, в ситуации (б) в точкеградиенты(),() ограничивающих функций коллениарны.

Рис. 1.  Ситуации, в которых в двумерном случае (n=2) не выполняется условие регулярности системы функций h(X) в точке X^*.

Исключительно важное место в теории и практике решения задач нелинейного программирования с ограничениями типа равенств занимает следующая теорема (правило Лагранжа для задачи оптимизации с ограничениями типа равенств).

Теорема 1. Пусть функция и функцииимеют непрерывные частные производные в некоторой окрестности точкии пусть эта точка является точкой локального минимума функциипри условии. Пусть, кроме того, выполняется условие регулярности системы функцийв точке. Тогда существуют такиемножители Лагранжа ,[1,],не все из которых равные нулю одновременно, что для функции Лагранжа точкаявляетсястационарной точкой функции, т.е.

Доказательство теоремы приведем для одного частного случая. Пусть =3, т.е. минимизируемая функция, и пусть заданы два ограничения типа равенств

Ограничения (5) определяют область допустимых значений , которая представляет собой некоторую кривую в пространстве, являющуюся результатом пересечения поверхностей,. Допустим, что функция() имеет точку локального минимумав области. Допустим также, что выполнены условия теоремы 1, т.е. функции(),имеют непрерывные частные производные в некоторой окрестности точкии градиенты функцийв этой точке линейно независимы. Положим, кроме того, что из равенств (5) переменные,можно выразить через переменнуюв виде

Подставив выражения (6) в выражение для функции (), преобразуем исходную задачу к следующейзадаче оптимизации без ограничений, которая содержит только одну переменную :

Поскольку функция () имеет точку минимума, производная пофункциив точкеравна нулю:

Дифференцируя по выражения (5), получим

Запишем уравнения (8), (9) в виде матричного уравнения

Поскольку вектор не нулевой, то равенство (10) возможно лишь в том случае, когда. Но это возможно лишь в том случае, когда вектора-строки матрицылинейно зависимы. Значит, существуют такие скаляры, не все равные нулю, что

В выражении (11) скаляр a не может быть равен нулю, поскольку противное означало бы линейную зависимость векторов ,что противоречит условию теоремы. Поэтому после деления наиз (11) получим

Таким образом, для рассматриваемого частного случая справедливость теоремы доказана

Отметим, что теорема 1 не требует знакоопределенности (т.е. положительности или отрицательности) множителей Лагранжа . Теорема требуется лишь того, чтобы не все из этих множителей равнялись нулю одновременно.

Пример 1

Рассмотрим в качестве минимизируемой функции ()функцию Розенброка (=2). Положим, что имеется только одно ограничение типа равенств, которое задается с помощью функции()=++0.2=0. Легко видеть, что градиенты функций(),() равны, соответственно

Задачу иллюстрирует рис. 2, линии уровня функции Розенброка на котором получены с помощью следующей MATLAB-программы:

x=-2:0.06:0;

y=x;

[X,Y]=meshgrid(x);

Z=100.*(Y-X.^2).^2+(1-X).^2;

V=[2,8,32,125,250,500,1000,2000];

contour(X,Y,Z,V);

[C,h]=contour(X,Y,Z,V);

clabel(C,h);

В точках ,векторы градиента функций,() не коллениарны. Поэтому для этих точек не существует не равный нулюмножитель Лагранжа , при которомфункция Лагранжа равна нулю: . И поэтому точки,не могут быть точками локального минимума для рассматриваемой задачи. Наоборот, в точкевекторы градиента функций,коллениарны и поэтому существует не равный нулю множитель, при котором справедливо равенствоОтметим, что, например в точке, градиентфункции Розенброка равен

Рис. 2.  K прим. 1.

Теорема 1 означает, что в ее условиях вместо задачи условной оптимизации (1), (2) можно решать задачу безусловной оптимизации

Необходимым условием существования локального минимума этой задачи в некоторой точке является условие(см. Теорему 2.1).

Широко известна другая форма теоремы 1, которую мы сформулируем в виде следствия этой теоремы.

Следствие. В условиях теоремы 1 существуют такие множители Лагранжа ,не все из которых равные нулю одновременно, что имеют место следующие равенства:

Здесь равенство (12) повторяет равенство (4), а справедливость равенства (13) следует из того факта, что по условиям теоремы точка удовлетворяет всем ограничениям, т.е..

Заметим, что из (13) следует справедливость еще одного полезного равенства

Теорема Куна-Таккера для задачи нелинейного программирования с ограничениями типа неравенств

Рассмотрим задачу нелинейного программирования

где () – произвольная функция,

не пустое, ограниченное замкнутое множество.

Нам понадобятся далее понятия множителей Лагранжа и функции Лагранжа для задачи нелинейного программирования с ограничениями типа неравенств. Функция Лагранжа для задачи (1) с ограничениями (2) определяется формулой

где --вектормножителей Лагранжа.

Нам понадобятся также понятия активных и неактивных ограничений. В точке локального минимума задачи (1), (2) каждое из ограничений выполняется либо в виде равенства, либо в виде неравенства. Ограничения первого вида называютсяактивными ограничениями. Остальные ограничения называются неактивными ограничениями.

Кроме того, нам понадобится также понятие условия регулярности для задачи нелинейного программирования с ограничениями типа неравенств. Если точка и ограниченияактивны, то условие линейной независимости векторов называетсяусловием регулярности ограничивающих функций в точке. Это условие означает, что, например, при=2 количествоограничивающих функций, проходящих через точку , не должно превышать 2 и в точкевекторы(),() не должны быть коллениарны Например, на рис. 1 в ситуации (а) количество ограничивающих функций, проходящих через точку, превышает размерностьвектора варьируемых параметров, в ситуации (б) в точке градиенты(),() ограничивающих функций коллениарны.

Рис. 1.  Ситуации, в которых не выполняется условие регулярности двумерной задачи.

Исключительно большое значение в теории и практике решения задач нелинейного программирования имеет следующая теорема (теорема Куна-Таккера для задачи условной оптимизации с ограничениями типа неравенств).

Теорема 1 (Куна-Таккера). Пусть функция и функцииимеют непрерывные частные производные в некоторой окрестности точкии пусть эта точка является точкой локального минимума функциипри ограничениях, удовлетворяющих в точкеусловию регулярности ограничивающих функций. Тогда существуют такие неотрицательные множители Лагранжа , что дляфункции Лагранжа точкаявляетсястационарной точкой функции, т.е.

Заметим, что в отличие от правила множителей Лагранжа, теорема 1 требует знакоопределенности множителей Лагранжа . Отметим также, что теорема не запрещает того, чтобы всемножители Лагранжа были равны нулю.

Поясним смысл теоремы на примере.

Пример 1

Рассмотрим двумерную (=2)задачу нелинейного программирования (1), (2), в которой область допустимых значений задается тремяограничивающими функциями, т.е. . Положим, что множествоимеет вид, представленный на рис. 2.

Рис. 2.  К прим. 1.

Для всех граничных точек области , очевидно, выполняютсяусловия регулярности ограничивающих функций.

Если точка находится внутри множества(т.е. являетсястационарной точкой функции )), то теорема будет справедлива, если положить всемножители Лагранжа равными нулю.

Пусть теперь точка находится на одной из дуг, например, на дуге AB, т.е. пусть ограничениеявляетсяактивным ограничением, а остальные ограничения – неактивными ограничениями. Тогда в этой точке и справедливость теоремы вытекает из правиламножителей Лагранжа для задачи с ограничениями типа равенств, если положить .

Пусть, наконец, точка находится в одной из угловых точек множества, например, в точке, т.е. пусть ограничения()0,()0 являютсяактивными ограничениями, а ограничение -неактивным ограничением. Тогда можно положить и справедливость теоремы вытекает из правиламножителей Лагранжа для задачи с ограничениями типа равенств

Теорема 1 означает, что в ее условиях вместо задачи условной оптимизации (1), (2) можно решать задачу безусловной оптимизации

Необходимым условием существования локального минимума этой задачи в некоторой точке является условие. (см. Теорему 2.1).

Широко известна другая форма теоремы 1, которую мы сформулируем в виде следствия этой теоремы.

Следствие. В условиях теоремы 1 существуют такие неотрицательные множители Лагранжа , что имеют место следующие равенства:

Здесь равенство (5) повторяет равенство (4), а справедливость равенства (6) следует из того факта, что по условиям теоремы точка удовлетворяет всем ограничениям, т.е./

Заметим, что из (6) следует справедливость еще одного полезного равенства

Теорема Куна-Таккера для общей задачи нелинейного программирования

Рассмотрим общую задачу нелинейного программирования

где – произвольная функция,

не пустое ограниченное замкнутое множество.

Нам понадобятся далее понятия множителей Лагранжа и функции Лагранжа для общей задачи нелинейного программирования. Функция Лагранжа для задачи (1) с ограничениями (2) определяется формулой

где ,--и- векторымножителей Лагранжа, соответственно.

Нам понадобится также понятие условий регулярности для общей задачи нелинейного программирования. Если точка и ограниченияявляютсяактивными ограничениями, то условие линейной независимости векторов , а также условие линейной независимости векторовназываютсяусловиями регулярности ограничивающих функций в точке . Смысл условий регулярности раскрыт в предыдущих параграфах.

Теорема 1 (теорема Куна-Таккера). Пусть функции ,,имеют непрерывные частные производные в некоторой окрестности точкии пусть эта точка является точкой локального минимума функции. Пусть, кроме того, выполняютсяусловия регулярности ограничивающих функций ,в точке. Тогда существуют такиемножители Лагранжа ,, не все из которых равные нулю одновременно, что дляфункции Лагранжа точкаявляетсястационарной точкой функции, т.е.

Теорема 1 означает, что в ее условиях вместо задачи условной оптимизации (1), (2) можно решать задачу безусловной оптимизации

Необходимым условием существования локального минимума этой задачи в некоторой точке является условие(см. Теорему 2.1).

Аналитическое решение многомерных задач нелинейного программирования

Ограничимся рассмотрением задачи нелинейного программирования с ограничениями типа неравенств

где () – произвольная функция,

не пустое, ограниченное замкнутое множество.

Рассмотрим прямое решение задачи ,(без использованиятеоремы Куна-Таккера), а также решение этой задачи на основе использования теоремы Куна-Таккера

Прямое решение (без использования теоремы Куна-Таккера).

Общая схема прямого решения задачи нелинейного программирования:

1. Из условия определяем всестационарные точки функции в области;

2. Определяем все критически точки функции (точки не дифференцируемости) функции в области;

3. Для каждой из границ области (ограничивающих функций) решаем соответствующую задачу на условный минимум:

• из уравнения выражаемпеременных через остальныепеременных и подставляем их в выражение для функции;

• вместо исходной задачи условной оптимизации получаем задачу безусловной оптимизации переменными;

• решаем эту задачу – находим стационарные точки полученной функции, лежащие на соответствующей границе области ;.