2.2 Задача выпуклого программирования

min f = ? X- допустимое множество

X=xRⁿ, g_i(x)0, i =1...m f и все g_i выпуклы

Утверждение:

Допустимое множество в задаче выпуклого программирования (ЗВП) выпукло

Доказательство:

пусть x₁,x₂X , 0,1

x₁+(1-)x₂X

воспользуемся свойством выпуклости g_i :

g_i(x₁+(1-)x₂) g_i (x₁) + (1-) g_i(x₂)0

тогда x₁+(1-)x₂X (см. опр. X),но рассматривается только отдельная g_i.

Все допустимое множество X рассматривается как пересечение выпуклых

множеств X выпукло.

Определение :

Функцией Лагранжа в ЗВП называется функция

f(x)+f(x) + (,g(x)), где _i0

справедлива теорема Каруша-Джона:

f(x)+=0, _i g_i(x*) = 0, i=1..m

В случае выпуклости множества X условие линейной независимости векторов

g_i(x), соответствующее активным ограничениям, можно заменить более просто

проверяемыми, а именно, так называемыми условиями регулярности.

Существуют различные условия регулярности ограничений:

А) если для любого i (1 i m)

существует x_iX : g_i (x_i) 0, то говорят, что множество X удовлетворяет

условию регулярности.

Б) условие регулярности Слейтера:

Существует точка xX такая, что для любого i=1...m g_i(x)0.

Легко доказать эквивалентность условий А и Б . Очевидно, что из Б

следует А. Пусть теперь выпукла А. Выберем x =, =1,

0, i=1...mэто возможно, так как X выпукло.

Тогда Б следует из неравенства Иенсена.

Замечание:

Условие регулярности означает, что допустимое множество имеет внутреннюю

точку (то есть оно не вырождено в точку(общий случай))

Определение:

Пусть существует функция (x,y), точка (x,y) называется седловой точкой функции, если выполняется следующее неравенство: (x ,y)(x,y)(x,y)

Теорема (о седловой точке):

Пусть функция Лагранжа ЗВП имеет седловую точку, то есть

f(x)+ f(x)+ f (x)+

для любого xRⁿ, _i 0, i =1...m

тогда x*- оптимальная точка (решение) ЗВП.

Доказательство:

Из левого неравенства следует:

,_i* 0, g_i(x*)0(см. опред. X)

Так как -любое, то при =0 получится:

0(* , g(x*))=0.

Из правого неравенства имеем:

f(x*)+0 f(x)+ f(x) xX

Тогда по определению оптимальной точки x*оптимальна.

Теорема Куна-Таккера:

Пусть в ЗВП выполнено условие регулярности Слейгера. Тогда для того, чтобы

x* была оптимальной точкой ЗВП, необходимо и достаточно , чтобы для

некоторого вектора * с неотрицательными компонентами точка (x*,*)

была седловой точкой функции Лагранжа.

Доказательство:

Достаточность следует из теоремы о седловой точке.

Необходимость -без доказательства.

3. Методы условной минимизации.

1. Метод проекции градиенты.

Этот метод является обобщением градиентного метода. Так как возможен выход за пределы допустимого множества, то вводится операция проектирования на X (поиск ближайшей точки на X).

x^k+1= p_x (x^k- f(x^k)), где p_x проекция на X.

Пример:

Если X- круг, то проекция точки на X есть точка пересечения окружности и прямой, соединяющей центр и проектирующую точку. Чем сложнее область X, тем сложнее операция проектирования.

Метод обладает теми же свойствами, что и градиентный метод с постоянным шагом.

2. Метод условного градиента.

Движение в направлении -f(x⁰), находим минимум по этому направлению (). Произвольно выбираем x¹ и вновь движение в соответствующем градиентном направлении и так далее.

В очередной точке x^k линеаризуют функцию f(x) (в этом «условность» метода, то есть линеаризация и есть «условие» в названии). Затем решают задачу min линейной функции на X и найденную точку используют для выбора направления движения.

При этом предполагается:

1. Задача мин. линейной функции на X имеет решение.

2. Это решение может быть найдено достаточно просто, лучше всего в явной форме.

3. Нужно указать правило выбора _k. Можно _k определить из условия наискорейшего спуска :

При определенных условиях : f(x*)- f* = o(1/k), где f* = min f(x) на X.

3. Метод модифицированной функции Лагранжа.

Соотношение (x* , ) (x* ,*) (x ,*) xRⁿ,   0

записывается так в случае функции Лагранжа.

(*) (x* ,*) = (x ,) = (x ,) = f(x*)

Если назвать x прямыми переменными, а  двойственными, то видно, что прямые и двойственные переменные равноправны.

Доказательство (*):

1. (x ,)  (x ,*) = (x* ,*) = f(x*) + (*, g(x*))

(x ,) (x* ,) = (x* ,*) = f(x*)

То есть (x ,) = f(x*)

2. (x ,)  (x ,) = (x* ,*) = f(x*)

(x ,) (x* ,) = (x* ,*) = f(x*) отсюда следует

(x ,) = f(x*).

Теорема Куна- Таккера позволяет исходную задачу заменить задачей отыскания седловой точки функции Лагранжа, то есть задачи вида (x ,).

Можно показать, что седловая точка определяется соотношениями:

,где

Если на x наложены ограничения (x  0), то :

Существуют различные методы поиска седловой точки, например:

Метод Эрроу- Гурвица

Сходимость таких методов затруднена в общей ситуации.

Метод модифицированной функции Лагранжа обладает лучшими характеристиками по сравнению с методами, использующими функцию Лагранжа.

- модифицированная функция Лагранжа.

11. некоторый параметр (штраф)

+ - взятие положительной части.

Свойства модифицированной функции Лагранжа.

1. Если  + k g(x)>0, то

- добавка (штраф) за то, что g(x)>0.

2. (функция Лагранжа),

иначе

Метод модифицированной функции Лагранжа.

Метод сходится к (x* ,*) со скоростью геометрической прогрессии.

Есть только задача безусловной минимизации, её можно решать например методом сопряженных градиентов.

4.Метод штрафных функций.

Идея метода:

Сведение задачи с ограничениями к последовательности задач без ограничений.

ЗНП:

min f(x), xX,

X = {xRⁿ, g_i(x) 0, i = 1...m

Определение:

Функция (x), определенная и непрерывная всюду в Rⁿ , называется штрафной функцией для рассматриваемой задачи с ограничениями, если:

Строится однопараметрическое семейство функций:

, где  - скалярный параметр, принимающий строго положительные значения.

Алгоритм метода штрафных функций:

1. Выбираем убывающую последовательность положительных чисел, такую, что .

2. Сопоставляем каждому _к из этой последовательности соответствующую функцию семейства (x,). Получаем последовательность функций (x,₁),..., (x,_k).

Пусть для любой функции этой последовательности может быть решена

задача безусловной минимизации (одним из рассмотренных ранее методов) :

.

Оказывается, что при некоторых условиях последовательность оптимальных точек для задач без ограничений может сходиться к оптимальной точке для исходной задачи с ограничениями:

Применяются различные штрафные функции. Наиболее распространена следующая щтрафная функция:

, где -«срезка» функции :

=0, если 0

=, если >0

или