full_book

ННГУ. Учебный курс «Модели и методы конечномерной оптимизации». Часть 2. Нелинейное программирование и многоэкстремальная оптимизация.

Далее исходная многокритериальная задача заменяется скалярной задачей

вида

Свойство 1.3.

а следовательно, (zi - zi )+ ≤(zi* - zi)+. Равенство возможно для тех i, где разности отрицательны, в силу (1.26). Возводя в квадраты и суммируя, получим, что

Ψz ( y) ≤ Ψz ( y*z ) , а следовательно, в силу оптимальности z *, значенияΨz ( y) и Ψz ( y*z ) совпадают. При этом возможно два случая: оба значения равны нулю или

же оба больше нуля.

Рассмотрим первый случай. Если оба значения равны нулю, то тождественно по i будет выполняться (zi* − zi )+ ≡ 0 , т.е. z *≤z. Но у нас z < z и поэтому нашлось z F, что z < z * ≤z. Это значит, что z int R+(z) int F+, что

(zi - zi )+ < (zi* - zi)+, в силу специфики операции (1.26) и исходного строгого неравенства (1.28). Отсюда видим, что Ψz ( y) < Ψz ( y*z ) , вопреки ранее

обнаруженному равенству этих значений. Полученные противоречия доказывают справедливость свойства.

)Замечание. Поскольку для z S(F) среди решений задачи (1.27) обязательно найдутся слабо эффективные точки уo, являющиеся прообразами оценки z, то

f (U z int F + { y *z } )= S ( F ),

т.е. за счет подбора идеальной точки z можно найти любую слабо эффективную точку среди множества решений задачи (1.25)-(1.27).

Следует отметить, что в методе идеальной точки многокритериальная задача свелась ко множеству однокритериальных задач с тем же допустимым множеством Y, что и исходная. Функция (1.25) обеспечивает свертку векторного критерия в скалярный. Компоненты вектора z являются параметрами свертки. Данный метод относится к классу методов свертки.

Рассмотрим еще два вида сверток.

ННГУ. Учебный курс «Модели и методы конечномерной оптимизации». Часть 2. Нелинейное программирование и многоэкстремальная оптимизация.

1.3.6. Метод линейной свертки

В этом методе функция свертки линейна

Решение задачи (1.30) можно интерпретировать геометрически как смещение гиперплоскости (λ,z) = C в направлении убывания C при сохранении общих точек этой гиперплоскости со множеством F (рис.1.12).

Рис. 1. 12. Поиск решения в методе линейной свертки

Свойство 1.4. Пусть уλ*- решение задачи (1.29)-(1.30), а Yλ* — множество всех ее

глобально–оптимальных решений, тогда справедливо следующее. А. В общем случае уλ* Yo, а при λ > 0 yλ* Y*.

B. Если Y выпукло и fi(y) для i=1,…,n – выпуклы, то z* P(F) λ, что z* f(Yλ*).

С. В задаче общего вида может найтись оценка z* P(F), что λ≥0 z* f(Yλ*).

ДОКАЗАТЕЛЬСТВО. Пусть λ>0, а уλ* Y*. Тогда y Υ, что f(y) ≠ f(yλ*) и f(y) ≤ f(yλ*), т.е. i=1,…,n: f i (y) ≤ f i (yλ ) и при этом j: f j(y) <f j(yλ ). За счет того,

что λ >0, получим, что Ψλ(y) <Ψλ(yλ ), но это противоречит оптимальности уλ в

задаче (1.30).

Если же λ≥0 и ∑т λi =1, то в предположении yλ Υo, получим, что у Υ с

i=1

f i (y)<f i (yλ ) i=1,…,n, откуда вновь будет вытекать невозможное неравенство Ψλ(y) <Ψλ(yλ ). Таким образом, свойство (А) верно.

Свойство (В) следует из существования опорной гиперплоскости для выпуклого множества F в любой его граничной точке, а значит и в точках z* P(F). Эта гиперплоскость обеспечивает нестрогую отделимость z* от F. В качестве вектора λ можно выбрать вектор нормали к этой гиперплоскости. Нестрогий характер разделения приводит к тому, что не обязательно вектор f(yλ*) совпадет с z*, но для них обязательно совпадут значения функции свертки.

Свойство (С) подтверждается примером. Достаточно выбрать z , совпадающей с точкой А на рис.1.12.

Последнее свойство показывает, что метод линейной свертки в общем случае не позволяет выделить все эффективные решения.

ННГУ. Учебный курс «Модели и методы конечномерной оптимизации». Часть 2. Нелинейное программирование и многоэкстремальная оптимизация.

1.3.7. Свертка Ю.Б. Гермейера

Очевидно, что для возможности выделения всех эффективных решений необходимо изменить вид поверхности равного уровня функций свертки в пространстве критериев. Свертка, предложенная Ю.Б. Гермейером имеет поверхности равного уровня в виде «угла» (см. рис.1.13), где под «углом»

i=1

)Замечание. Свертку Гермейера используют в том случае, когда F R+(0), т.е.

когда z F z > 0. Выполнения этого требования всегда можно добиться, сделав замену переменных в пространстве оценок z:=z+f *. При этом придется предварительно решить n вспомогательных задач вида

fi* = min{ fi ( y) : y Y}.

По отношению к свертке (1.31) решается задача (1.30).

Рис. 1. 13. Изолинии свертки Ю.Б. Гермейера

min{Ψλ(y):y Υ}=Ψλ(yo), т.е. любое слабо эффективное решение может быть получено из решения задачи (1.31)–(1.30) при соответствующем выборе λ.

ДОКАЗАТЕЛЬСТВО проиллюстрируем геометрически. Пусть zo=f(yo). Подберем λ так, чтобы в пространстве переменных z поверхность уровня свертки Гермейера

max{λi zi : i =1,.., n} = max{λi fi ( yo ) : i =1,..., n}

имела угловую точку (см. рис.1.13) именно в точке f(yo). Это определит нужные значения λ.

n

Теперь докажем формально. Выберем λ i = (1 zio ) ∑(1 zoj ) . Предположим,

j=1

ННГУ. Учебный курс «Модели и методы конечномерной оптимизации». Часть 2. Нелинейное программирование и многоэкстремальная оптимизация.

Подставляя выражение для λi и умножая полученное неравенство на пстоящую в

противоречит исходному предположению об оптимальности по Слейтеру оценки zo = f(yo). Свойство доказано.

1.3.8 Проблема оценивания всего множества эффективных точек.

Приведенные в пунктах 1.3.2–1.3.6 схемы компромисса позволяют выделять отдельные эффективные или слабо эффективные точки, сводя задачу их оценивания к однокритериальным (скалярным) задачам математического программирования. Изменяя значения параметров выбранной схемы компромисса (величин уступок, идеальную точку z, параметры сверток λ) можно получать разные решения многокритериальной задачи. Однако остается открытым вопрос о построении

ε–покрытий множеств Υ или Υo, поскольку в рамках изложенных подходов не ясно как надо изменять параметры схем компромисса для получения подобного покрытия. Следовательно, нужны иные подходы.

Конкретизируем понятие ε – покрытия на примере множества эффективных

f ( yε* ) ≤ f ( y* ) + ε e, где е=(1,…,1)Т и в Υε* нет двух разных точек yε*1, yε* 2 , что f ( yε*1 ) ≤ f ( yε* 2 ).

Позднее в главе 6 будут рассмотрены специальные методы построения ε – оптимальных решений многокритериальных задач.

1.4. Модели функций, используемые в задачах оптимального выбора

Методы отыскания решений в задачах оптимального выбора можно разделить на две большие группы. К первой относятся методы аналитического и численно–аналитического решения, основанные на использовании условий экстремума (Лагранжа, Куна–Таккера и их обобщений). Ко второй – методы вычислительной оптимизации, использующие измерения локальных характеристик целевых функций и функций ограничений (т.е. значений этих функций, а также, возможно, их градиентов и матриц Гессе) для организации процесса поиска решения (такие измерения в дальнейшем будем называть

испытаниями).

Совокупность результатов всех проведенных к k–му шагу испытаний функции f называют поисковой информацией по этой функции. В дальнейшем будем использовать для нее обозначение ωk = ω( f ,Yk ) , где Yk={y1,…,yk}.

При любом способе поиска решения необходима предварительная (априорная) информация о свойствах решаемой задачи. В первом случае, при аналитическом решении задачи, на основе априорной информации выбирается конкретный вид условий экстремума, а во втором, при использовании вычислительных методов, априорная информация позволяет интерпретировать

ННГУ. Учебный курс «Модели и методы конечномерной оптимизации». Часть 2. Нелинейное программирование и многоэкстремальная оптимизация.

результаты проведенных испытаний с целью планирования следующих измерений и, тем самым, определяет выбор вычислительного метода.

Хорошей иллюстрацией последнего тезиса является задача поиска минимума функции f(y) на отрезке y D=[a,b]. Пусть проведено k=2 измерений функции в точках a<y1<y2<b, причем оказалось, что f 1<f 2. Если априори известно, что функция f принадлежит классу функций Φ = U[D], унимодальных на отрезке D, то решение y* может находиться только в подобласти Dk = [a, y2], и дальнейшие испытания следует проводить только в ней, если же дополнительно

следовательно, получение дополнительной информации приводит к изменению областей размещения последующих испытаний (рис.1.14).

Рис.1.14 Различное сокращение области поиска в зависимости от априорной информации

Определение 1.7. Под моделью задачи оптимального выбора будем понимать совокупность постановки задачи вместе с имеющимися предположениями о свойствах функций, входящих в постановку.

Методы решения всегда выбираются из принятой модели задачи. В дальнейшем будем употреблять также термины «модель целевой функции», «модель функций ограничений», понимая под этим совокупность предположений

освойствах этих функций.

Вэтом разделе будут рассмотрены модели функций, наиболее часто используемые при построении и исследовании вычислительных методов оптимизации, а так же в теории условий экстремума. Первая группа моделей особенно важна для теории локальной оптимизации и условий экстремума. Это выпуклые функции и их обобщения. Вторая группа моделей важна для многоэкстремальной оптимизации. Это Липшицевы, Гельдеровы функции, функции с липшицевыми производными по направлениям.

1.4.1. Модели функций, основанные на представлениях о выпуклости

Известно несколько подходов к понятию выпуклости скалярной функции f: Y→R1, определенной на выпуклом множестве Y.

1.4.1.1. Выпуклые, строго и сильно выпуклые функции

Материал этого пункта необходим при изучении второй и седьмой глав.

Обычное понятие выпуклости функции вводится как свойство, эквивалентное требованию выпуклости множества, называемого надграфиком или эпиграфом.

ННГУ. Учебный курс «Модели и методы конечномерной оптимизации». Часть 2. Нелинейное программирование и многоэкстремальная оптимизация.

Определение 1.8. Надграфиком (эпиграфом) функции f(y) называется множество

Определение 1.9. Функция f, определенная на выпуклом множестве Y, называется выпуклой (вогнутой), если

Понятие строгой выпуклости (строгой вогнутости) соответствуют случаю строго выполнения неравенства.

Оказывается, что выпуклость функции равносильна выпуклости ее надграфика (рис. 1.15).

Рис.1.15. Выпуклость функции и ее надграфика

Теорема 1.1. Пусть Y-выпукло. Функция f(y), выпукла на Y тогда и только тогда,

ДОСТАТОЧНОСТЬ. Легко видеть, что для любых y1, y2 из Y точки (yi, f(yi)) epi f для i = 1,2. Из выпуклости надграфика при любом α (0,1) следует, что точка

( yα , zα ) = (αy1 + (1 −α) y2 , αf ( y1) + (1 −α) f ( y2 ) epi f ,

что означает выполнение определения выпуклости.

Выпуклые функции обладают рядом полезных свойств. Укажем на некоторые из них.

Свойство 1.6. Множества YC = {y Y: f(y) ≤ C} выпуклы.

Свойство 1.7. Пусть Y – не пусто, выпукло и открыто, f – дифференцируема на

Y. При этом f выпукла (строго выпукла) на Y тогда и только тогда, когда y, y

Y

Свойство 1.8. Пусть Y – не пусто, выпукло и открыто, f(y) C 2(Y). При этом f выпукла на Y тогда и только тогда, когда у Y матрица Гессе Γ f(y) неотрицательно определена.

ННГУ. Учебный курс «Модели и методы конечномерной оптимизации». Часть 2. Нелинейное программирование и многоэкстремальная оптимизация.

Свойство 1.9. Любой локальный минимум выпуклой функции f на выпуклом множестве Y является глобальным, а само множество глобальных минимумов Y* выпуклым. У строго выпуклой функции существует единственный локальный минимум yo=y*.

)Замечание. Свойство 1.8 не имеет точного аналога для строго выпуклых функций. А именно, если Γ f(y )– положительно определена для y Y, то f – строго выпукла на Y, однако обратное не верно. Из строгой выпуклости f в общем случае следует лишь неотрицательная определенность матриц Гессе.

Справедливость этого замечания подтверждает следующий простой контр пример. Для строго выпуклой в R1 функции f(y)=y4 значение Γ f(y) = 12y2 и обращается в 0 при y = 0.

Следует обратить внимание на содержательную сторону свойств. Первое из них обеспечивает выпуклость множеств точек, ограниченных поверхностями равного уровня функции f. Второе свойство позволяет по измерениям функции и ее градиента в точке у отсекать области, не содержащие решения. А именно,

можно отсечь множество точек со значениями ( f ( y), y − y) > 0 , что позволяет

сокращать область поиска решения (рис.1.16). Наконец, третье свойство связывает выпуклость дважды непрерывно дифференцируемой функции с неотрицательностью собственных чисел матриц вторых производных функции f.

Рис.1.16. Сокращение области поиска для выпуклой дифференцируемой функции

Введем теперь понятие сильно выпуклой функции, важное при исследовании вычислительных методов.

Определение 1.10. Функция f(y), определенная на выпуклом множестве Y называется сильно выпуклой (с параметром ρ>0), если y1, y2 Y и α (0,1) выполняется

f (α y1 + (1 −α) y2 ) ≤ α f ( y1 ) + (1 −α) f ( y2 ) − ρα(1 −α) y1 − y2 2 . (1.35)

Для функций этого класса выполняются следующие усиленные варианты свойств 1.7, 1.8.

ННГУ. Учебный курс «Модели и методы конечномерной оптимизации». Часть 2. Нелинейное программирование и многоэкстремальная оптимизация.

Свойство 1.7′. Пусть f – дифференцируемая функция, определенная на непустом открытом выпуклом множестве Y. f сильно выпукла (с параметром ρ) тогда и только тогда, когда y, y Y выполняется неравенство

Из определения, при α (0,1) следует, что

f ( yα ) ≤ f ( y) + ( f ( y) − f ( y))α − ρ y − y 2α(1−α).

Отсюда

( f ( y + ( y − y)α) − f ( y)) /α ≤ f ( y) − f ( y) − ρ y − y 2 (1−α).

При α → 0 в пределе получим неравенство (1.4.5).

Свойство 1.8′.. Пусть выполнены предположения свойства 1.8. При этом f сильно выпукла (с некоторым параметром ρ>0) тогда и только тогда, когда найдется такое m>0, что у Y и d≠0

Приведем ДОКАЗАТЕЛЬСТВО ДОСТАТОЧНОСТИ. Пусть (1.37) выполнено, тогда

θ [ y, y] , что

f ( y) = f ( y) + ( f ( y) , y − y) + 0,5( y − y)T Γf (θ)( y − y) ≥ ≥ f ( y) + ( f ( y) , y − y) + 0,5 m y − y 2.

Отсюда по свойству 1.7′ функция f будет сильно выпукла с параметром ρ = 0,5m.

Это вытекает из того, что матрица Гессе эквивалентна диагональной матрице Λ с числами λ1, …, λN на диагонали: Γ f(y)=RTΛR, RT=R–1. При этом замена z = Rd позволяет представить (1.37) в виде:

откуда следует справедливость замечания.

Таким образом, сильная выпуклость для функции f C 2(Y) эквивалентна равномерной (по у) отделенности от нуля собственных чисел матриц Гессе Γ f(y).

Сильно выпуклые функции обладают рядом дополнительных замечательных свойств, позволяющих оценивать ошибку по координате в определении решения. Эти свойства являются следствиями из свойства 1.7′.

Следствие 1.7′.1. В условиях свойства 1.7′ для сильной выпуклости функции необходимо и достаточно, чтобы y, y Y и ρ > 0 выполнялось

ННГУ. Учебный курс «Модели и методы конечномерной оптимизации». Часть 2. Нелинейное программирование и многоэкстремальная оптимизация.

ДОКАЗАТЕЛЬСТВО НЕОБХОДИМОСТИ легко получается, если сложить (1.36) с аналогичным неравенством, в котором y и y поменяли местами.

Следствие 1.7′.2. В условиях свойства 1.7′ для точки y* – внутреннего глобального минимума сильно выпуклой (с параметром ρ) функции справедливы следующие оценки

Эти оценки непосредственно вытекают из (1.36) и (1.39), если принять y=y* и учесть, что f ( y* ) = 0 .

1.4.1.2. Квазивыпуклые, строго и сильно квазивыпуклые функции

Материал пунктов 1.4.1.2 и 1.4.1.3 является факультативным. При чтении его можно опустить и это существенно не повлияет на понимание следующего материала.

Квазивыпуклость является одним из обобщений понятия выпуклой функции. Дело в том, что для выполнения некоторых полезных свойств выпуклость является излишне жестким требованием. Можно наложить на функцию более мягкие требования, сохранив некоторые нужные свойства.

Введем другое понятие выпуклости (квазивыпуклость) эквивалентное

для любых С (свойство 1.6 выпуклых функций).

Определение 1.11. Функцию f, определенную на пустом выпуклом множестве Y, назовем квазивыпуклой, если y1,y2 Y и α (0,1)

Теорема 1.2. Функция f квазивыпукла на выпуклом Y тогда и только тогда, когдаC множества YC из (1.42) выпуклы.

НЕОБХОДИМОСТЬ вытекает из того, что из условия y1, y2 YC и (1.43) следует,

что

f ( yα ) = f (αy1 + (1 −α) y2 ) ≤ max{ f ( y1 ); f ( y2 )} ≤ C,

следовательно, yα YС.

ДОСТАТОЧНОСТЬ. Пусть (1.42) верно C. Для произвольных у1,y2 YC

достаточно выбрать С=max{f(y1),f(y2)}. Тогда y1,y2 YC, а в силу его выпуклости

α (0,1) yα=αy1+(1–α)y2 YC. Это значит, что f(yα) ≤ C=max{f(y1);f(y2)}, что эквивалентно (1.43).

)Замечание. Хорошо известное свойство класса выпуклых функций — замкнутость по отношению к операции сложения. Это свойство для

квазивыпуклых функций нарушается, т.е. сумма двух квазивыпуклых функций может не являться квазивыпуклой (например, f(y1,y2) = y13+y23).

Примеры поведения квазивыпуклых функций представлены на рис.1.17.

ННГУ. Учебный курс «Модели и методы конечномерной оптимизации». Часть 2. Нелинейное программирование и многоэкстремальная оптимизация.

Рис.1.17. Примеры поведения квазивыпуклых функций

Нетрудно видеть, что квазивыпуклость допускает существование у функции зон стационарности со значениями, отличными от глобально оптимального. Это приводит к нарушению важного свойства 1.9, характерного для выпуклых функций.

Для того чтобы это свойство было выполнено, используют понятие строгой квазивыпуклости (см. рис.1.17).

Определение 1.12. Функция f, определенная на непустом выпуклом множестве,

Свойство 1.9′′а. Для строго квазивыпуклой функции любой локальный минимум является глобальным.

ДОКАЗАТЕЛЬСТВО. Если предположить существование локального yo и глобального у* минимумов со значениями f(y*) < f(yo), то мы придем к противоречию, поскольку при α→0 точка уα=αy*+(1-α)yo → yo, но f(yα) < max{f(y*); f(yo)} = f(yo), и yo не может быть локальным минимумом.

Ксожалению, определение 1.12 имеет существенный недостаток, связанный

стем, что строго квазивыпуклая функция может не являться квазивыпуклой. Это

связано с тем, что в определении ничего не сказано о свойствах функции при f(y1)=f(y2). Существует еще одно понятие — квазивыпуклость, исправляющее эту ситуацию.

Определение 1.13. Функция f(y), определенная на непустом выпуклом Y, называется сильно квазивыпуклой, если y1, y2 Y и y1 ≠ y2 α (0,1) выполняется

(1.44).

Свойство 1.9″в. У сильно квазивыпуклой функции существует единственный локальный минимум, совпадающий с глобальным.

ДОКАЗАТЕЛЬСТВО. В силу предыдущего свойства все локальные минимумы будут глобальными. Далее, если бы y1 ≠ y2 и f ( y1) = f ( y2 ) = f ( y* ) то,α f ( yα ) < min{ f ( y1 ); f ( y2 )} = f ( y* ), что является противоречием к локальной оптимальности точек y1, y2 .

Вновь вернемся к квазивыпуклым функциям. Для них выполняется аналог свойства 1.7 выпуклых функций.