Opt_book_1

даже не требовать, чтобы внутренняя функция h(x) была бы выпуклой. Анализ доказательства утверждения 2.2.2 показывает, что справедлив также следующий результат.

Утверждение 2.2.3. Пусть g(y) выпуклая невозрастающая функция на R, а h(x) вогнутая функция на Rn. Тогда функция f(x) = g(h(x)) выпукла на Rn.

Используя утверждение 2.2.2, а также некоторое обобщение утверждения 2.2.3, получаем, что следующие две функции являются выпуклыми:

1.f(x) = eh(x); X = Rn;

2.f(x) = ¡ ln(¡h(x)); X = fx 2 Rn : h(x) < 0g.

Здесь h(x) выпуклая на Rn функция.

Рассмотрим далее два важных выпуклых множества, которые связаны с выпуклыми функция-

ми.

Эпиграф выпуклой функции. Напомним определение эпиграфа функции.

Определение 2.2.4. Пусть функция f(x) определена на множестве X µ Rn. Тогда множе-

называется эпиграфом или надграфиком функции f(x).

Теорема 2.2.3. Для того, чтобы функция f(x), определенная на выпуклом множестве X, была выпуклой на X, необходимо и достаточно, чтобы epi f был выпуклым множеством.

Доказательство. Необходимость. Пусть функция f(x) выпукла на X. Возьмем две произволь-

ные точки [x1; ¹1] 2 epi f и [x2; ¹2] 2 epi f. Возьмем также 0 · ¸ · 1 и обозначим x¸ = ¸x1+(1¡¸)x2, ¹¸ = ¸¹1 + (1 ¡ ¸)¹2. Тогда

¸[x1; ¹1] + (1 ¡ ¸)[x2; ¹2] = [x¸; ¹¸]:

Из выпуклости множества X следует, что x¸ 2 X. Кроме того, поскольку f(x) выпуклая функция,

Неравенство (2.2.9) показывает, что [x¸; ¹¸] 2 epi f. Таким образом, множество epi f является выпуклым.

Достаточность. Пусть epi f выпуклое множество. Тогда из [x1; ¹1] 2 epi f, [x2; ¹2] 2 epi f

следует, что [x¸; ¹¸] = ¸[x1; ¹1] + (1 ¡ ¸)[x2; ¹2] 2 epif для любого 0 · ¸ · 1, т.е. f(x¸) · ¹¸ = ¸¹1 + (1 ¡ ¸)¹2. Но это верно для любых ¹1 ¸ f(x1) и ¹2 ¸ f(x2), в частности, при ¹1 = f(x1), ¹2 = f(x2). Отсюда приходим к неравенству

f(x¸) = f (¸x1 + (1 ¡ ¸)x2) · ¸f(x1) + (1 ¡ ¸)f(x2):

Поскольку точки x1 2 X и x2 2 X были взяты произвольно, то f(x) выпуклая функция на X. ¥

Над эпиграфами выпуклых функций, как выпуклыми множествами, можно проводить различные операции сохраняющие их выпуклость. В частности, в качестве такой операции может быть

взята операция пересечения двух выпуклых множеств. Пересекая эпиграфы двух выпуклых функций f1(x) и f2(x), определенных соответственно на множествах X1 и X2, приходим к выпуклому множеству, которое является эпиграфом функции

f(x) = max ff1(x); f2(x)g :

Данная функция имеет вид функции (2.2.7) и определена на множестве X = X1 \ X2.

Но пересекая не только два, а произвольное конечное или бесконечное число выпуклых множеств, мы опять получаем выпуклое множество. Поэтому, если функция двух аргументов g(x; y)

также выпукла по x.

Более того, когда функция двух аргументов g(x; y) выпукла одновременно относительно обоих переменных и Y непустое выпуклое множество, то наряду с (2.2.10) функция

y2Y

выпукла по x при условии, что f(x) принимает конечное значение по крайней мере для одного x. Чтобы проверить это, возьмем x1 2 X и x2 2 X, где X область определения функции f(x). Тогда

для произвольного " > 0 можно указать y1 2 Y и y2 2 Y такие, что f(xi) · g(xi; yi) + ", i = 1; 2. Беря 0 · ¸ · 1 и обозначая x¸ = ¸x1 + (1 ¡ ¸)x2, y¸ = ¸y1 + (1 ¡ ¸)y2, имеем последовательно

Отсюда в силу произвольности " > 0 заключаем, что функция f(x) выпукла на X. Из приведенного доказательства видно, что если функция g(x; y) сильно выпукла, то и функция f(x) оказывается сильно выпуклой.

Эпиграф функции f(x) есть проекция эпиграфа функции g(x; y) на соответствующее подпространство, а именно,

epi f = f[x; ¹] : [x; y; ¹] 2 epi g для некоторого y 2 Y g :

Так как epi g выпуклое множество, то и его проекция также является выпуклым множеством. Область определения X функции f(x) совпадает с проекцией области определения функции g(x; y) на подпространство первой переменной x.

В качестве следствия получаем, что функция расстояния до непустого выпуклого множества

X ½ Rn

½(xjX) = ½min(xjX) = infy2Xkx ¡ yk;

где k ¢ k норма в Rn, выпукла на Rn. Функция же расстояния до наиболее удаленной точки множества X

½max(xjX) = supy2Xkx ¡ yk;

всегда выпукла, даже в случае отсутствия выпуклости у множества X.

Используя функцию вида (2.2.11), можно убедиться в справедливости условия (2.1.85). Дей-

где A и C симметричные матрицы, матрица A положительно определена. Тогда, если ввести функцию двух аргументов

g(x; y) = hx; Cxi + hy; Ayi + 2hx; BT yi;

то она является сильно выпуклой. Ее минимум по y достигается в единственной точке y = y(x) = ¡A¡1Bx и после подстановки приходим к квадратичной функции

f(x) = g(x; y(x)) = hx; (C ¡ BT A¡1B)xi;

которая также сильно выпукла. Поэтому матрица C ¡BT A¡1B, называемая дополнением по Шуру матрицы A в блочной матрице (2.2.12), должна быть положительно определенной.

Множество подуровня выпуклой функции. Обратимся теперь ко второму важному множеству (вернее, семейству множеств), связанному с выпуклыми функциями, а именно, к множеству подуровня. Напомним его определение.

Определение 2.2.5. Пусть f(x) функция, определенная на множестве X. Тогда множество

L¯ = fx 2 X : f(x) · ¯g

называется множеством Лебега или множеством подуровня функции f(x).

Нетрудно видеть, что если f(x) выпуклая функция, определенная на выпуклом множестве X, то для любого ¯ множество подуровня L¯ выпукло. Множество подуровня часто называют также

множеством уровня.

Теорема 2.2.4. Пусть f(x) непрерывная сильно выпуклая функция с константой µ, определенная на замкнутом выпуклом множестве X. Тогда для любого ¯ множество подуровня L¯ ограничено.

Доказательство. Если множество L¯ пусто, то утверждение теоремы тривиально. Предположим теперь, что множество L¯ не пусто. Возьмем произвольную точку x0 2 L¯. Пусть ¢1(x0) шар единичного радиуса с центром в точке x0. В силу непрерывности f(x) и замкнутости X су-

ществует такое ® 2 R, что f(x) ¸ ® для всех x 2 X \ ¢1(x0). Для значения f(x0) функции f(x) согласно определению величин ® и ¯ выполняются неравенства ® · f(x0) · ¯.

Покажем, что

Данное неравенство очевидно, если точка x 2 L¯ такова, что x 2 ¢1(x0). Далее будем предполагать,

что x 2 L¯ n ¢1(x0). Тогда kx ¡ x0k > 1. Положим ¸ = kx ¡ x0k¡1 < 1 и рассмотрим точку x¹ = ¸x + (1 ¡ ¸)x0. В силу выпуклости множества L¯ точка x¹ 2 L¯. Имеем x¹ = ¸[x + (¸¡1 ¡ 1)x0].

Откуда

kx¹ ¡ x0k = ¸kx + (¸¡1 ¡ 1)x0 ¡ ¸¡1x0k = ¸kx ¡ x0k = 1:

Таким образом, точка x¹ принадлежит границе единичного шара ¢1(x0). Поэтому с учетом сильной выпуклости функции f(x) получаем

®· f(¹x) · ¸f(x) + (1 ¡ ¸)f(x0) ¡ µ¸(1 ¡ ¸)kx ¡ x0k2 ·

Отсюда приходим к требуемому неравенству (2.2.13), из которого следует, что множество L¯ ограничено. ¥

При определении выпуклых функций все время оговаривалось, что они заданы на выпуклом множестве X. Существует также другой подход к описанию выпуклых функций, а именно, считается, что они заданы на всем пространстве Rn и при этом могут принимать значения §1, операции с которыми (сложение и умножение на ноль и на бесконечные числа) подчинены специальным правилам, устраняющим возможные двусмысленности. При таком соглашении функции вида f(x) ´ +1 или f(x) ´ ¡1 также считаются выпуклыми. Чтобы выделить множество точек, в которых значения функции f(x) отличны от +1, вводят понятие эффективной области функции, определяемой следующим образом domf = ©x 2 Rn : f(x) < +1ª:

У выпуклых функций их эффективная область всегда выпукла.

Те выпуклые функции f(x), которые не принимают значение ¡1 и не равны тождественно +1, называются собственными. В противном случае они называются несобственными. Важным

примером собственной выпуклой функции является индикаторная функция непустого выпуклого множества X 2 Rn:

±(xjX) =

Примером несобственной выпуклой функции на R, не равной тождественно +1, является следующая функция

:+1; x 2= [0; 1]:

Вдальнейшем мы будем рассматривать только собственные выпуклые функции. Более того, при их задании, как правило, будем придерживаться первого подхода, т.е. оговаривать то множество, на котором данная выпуклая функция определена и принимает конечные значения, т.е., говоря другими словами, указывать ее эффективную область.

Свойство выпуклости функций приводит к тому, что такие функции обладают многими дополнительными важными свойствами, например, они являются непрерывными функциями на относительных внутренностях своих областей определения (эффективных областей), а разрывы лишь на относительной границе этих областей.

Теорема 2.2.5. Пусть f(x) выпуклая функция на выпуклом множестве X µ Rn. Тогда f(x) непрерывна в любой точке x 2 riX.

Доказательство проведем при упрощающих предположениях, что intX 6= ;. Считаем также, не умаляя общности, что 0n 2 intX и f(0n) = 0. Выполнения последних двух предположений всегда можно добиться заменой переменной y = x¡x0, где x0 2 intX, и добавлением константы к функции. Эти преобразования соответствуют сдвигу надграфика функции f(x) в n + 1-мерном пространстве и фактически не меняют ее вид.

Обозначим через ¢±(0n) окрестность начала координат, определяемую с помощью первой гельдеровской нормы

Эта окрестность является выпуклым многогранником, натянутым на 2n точек xj;± 2 Rn, имеющими вид: xj;± = §±ei, где ei i-й единичный орт, 1 · i · n.

Поскольку окрестность ¢±(0n) есть выпуклый многогранник, порожденный точками xj;±, то любая точка x из этой окрестности представима в виде выпуклой комбинации точек xj;±, 1 · 1 · 2n. Поэтому в силу неравенства Йенсена и (2.2.14)

01

¹

Из (2.2.15) и (2.2.16) видно, что какое бы " > 0 мы ни взяли, за счет выбора 0 < ± · ± можно добиться того, что jf(x)j · " для всех x 2 ¢±(0n). Но это и означает, что функция f(x) непрерывна в нуле.

Если intX = ;, то следует обратиться к riX, которое согласно утверждению теоремы 2.1.8 обязательно непустое множество. По-прежнему, не ограничивая общности, можно считать, что 0n 2 riX и f(0n) = 0. При этом предположении riX = LinX и рассмотрение на функции f(x) на всем пространстве Rn следует заменить на ее рассмотрение на подпространстве Lin. Взяв в этом подпространстве соответствующий ортонормированный базис, задаваемый столбцами матрицы Q и сделав соответствующую замену переменных x = Qy, получаем вместо f(x) выпуклую функцию f~(y) = f(Qy). Выпуклое множество Y , на котором эта функция определена, уже имеет внутренность и начало координат принадлежит этой внутренности. Тогда после проведения рассуждений, аналогичных вышесказанным, приходим к выводу, что функция f~(y) непрерывна в начале координат. Следовательно, и исходная функция f(x) также будет непрерывна в начале координат. ¥

Следующий пример

показывает, что в относительно граничных точках выпуклая функция может терпеть разрывы. Чтобы исключить такие разрывы на границе, вводят понятие замкнутой функции.

Определение 2.2.6. Функция f(x), определенная на множестве X µ Rn, называется замкнутой, если ее надграфик epif является замкнутым множеством.

Можно показать, что замкнутые выпуклые функции уже непрерывны на своих областях определения. Кроме того, все множества подуровня у таких функций замкнуты. Это следует из следующего утверждения, справедливого и для не обязательно выпуклых функций.

Теорема 2.2.6. Функция f(x), определенная на множестве X µ Rn, является замкнутой тогда и только тогда, когда все множества подуровня

L¯ = fx 2 Rn : f(x) · ¯g

замкнуты.

Доказательство. Необходимость. Предположим, что последовательность fxkg такова, что xk 2 X и xk ! x¹. Кроме того, пусть f(xk) · ¯. Так как f(x) замкнутая функция, то обязательно x¹ 2 X. Действительно, в противном случае, взяв точки [xk; ¯ + "], где " > 0 произвольное число, получили бы: [xk; ¯ + "] 2 epif и [xk; ¯ + "] ! [¹x; ¯ + "]. Но [¹x; ¯ + "] 2= epif, что противоречит замкнутости функции f(x). Таким образом, x¹ 2 X и f(¹x) конечно.

Не умаляя общности, можно считать, что f(xk) ! ¹, где ¹ · ¯. В силу конечности значения функции f в точке x¹ и в силу замкнутости надграфика f(x) должно выполняться неравенство: f(¹x) · ¹ · ¯. Следовательно, ¹ конечная величина и, более того, L¯ замкнутое множество.

Достаточность. Пусть все множества уровня замкнуты. Если теперь взять сходящуюся к x¹ последовательность точек fxkg из X, для которой f(xk) ! ¯, то f(xk) · ¯ + " для любого " > 0 и k достаточно больших. Но множество L¯+" замкнуто. Отсюда в силу произвольности " > 0 заключаем, что f(¹x) · ¯. Поэтому, беря последовательность точек [xk; ¹k] 2 epif, сходящуюся к точке [¹x; ¹], получаем в силу вышесказанного

¹ = lim ¹k ¸ lim inf f(xk) ¸ f(¹x):

k!1 k!1

Таким образом, [¹x; ¹] 2 epif и, стало быть, epif замкнутое множество. ¥

В дальнейшем, как правило, будут рассматриваться лишь замкнутые выпуклые функции и нигде это специальным образом не оговаривается. Обратим внимание, что у замкнутой функции эффективная область может оказаться незамкнутой, например, если взять выпуклую функцию f(x) = 1=x, определенную на положительной части прямой, то для нее domf = fx 2 R : x > 0g.

2.2.2. Дифференциальные критерии выпуклости функций

Далее будем предполагать, что f(x) является дифференцируемой или дважды дифференцируемой функцией на выпуклом множестве X. В этом случае имеется возможность проверить ее выпуклость, привлекая ее производные (градиент и гессиан).

Теорема 2.2.7. (Критерий 1-го порядка). Пусть f(x) дифференцируемая функция на выпуклом множестве X µ Rn. Тогда f(x) сильно выпукла на X с константой µ > 0 в том и только в том случае, когда

для любых x; x0 2 X.

Доказательство. Необходимость. Пусть 0 < ¸ · 1. Согласно определению сильно выпуклой функции

f(¸x + (1 ¡ ¸)x0) · ¸f(x) + (1 ¡ ¸)f(x0) ¡ µ¸(1 ¡ ¸)kx ¡ x0k2

Отсюда, устремляя ¸ # 0, приходим к (2.2.17).

Достаточность. Пусть для любых x; x0 2 X выполнено (2.2.17). Возьмем x0 = ¸x1 + (1 ¡¸)x2, где x1; x2 2 X, 0 · ¸ · 1. Согласно (2.2.17) имеют место неравенства

f(x1) ¡ f(x0) ¸ hfx(x0); x1 ¡ x0i + µkx1 ¡ x0k2; f(x2) ¡ f(x0) ¸ hfx(x0); x2 ¡ x0i + µkx2 ¡ x0k2:

Умножим первое неравенство на ¸, а второе на 1 ¡ ¸, и сложим их. Учитывая, что x1 ¡ x0 = (1 ¡ ¸) (x1 ¡ x2) ; x2 ¡ x0 = ¸ (x1 ¡ x2)

и

¸(1 ¡ ¸)2 + (1 ¡ ¸)¸2 = ¸(1 ¡ ¸);

получаем

¸f(x1) + (1 ¡ ¸)f(x2) ¡ f(x0) ¡ µ¸(1 ¡ ¸)kx1 ¡ x2k2 ¸ hfx(x0); ¸x1 + (1 ¡ ¸)x2 ¡ x0i = 0:

Таким образом, выполняется неравенство (2.2.2) из определения сильно выпуклой функции. ¥

Поскольку сильно выпуклая функция при константе µ = 0 превращается просто в выпуклую функцию, то в качестве следствия из теоремы 2.2.7 получаем следующий результат.

Теорема 2.2.8. Дифференцируемая функция f(x), определенная на выпуклом множестве X µ Rn, выпукла тогда и только тогда, когда

для любых x; x0 2 X.

Если рассмотреть линейную функцию

g(x) = f(x0) + hfx(x0); x ¡ x0i;

то её график, являющийся аффинным множеством в Rn+1, касается графика дифференцируемой функции f(x) в точке x0 (см. рис. **) . Неравенство (2.2.18) означает, что f(x) ¸ g(x), т.е. график f(x) лежит выше графика g(x).

Для сильно выпуклых функций наряду с теоремой 2.2.7 имеет место также следующее утверждение.

Теорема 2.2.9. Пусть f(x) дифференцируемая функция на выпуклом множестве X µ Rn. Тогда f(x) сильно выпукла на X с константой µ > 0 в том и только в том случае, когда

для любых x; x0 2 X.

Доказательство. Необходимость. Для доказательства необходимости неравенства (2.2.19) можно воспользоваться теоремой 2.2.5. Имеем

f(x) ¡ f(x0) ¸ hfx(x0); x ¡ x0i + µkx ¡ x0k2; f(x0) ¡ f(x) ¸ hfx(x); x0 ¡ xi + µkx ¡ x0k2;

Складывая эти два неравенства, приходим к (2.2.19).

Достаточность Пусть выполнено (2.2.19). По теореме Ньютона-Лейбница

Z 1

f(x) = f(x0) + hfx (x0 + ®(x ¡ x0)) ; x ¡ x0id®

0

Таким образом, выполняется неравенство (2.2.17), которое в силу теоремы 2.2.7 достаточно, чтобы f(x) была сильно выпуклой функцией с константой µ. ¥

Приведем теперь аналогичный результат для просто выпуклых функций. Он получается из (2.2.19) при µ = 0.

Теорема 2.2.10. Пусть f(x) дифференцируемая функция на выпуклом множестве X µ Rn. Тогда f(x) выпукла на X в том и только в том случае, когда

hfx(x) ¡ fx(x0); x ¡ x0i ¸ 0

для любых x; x0 2 X.

Обратимся теперь к дважды дифференцируемым функциям и рассмотрим критерии их выпуклости и сильной выпуклости .

Теорема 2.2.11. (Критерий 2-го порядка). Пусть f(x) дважды непрерывно дифференцируемая функция на выпуклом множестве X µ Rn, причем intX =6 ;. Тогда f(x) сильно выпукла на X с константой µ > 0 в том и только том случае, когда

для любых x 2 X и y 2 Rn.

Доказательство. Неравенство (2.2.20) тривиально, когда y = 0n, поэтому в дальнейшем считаем, что y 6= 0n.

Необходимость. Предположим сначала, что x 2 intX. Тогда x + ®y 2 X для всех y 2 Rn и ® достаточно малых. Так как f(x) дважды дифференцируемая функция, то

f(x + ®y) = f(x) + ®hfx(x); yi + ®2 hy; fxx(x)yi + o(®2):

2

Доказательство. Прежде всего отметим, что множество A+ заведомо непустое, поскольку x0 2 riX и s 2 LinX. Имеем ¢"(x0) \ a X µ X для достаточно малого " > 0. Кроме того, x0 + ®s 2 a X для всех ® 2 R. Поэтому x0 + ®s 2 ¢"(x0) \ a X µ X при ® достаточно малом. По той же самой причине множество A¡ также непустое.

Проверим сначала, что функция Ã(®) является неубывающей на A+ Пусть ®1 2 A+, ®2 2 A+ и ®1 · ®2. Обозначим ¸ = ®1=®2 Имеем 0 < ¸ · 1. Поэтому в силу выпуклости функции f(x):

f(x0 + ®1s) = f ((1 ¡ ¸) x0 + ¸ (x0 + ®2s)) · (1 ¡ ¸) f(x0) + ¸f (x0 + ®2s) :

Следовательно,

Ã(®1) = ®1¡1 [f(x0 + ®1s) ¡ f(x0)] ·

· ®1¡1 [(1 ¡ ¸) f(x0) + ¸f (x0 + ®2s) ¡ f(x0)] = = ®1¡1¸ [f(x0 + ®2s) ¡ f(x0)] =

= ®2¡1 [f(x0 + ®2s) ¡ f(x0)] = Ã(®2):

Таким образом, Ã(®) неубывающая на A+ функция. Возьмем теперь любые ®1 2 A+, ®2 2 A¡ и обозначим

Имеем ¸1 > 0, ¸2 > 0 и ¸1 + ¸2 = 1. Так как

x0 = ¸1(x0 + ®2s) + ¸2(x0 + ®1s);

то в силу выпуклости функции f(x):

f(x0) = f (¸1(x0 + ®2s) + ¸2(x0 + ®1s)) ·

·¸1f(x0 + ®2s) + ¸2f(x0 + ®1s):

Откуда, если переписать данное неравенство как

(¸1 + ¸2) f(x0) · ¸1f(x0 + ®2s) + ¸2f(x0 + ®1s);

получаем

¸1 [f(x0 + ®2s) ¡ f(x0)] ¸ ¡¸2 [f(x0 + ®1s) ¡ f(x0)]

или

®1 [f(x0 + ®2s) ¡ f(x0)] ¸ ®2 [f(x0 + ®1s) ¡ f(x0)] :

Поэтому после деления данного неравенства на ®1®2 < 0 приходим к выводу, что Ã(®1) ¸ Ã(®2). ¥ Ниже под направлением s в Rn понимается любой ненулевой вектор из Rn. Если, кроме того,

его норма равна единице, то такое направление s называется единичным направлением.

Теорема 2.2.13. Пусть f(x) выпуклая функция на выпуклом множестве X µ Rn и пусть x0 2 riX. Тогда в x0 существует производная f(x) по любому направлению s 2 LinX:

Кроме того, f0(x0; s) · Ã(®) для всех достаточно малых ® > 0, где Ã(®) функция (2.2.23).