Opt_book_1

Сопряженная функция определена на некотором множестве Y µ Rn, т.е. принимает на нем конечные значения. Непосредственно из определения сопряженной функции получаем, что для любых x 2 X и y 2 Y имеет место неравенство

которое носит название неравенства Юнга-Фенхеля.

Если рассмотреть сопряженную функцию к функции, которая сама является сопряженной

Как и для функции (2.2.45), будем опускать в обозначении второй сопряженной функции нижний символ Y , если Y = Rn.

Дадим геометрическую интерпретацию значений сопряженной функции fX¤ (y). Пусть y 2 Y задано и фиксировано. Равенство (2.2.45) можно переписать в следующем виде:

inf [f(x) ¡ hx; yi] = ¡fX¤ (y);

x2X

из которого следует, что разница между значениями функции f(x) и линейной функции hx; yi, вычисленными в любой точке x 2 X, всегда не меньше, чем ¡fX¤ (y). Это означает, что для всех x 2 X имеет место оценка f(x) ¡ hx; yi ¸ ¡fX¤ (y). Таким образом, ¡fX¤ (y) указывает на ту величину, на которую надо сдвинуть по вертикали вверх график линейной функции hx; yi, чтобы он стал подпирать снизу график функции f(x) на множестве X. Если значение функции fX¤ (y) положительно, то это означает, что на самом деле график линейной функции hx; yi следует опустить (см. рис. ****).

Непосредственно из определения (2.2.45) следует, что

Кроме того, опять же из определения (2.2.45) вытекает, что сопряженная функция fX¤ (y) является неубывающей функцией относительно множества X, т.е. для любых X1 ½ X2 µ X выполнено fX¤ 1 (y) · fX¤ 2 (y). Приведем некоторые другие свойства сопряженных функций.

Утверждение 2.2.4. Для любой функции f(x) и любого X µ Rn сопряженная функция fX¤ (y) выпукла на множестве Y , являющимся выпуклым множеством.

Доказательство. Пусть y1; y2 2 Y и 0 · ¸ · 1; тогда

· ¸ sup[hx; y1i ¡ f(x)] + (1 ¡ ¸) sup[hx; y2i ¡ f(x)] =

Таким образом, отрезок [y1; y2] принадлежит области определения функции fX¤ (y) и она на нем выпукла. ¥

Следствие 2.2.1. Вторая сопряженная функция к любой функции всегда выпукла на своем множестве определения.

Рассмотрим теперь вопрос о том, как вторая сопряженная функция fY¤¤(x) связана с исходной функцией f(x).

Утверждение 2.2.5. Для любой функции f(x) и x 2 X справедливо неравенство

Доказательство. Неравенство Юнга-Фенхеля запишем в виде hy; xi ¡ fX¤ (y) · · f(x). Это неравенство имеет место для любых x 2 X и y 2 Y . Правая часть зависит только от x. Взяв супремум по y 2 Y от левой части, получим

fY¤¤(x) = sup[hy; xi ¡ fX¤ (y)] · f(x):

y2Y

¥

Из утверждения предложения 2.2.5 вытекает также, что, независимо от множества Y , множество X всегда входит в область определения второй сопряженной функции.

Утверждение 2.2.6. Пусть функции f(x), f¤(y) и f¤¤(x) определены на Rn. Тогда f¤¤(x) = f(x) в том и только в том случае, когда f(x) выпуклая функция.

Доказательство. Предположим сначала, что f¤¤(x) = f(x). Тогда, согласно следствию к утверждению 2.2.4, функция f¤¤(x) выпуклая и, следовательно, функция f(x) также выпуклая.

Пусть теперь f(x) выпуклая функция на Rn. Представим f¤¤(x) в виде

Поэтому f¤¤(x) ¸ f(x). Отсюда, учитывая неравенство (2.2.49), приходим к требуемому результату f¤¤(x) = f(x). ¥

Из утверждений 2.2.5 и 2.2.6 следует, что для произвольной фунции f(x), даже не обязательно выпуклой на Rn, функция f¤¤(x) есть максимально возможная по значениям выпуклая функция,

На самом деле, как видно из (2.2.54), здесь супремум по y достигается и достигается он в точке 0n. Поэтому имеет место равенство f¤¤(x¤) = ¡f¤(0n), .

Учтем теперь, что в силу утверждения 2.2.6 вторая сопряженная функция к выпуклой функции совпадает с ней самой, откуда f¤¤(x¤) = f(x¤). Учтем также, что ¡f¤(0n) = f¤. Тогда справедливо равенство f(x¤) = f¤, на основании которого заключаем, что x¤ 2 X¤. ¥.

Приведем простейшие примеры сопряженных функций. Пусть x и y неотрицательные скаляры, X = Y = R и p > 1. Тогда следующие две функции представляют собой пару выпуклых сопряженных друг к другу функций:

Тогда f¤(y) = g(x(y); y). Нетрудно видеть, что x(0) = 0n и f¤(0) = 0. Предположим далее, что y > 0. В этом случае, поскольку значение произведения xy при положительных x всегда превышает значение этого произведения при отрицательных x, обязательно x(y) > 0. Отсюда следует, что g(x; y) = g+(x; y) = xy ¡ xp при этих x и y. Дифференцируя функцию g+(x; y) по x и приравнивая производную нулю, получаем, что

Аналогично, из этих же соображений следует, что x(y) < 0, когда y < 0. Тогда g(x; y) = g¡(x; y) = xy ¡ (¡x)p=p при x и y отрицательных. Теперь после дифференцирования функции g¡(x; y) по x и приравнивания производной нулю, получаем

Объединяя (2.2.56) и (2.2.57), приходим к (2.2.55).

Пусть R++ и R¡¡ соответственно положительная и отрицательная части вещественной прямой (не содержащие нулевой точки). Другая пара выпуклых сопряженных друг к другу функций получается, если взять p < 1, p =6 0 и X = R¡¡, Y = R++:

Здесь, как и в случае (2.2.55), p¡1 + p¡¤ 1 = 1. Таким образом, p¤ < 1.

Если p ¸ 1, то функция (2.2.59) является lp-нормой в Rn (нормой Гельдера). При p < 1 она перестает быть нормой, однако для единообразия мы сохраним это обозначение и для данных p. Кроме того, доопределим функцию (2.2.59) в случае p = 0, положив

При p < 1 считается, что kxkp = 0, если xi = 0 хотя бы для одного индекса i 2 [1 : n].

Возьмем p > 1. Используя покомпонентно соотношение (2.2.55), приходим к паре сопряженных между собой функций

определенных на X = Y = Rn. Неравенство Юнга-Фенхеля для данной пары функций примет вид

Отметим, что f(x) и f¤(y) совпадают, если p = p¤ = 2.

Можно рассмотреть также случай, когда p < 1, p 6= 0. Через Rn+ и Rn¡ обозначаем, как и прежде, неотрицательный и неположительный ортанты Rn, т.е. множества

Таким образом, неравенство (2.2.61) при p < 1 переходит в обратное и оказывается справедливым только при x 2 Rn++, y 2 Rn++.

Для нее выполняется: f¤n (y) = f(¡y). Аналогом (2.2.63) для пары функций (2.2.64), (2.2.65)

R¡¡

является следующее неpавенство:

hx; yi ¸ ln kxk0 + ln kyk0 + 1:

Как и (2.2.63), оно справедливо для всех x 2 Rn++, y 2 Rn++.

Рассмотрим еще один важный пример сопряженной функции, связанный с индикаторной функ-

Тогда

f¤(y) = sup fhx; yi ¡ ±(xjX)g = suphx; yi:

Данная функция носит название опорной функции множества X и обозначается ±¤(yjX). Как и любая сопряженная функция, она всегда выпукла. Если множество X ограничено, то ±¤(yjX) определена на всем пространстве Rn и принимает конечные значения. Как нетрудно видеть, сопряженная функция к функции f(x) на множестве X, есть по существу опорная функция к ее надграфику, а

именно,

fX¤ (y) = ±¤([y; 1] j epi f):

Опорная функция выпуклого ограниченного множества всегда является положительно однородной выпуклой функцией, равной нулю в начале координат, т.е. обладает свойствами: f(0) = 0 и f(cx) = cf(x) для c > 0. Более того, множество всех положительно однородных выпуклых функций на Rn совпадает с множеством опорных функций некоторых непустых замкнутых выпуклых множеств. Другими словами, выполняется равенство

для некоторого выпуклого множества C0. Можно получить выражение для множества C0 с помощью функции, сопряженной к f(x). Действительно, сопряженная функция к f(x) совпадает с индикаторной функцией множества C0, т.е. f¤(y) = ±(yjC0). Поэтому

Для положительно однородной функции f(x) определение (2.2.68) множества C0 можно переписать в виде

Множество C0 называется полярой множества C.

Двойственные операции. Как было отмечено, операции сложения двух выпуклых функция и операция умножения выпуклой функции на неотрицательную константу оставляют их выпуклыми. Укажем еще две операции над выпуклыми функциями, которые также не нарушают их выпуклости.

Умножение справа на константу. Умножение справа выпуклой функции f(x) на положительную константу ® > 0 определяется следующим образом:

Покажем, что (f®)(x) выпуклая функция. Действительно, пусть x1 2 Rn, x2 2 Rn. Тогда для

Отсюда следует, что (f®)(x) также является выпуклой функцией.

Инфимальная конволюция. Пусть f1(x) и f2(x) выпуклые функции на Rn. Введем в рассмотрение функцию

Функция f(x) называется инфимальной конволюцией пары функций f1(x) и f2(x) и обозначается (f1 © f2)(x) (используются также другие обозначения, например, (f1¤f2)(x)). Убедимся, что определенная таким образом функция является выпуклой. Возьмем произвольные x1 2 Rn, x2 2 Rn и любые ¸1 ¸ 0, ¸2 ¸ 0 такие, что ¸1 + ¸2 = 1. Положим x¸ = ¸1x1 + ¸2x2. Тогда имеем

=inf ff1(¸1z1 + ¸2z2) + f2(¸1z3 + ¸2z4)g ·

·inf f¸1f1(z1) + ¸2f1(z2) + ¸1f2(z3) + ¸2f2(z4)g =

Таким образом, инфимальная конволюция двух выпуклых функций есть выпуклая функция. Рассмотрим инфимальную конволюцию произвольной выпуклой на Rn функции f(x) и функ-

ции g(x) = ±(xja), где ±(xja) индикаторная функция точки a 2 Rn. Согласно (2.2.72) и (2.2.66), она равна

(f © g)(x) = f(x ¡ a):

Итак, при инфимальной конволюции индикаторной функции ±(xja) с функцией f(x) график последней сдвигается на величину a в пространстве переменных.

Возьмем теперь в качестве f(x) евклидову норму, а в качестве g(x) индикаторную функцию выпуклого множества X. Тогда получим

где ½(xjX) расстояние от точки x до множества X.

Операция инфимальной конволюции двух выпуклых функций f1(x) и f2(x) соответствует тому, что мы по этим двум функциям строим новую функцию (f1©f2)(x), у которой надграфик есть сумма надграфиков функций f1(x) и f2(x). Этот надграфик, будучи суммой двух выпуклых множеств,

есть выпуклое множество в Rn+1. При операции умножения справа выпуклой функции f(x) на положительную константу ® > 0 надграфик результирующей функции (f®)(x) получается путем умножения на константу ® надграфика функции f(x).

Операция умножения справа функции на константу ® > 0 и операция инфимальной конволюции с точки зрения построения сопряженных функций являются двойственными к обычным операциям умножения функции на константу и их сложения.

Утверждение 2.2.9. Для любой выпуклой на Rn функции f(x) и константы ® > 0 имеет место равенство

(f1¤ © f2¤)¤(x) = f1¤¤(x) + f2¤¤(x) = f1(x) + f2(x):

Поэтому, применяя к обеим частям этого равенства операцию сопряжения, приходим к выводу, что

(f1 + f2)¤(y) = (f1¤ © f2¤)¤¤(y) = (f1¤ © f2¤)(y);

т.е. выполнено (2.2.74). ¥

Пусть на Rn задана выпуклая функция f(x). Рассмотрим функцию f1(x) = f(x+). Здесь x+ = [x1+; : : : ; xn+] “положительная срезка” вектора x 2 Rn, т.е. вектор c компонентами xi+ = max[0; xi], 1 · i · n. Из утверждения 2.2.7 вытекает, что если f(x) ¸ f1(x) всюду на Rn, то для сопряженных функций имеет место обратное неравенство f¤(y) · f1¤(y). Покажем, что для y 2 Rn+ на самом деле имеет место совпадение значений сопряженных функций.

Утверждение 2.2.11. Пусть функции f(x) и f1(x) таковы, что f(x) ¸ f1(x) = f(x+) для всех x 2 Rn. Тогда если y 2 Rn+, то

(2.2.75)

x2Rn

Сравнивая (2.2.76) с неравенством f1¤(y) ¸ f¤(y), приходим к (2.2.75). ¥

Здесь 1 < p < 1 и y 2 Rn+.

Полярные функции. Неравенство Юнга-Фенхеля дает аддитивную оценку сверху на скалярное произведение hx; yi через сумму значений самой функции f(x) и сопряженной к ней. Хотелось бы получить также оценку мультипликативного вида. Это можно сделать, если воспользоваться понятием полярной функции.

Замечая, что определение сопряженной функции можно переписать как

© ª fX¤ (y) = inf ¹ 2 R : hx; yi · ¹ + f(x) 8 x 2 X ;

Видоизменим теперь это определение таким образом, чтобы оно приводило к мультипликативной оценке сверху.

называется полярной к функции f(x) на X. При этом, как это обычно принято, считаем, что инфинум по пустому множеству равен +1.

В случае, когда множество X содержит начало координат и функция f(x) всюду положительна на X, кроме начала координат, то определение (2.2.77) можно переписать как

Непосредственно из неравенства Минковского-Малера следует, что если x 2 X, то fY00(x) · f(x), т.е. вторая полярная функция f00(x) не превосходит саму функцию f(x) на X.

Ниже в случае, когда X = RYn или Y = Rn, будем писать просто f0(y) и f00(x) вместо соответственно fR0n (y) или fR00n (x).

Наиболее интересные примеры полярных функций могут быть получены в том случае, когда f(x) является неотрицательной положительно однородной выпуклой функцией на Rn, равной нулю в начале координат. Такие функции называются калибрами, или функциями Минковского. Любой калибр f(x) может быть задан с помощью непустого выпуклого множества C, содержащего начало координат, а именно:

Функцию °(xjC) принято называть калибровочной функцией множества C. Верно и обратное: по любому калибру f(x) можно определить множество C, например, следующим образом:

C = fx : f(x) · 1g:

Тогда калибр совпадает с калибровочной функцией этого множества.

Предположим теперь, что калибр f(x) положителен всюду, кроме начала координат. В этом случае полярная функция f0(y) будет калибром, положительным всюду, кроме начала координат. Вторая полярная функция f00(x), как полярная к калибру, также является калибром. Для такой функции f(x) вместо неравенства f00(x) · f(x) выполняется равенство

Действительно, калибр полностью определяется замкнутым выпуклым множеством C посредством калибровочной функции °(xjC) вида (2.2.80). Обозначим

C = fx 2 Rn : f(x) · 1g; C1 = fy 2 Rn : f0(y) · 1g; C2 = fx 2 Rn : f00(x) · 1g:

Равенство (2.2.81) имеет место в том и только в том случае, если совпадают множества C и C2. Убедимся в этом.