Opt_book_1

Для обоих точек x и x~ выполняется неравенство (2.1.18):

Если теперь подставить во второе неравенство выражение (2.1.20) для точки x~, то получаем

hx¹ ¡ a; x ¡ x¹i · 0:

Сопоставляя данное неравенство с первым неравенством в (2.1.21), делаем вывод, что имеет место (2.1.19). ¥

Рассмотрим в качестве простейшего примера проекцию произвольного вектора a 2 Rn на множество X = Rn+. Для него имеем ¼R+n (a) = a+; где a+ положительная срезка вектора a, т.е. это такой вектор a+ = [a1+; : : : ; an+], у которого ai+ = max[ai; 0], 1 · i · n. В этом легко убедиться с помощью неравенства (2.1.18).

Предположим теперь, что X = Lc, где

т.е. X = L0 \ Rn+ (его еще называют вероятностным симплексом в Rn). Найдем проекцию произвольной точки a 2 Rn на данное множество. С этой целью упорядочим компоненты вектора a в порядке их убывания: ai1 ¸ ai2 ¸ : : : ¸ ain , и определим величины

Нетрудно видеть, что ¹1 = 1 и, если ¹k > 0, то ¹k ¸ ¹k+1. Действительно, при ¹k+1 · 0 это неравенство очевидно. В противном случае

Таким образом, согласно утверждению 2.1.6, вектор x¹ с компонентами (2.1.22) действительно является искомой проекцией ¼X(a).

2.1.4. Отделимость выпуклых множеств

Перейдем теперь к рассмотрению очень важного понятия, касающегося выпуклых множеств. Оно связано с возможностью поместить их в разные полупространства, задаваемые одной и той же гиперплоскостью. Особый интерес это имеет в случае двух непересекающихся выпуклых множеств.

Пусть X1 и X2 два произвольных множества из Rn. Дадим ряд определений.

Определение 2.1.14. Множества X1 и X2 называются отделимыми, если существует такой ненулевой вектор p 2 Rn, что

для некоторого ¯ 2 R.

Определение 2.1.15. Множества X1 и X2 называются собственно отделимыми, если они отделимы, т.е. для них выполняется неравенство (2.1.24), и можно дополнительно указать та-

кие x1 2 X1 и x2 2 X2, что

hp; x1i > hp; x2i:

Определение 2.1.16. Множества X1 и X2 называются строго отделимыми, если существует такой ненулевой вектор p 2 Rn, что

hp; x1i > hp; x2i 8x1 2 X1; 8x2 2 X2:

Согласно определению, если множества X1 и X2 отделимы друг от друга, то первое из из них оказывается в полупространстве ¡+p;¯, а второе в полупростанстве ¡¡p;¯. Про гиперплоскость ¡p;¯

в этом случае говорят, что она разделяет множества X1 и X2 или, что она является разделяющей гиперплоскостью.

Из сильной отделимости следует строгая отделимость, а из строгой отделимости следует собственная отделимость.

Ниже исследуются условия, при которых существует отделимость выпуклых множеств. В первую очередь рассмотрим условия, гарантирующую сильную отделимость.

Определение 2.1.18. Расстоянием между множествами X1 и X2 называется число

Теорема 2.1.13. (О сильной отделимости). Выпуклые множества X1 и X2 сильно отделимы тогда и только тогда, когда расстояние между ними положительно.

Доказательство. Необходимость. Покажем сначала, что если множества X1 и X2 сильно отделимы, то ½(X1; X2) > 0. Пусть

где положительность величины ± следует из определения (2.1.25) сильно отделимых множеств X1 и X2. Так как всегда supx2X f(x) = ¡ infx2X(¡f(x)) для любой функции f(x) и любого множества X, то

Воспользуемся неравенством Коши-Буняковского, согласно которому

± · hp; x1 ¡ x2i · kpkkx1 ¡ x2k

для всех x1 2 X1 и x2 2 X2. Отсюда, учитывая, что p =6 0n, приходим к

±

½(X1; X2) ¸ kpk > 0:

Достаточность. Пусть ½(X1; X2) > 0. Рассмотрим множество X = cl(X1 ¡ X2). Оно выпукло и замкнуто. Из ½(X1; X2) > 0 следует, что 0n 2= X. Спроектируем начало координат 0n на X. По теореме 2.1.10 такая проекция существует и единственна. Обозначим ее p = ¼X(0n). Вектор p ненулевой, из основных свойств проекции (2.1.17) следует, что

hp; xi ¸ kpk2 > 0 8x 2 X:

Откуда

Имеем согласно (2.1.26) ¯1 > ¯2. Берем промежуточное ¯2 < ¯ < ¯1 и видим, что выполняется неравенство

означающие, что множества X1 и X2 сильно отделимы. ¥

Следствие 2.1.2. Пусть X1 и X2 выпуклые замкнутые множества и X1 \ X2 = ;. Пусть, кроме того, множество X2 ограничено. Тогда множества X1 и X2 сильно отделимы.

Для доказательства следствия надо лишь убедиться, что при этих предположениях ½(X1; X2) > 0. Из следствия 2.1.2 в качестве частного случая также немедленно получаем, что если X выпуклое замкнутое множество и точка x не принадлежит X, то x может быть сильно отделена от

X.

Рассмотрим теперь условия, при которых имеют место другие виды отделимости выпуклых множеств. Прежде всего укажем их для случая, когда по крайней мере одно из множеств состоит только из единственной точки.

Теорема 2.1.14. (Об отделимости точки и множества). Пусть X µ Rn выпуклое множество и a 2= riX. Тогда точка a отделима от X и строго отделима от riX. Если же a 2= clX, то a сильно отделима от X.

Доказательство. Рассмотрим сначала случай, когда a 2= clX. При этом предположении согласно следствию 2.1.2 к теореме 2.1.13 точка a сильно отделима от clX. Тем более, она сильно отделима от X.

Перейдем теперь к случаю, когда a 2 clX. Так как по предположению a 2= riX, то это возможно в том и только в том случае, когда a 2 r@ X (относительной границе X). Кроме того, для выпуклого множества X его аффинная оболочка совпадает с аффинной оболочкой clX, что приводит к включению

clX µ a (clX) = a X;

из которого следует, что a 2 a X.

Возьмем последовательность точек ak 2 a X, ak 2= clX, и такую, что ak ! a при k ! 1.

Все векторы pk принадлежат единичной сфере, поэтому последовательность fpkg содержит сходящуюся подпоследовательность. Не ограничивая общности, считаем, что сходится сама последовательность fpkg, т.е. pk ! p, где kpk = 1. Тогда, переходя в неравенствах (2.1.27) к пределу, получаем

Таким образом, точка a отделима от clX и, следовательно, от самого множества X.

Осталось показать, что точка a строго отделима от riX. Пусть x 2 riX и пусть " > 0 настолько

мало, что ¢"(x) \ a X µ X. Возьмем точку x~ = x ¡ "p. Поскольку ak 2 a X, ¼clX(ak) 2 a X, то p~k = ¼clX(ak) ¡ak 2 LinX. Стало быть, и pk 2 LinX. Но линейное подпространство LinX замкнуто,

поэтому предельный вектор p также принадлежит LinX. Следовательно, x~ 2 a X. Кроме того, x~ 2 ¢"(x), так как kpk = 1. Объединяя эти два включения, приходим к выводу, что

x~ 2 ¢"(x) \ a X µ X:

После подстановки x~ в (2.1.28) получаем

hp; x~i = hp; xi ¡ "kpk2 = hp; xi ¡ " ¸ hp; ai:

Таким образом, hp; xi > hp; ai. В силу произвольности точки x из riX, отсюда заключаем, что точка a строго отделима от riX. ¥

Особый интерес представляют гиперплоскости, которые проходят через граничную точку выпуклого множества и разделяют это множество и граничную точку.

Определение 2.1.19. Гиперплоскость ¡p;¯ = fx 2 Rn : hp; xi = ¯g называется опорной к множеству X в точке a 2 @X, если

Опорная гиперплоскость называется собственной опорной, если, кроме того, можно указать x¹ 2 X такое, что hp; x¹i > ¯.

Таким образом, если гиперплоскость ¡p;¯ является опорной к множеству X в граничной точке a 2 @X, то X лежит в одном из полупространств, определяемым этой гиперплоскостью, а именно, в полупространстве ¡+p;¯. Сама же гиперплоскость ¡p;¯ проходит через граничную точку a (см. рис. **). О ненулевом векторе, обратном к вектору p из неравенства (2.1.29), говорят как об опорном векторе к множеству X в точке a 2 @X.

Теорема 2.1.15. (Об опорной гиперплоскости). В любой граничной (относительно граничной) точке a выпуклого множества X существует опорная (собственная опорная) гиперплоскость.

Доказательство. Предположим сначала, что a 2= riX. Тогда a 2 r@X и согласно теореме 2.1.14 точка a отделима от X и строго отделима от riX, причем, как следует из доказательства теоремы, разделяющую гиперплоскость можно провести через точку a. Эта гиперплоскость и будет собственной опорной гиперплоскостью к X в a.

Рассмотрим далее случай, когда a 2 riX. Поскольку по условиям теоремы, a 2 @X, то это возможно только тогда, когда intX = ; и a X =6 Rn. Отсюда для размерности m множества X, совпадающей с размерностью аффинной оболочки X, справедливо неравенство m < n. Тогда можно указать (m £ n)-матрицу A полного ранга (равного m) и m-мерный вектор b такие, что

a X = ©x 2 Rn : Ax = bª:

Множество X содержится в a X и, стало быть, оно содержится в любой гиперплоскости, определяемой каким-либо одним уравнением из системы уравнений Ax = b. Но при этом в этой же гиперплоскости содержится и точка a, принадлежащая riX. Следовательно, любая такая гиперплоскость является опорной гиперплоскостью к X в a. ¥

Выясним теперь, когда два выпуклых множества обладают собственной отделимостью.

Теорема 2.1.16. (О собственной отделимости). Выпуклые множества X1 и X2 собственно отделимы в том и только в том случае, когда их относительные внутренности не пересекаются.

Доказательство. Достаточность. Пусть riX1 \ riX2 = ;. Рассмотрим множество X = riX1 ¡ riX2. Оно выпукло и 0n 2= X. Возможны два случая:

Случай 1. 0n 2= clX. При этом предположении точка 0n сильно отделима от clX и, стало быть, от X. Но тогда для некоторого ненулевого вектора p 2 Rn

для некоторых x¹1 2 riX1 µ X1, x¹2 2 riX2 µ X2.

Перейдем в неравенстве (2.1.30) от множеств riX1 и riX2 к соответственно множествам cl(riX1) и cl(riX2), учтем также, что cl(riX1) = clX1, cl(riX2) = clX2 для выпуклых множеств X1 и X2. Тогда неравенство (2.1.30) перепишется в виде

Но X1 µ clX1, X2 µ clX2. Поэтому наряду с (2.1.32) имеет место неравенство

На основании (2.1.33) и (2.1.31) заключаем, что выпуклые множества X1 и X2 собственно отделимы.

Случай 2. 0n 2 clX, причем с учетом того, что 0n 62X, получаем, что 0n 2 clX nX. Но поскольку riX µ X, для множества clX n X справедливо включение:

clX n X µ clX n riX = r@X:

Таким образом, в этом случае 0n 2 r@X и по теореме 2.1.15 в точке 0n существует собственная опорная гиперплоскость к множеству X. Поэтому опять можно указать ненулевой вектор p, для которого

hp; xi ¸ hp; 0ni = 0 8x 2 X;

Более того, для некоторых x¹1 2 riX1 µ X1, x¹2 2 riX2 µ X2 выполняется неравенство (2.1.31). Дальнейшие рассуждения полностью аналогичны первому случаю, а именно, от множеств riX1

и riX2 в (2.1.34) переходим соответственно к множествам cl(riX1) = clX1 и cl(riX2) = clX2. В результате опять получаем неравенство (2.1.33), на основании которого, а также неравенства (2.1.31), заключаем, что множества X1 и X2 собственно отделимы.

38 ГЛАВА 2. НАЧАЛЬНЫЕ СВЕДЕНИЯ ИЗ ВЫПУКЛОГО АНАЛИЗА

Необходимость. Пусть множества X1 и X2 собственно отделимы, т.е. для некоторого ненулевого вектора p 2 Rn и всех x1 2 X1, x2 2 X2 выполняется неравенство (2.1.33). Кроме того, существуют x¹1 2 X1 и x¹2 2 X2, для которых справедливо строгое неравенство (2.1.31).

Предположим, что riX1 \ riX2 6= ;. Возьмем точку x 2 riX1 \ riX2, а также достаточно малое " > 0, и рассмотрим две точки

x1 = x + "(x ¡ x¹1) 2 X1; x2 = x + "(x ¡ x¹2) 2 X2:

Имеем для этих x1 и x2:

hp; x1i = hp; xi + "hp; xi ¡ "hp; x¹1i; hp; x2i = hp; xi + "hp; xi ¡ "hp; x¹2i:

Отсюда на основании (2.1.31) заключаем, что hp; x1i < hp; x2i. Данное неравенство противоречит собственной отделимости множеств X1 и X2. Таким образом, riX1 \ riX2 = ;. ¥

2.1.5. Сопряженные множества и конусы

Выпуклые множества, содержащее начало координат, допускают двойственное описание. Делается это по существу с помощью опорных гиперплоскостей. Беря различные опорные гиперплоскости с разными направляющими векторами можно “обследовать” выпуклое множество со всех сторон и тем самым получить полное или почти полное представление о нем. Если выпуклое множество не содержит начало координат, то, идя по этому пути, можно получить информацию о выпуклой оболочке объединения этого множества с началом координат. Вся эта информация о множестве, будучи “собранной вместе”, оказывается сосредоточенной в некотором другом множестве, которое обязательно является выпуклым.

Определение 2.1.20. Пусть X µ Rn произвольное непустое множество. Тогда множе-

называется сопряженным (двойственным) к X.

Сопряженное множество X¤ к любому множеству X всегда выпукло и замкнуто. Кроме того,

0n 2 X¤.

Упражнение. Показать, что сопряженное множество обладает следующими свойствами:

1)([mi=1Xi)¤ = \mi=1Xi¤;

2)X¤ = (clX)¤ = (convX)¤ = (X [ f0ng)¤ = (cl (conv (X [ f0ng)))¤.

Определение 2.1.21. Множество

X¤¤ = ©x 2 Rn : hy; xi ¸ ¡1 8 y 2 X¤ª

называется вторым сопряженным к множеству X.

Второе сопряженное множество, как всякое сопряженное множество, выпукло, замкнуто и содержит начало координат. Имеет место следующее утверждение.

Лемма 2.1.5. Пусть X µ Rn произвольное множество. Тогда

~

Доказательство. Обозначим множество, стоящее в правой части равенства (2.1.35), через X. Если x 2 X, то, по определению сопряженного множества X¤, имеем: hy; xi ¸ ¡1 для всех y 2 X¤. Но

~ ~

это и означает, что x 2 X¤¤. Таким образом, X µ X¤¤. Отсюда следует, что X µ X¤¤, поскольку X не только содержит X, но и является наименьшим выпуклым замкнутым множеством, включающим в себя начало координат точку 0n. А второе сопряженное множество X¤¤, как всякое сопряженное множество, должно обладать этими свойствами.

~

Покажем теперь, что X¤¤ µ X. Допустим противное, т.е. существует такая точка a 2 X¤¤, что

~ R R

множества X. Поэтому найдутся ненулевой вектор p 2 и ¯ 2 такие, что

~

hp; xi > ¯ > hp; ai 8 x 2 X:

~

Отсюда, поскольку 0n 2 X, величина ¯ удовлетворяет неравенству: ¯ < 0. Разделим вектор p на ¡¯ и обозначим y = (¡¯)¡1p. Тогда

~ ¤ ¤

Поскольку X µ X, из левого неравенства вытекает, что y 2 X . Кроме того, из-за того, что y 2 X и a 2 X¤¤, согласно определению второго сопряженного множества, справедливо неравенство: hy; ai ¸

¤¤ ~

¡1. Данное неравенство противоречит правому неравенству (2.1.36). Таким образом, X µ X. Сопоставляя данное включение с полученным ранее противоположным включением, заключаем, что имеет место равенство (2.1.35). ¥

Теорема 2.1.17. Пусть X µ Rn выпуклое замкнутое множество, содержащее начало координат точку 0n. Тогда X¤¤ = X.

Доказательство. Утверждение следует из леммы 2.1.5, поскольку

X¤¤ = cl (conv (X [ f0ng)) = cl (convX) = clX = X:

Здесь учтено также, что выпуклая оболочка выпуклого множества X совпадает с самим множеством

X. ¥

единичный шар относительно p-й гельдеровской нормы. Беря шар B1, получаем, что B1¤ = B1. С другой стороны, B1¤ = B1. Указанная связь между единичными шарами сохраняется и для промежуточных 1 < p < 1, а именно, Bp¤ = Bp¤, где p и p¤ сопряженные числа, т.е. p¡1 +p¡¤ 1 = 1.

Определение 2.1.22. Множества X1 и X2 называются взаимосопряженными, если X1¤ = X2,

X2¤ = X1.

Таким образом, единичные шары Bp и Bp¤ относительно двойственных норм k¢kp и k¢kp¤ являются взаимособряженными множествами. Сопряженное множество к единичному шару B2 относительно евклидовой нормы совпадает с ним самим, т.е. это множество является самосопряженным.

Уточним вид сопряженных множеств для двух важных частных случаев множества X, а именно, для конусов и линейных подпространств.