3. Производные по направлениям и субдифференциалы

Выпуклые функции в общем случае могут быть недифференцируемы в обычном смысле (например, f(x) = |x| недифференцируема в точке х = 0).

Определение. Производной по направлению p(p Rⁿ, p 0) функции f в точке х называется и обозначается f ’(x, p) или (х).

Отметим, что если f(x) дифференцируема в точке х, то f ’(x, p) = (f ’(x),p), где

f ’(x) = - градиент функции f в точке х.

Теорема Радемахера. Всякая выпуклая функция является дифференцируемой почти всюду (за исключением множества лебеговой меры нуль) на открытом множестве Х dom f.

Теорема. Пусть f(x) – выпуклая функция на Rⁿ. Тогда для любой точки х int(dom f) существует и конечна производная функции f по любому направлению pRⁿ.

Для выпуклых функций можно определить понятие субградиента, которое заменяет обычное понятие градиента гладкой функции в задачах на экстремум.

Определение. Вектор g называется субградиентом функции f в точке х⁰ dom f, если

f(x) – f(x⁰) (g, x – x⁰) для любых х Rⁿ.

Множество всех субградиентов функции f в точке х⁰ называется субдифференциалом функции f и обозначается f(x⁰).

Замечание. В определении субградиента не требуется выпуклости функции и можно вычислить субградиент в заданной точке и для произвольной функции. Однако для выпуклой функции, определённой на открытом выпуклом множестве, всегда существует хотя бы один субградиент в любой точке множества, т.е. её субдифференциал является непустым множеством. Для произвольной функции это не так.

Геометрический смысл понятия субдифференциала

Можно показать, что если f(x) выпуклая функция, то

1) вектор g f(x⁰) является внешней нормалью опорной гипреплоскости к множеству уравня M(f) функции f в точке х⁰, где M(f) = {x Rⁿ| f(x) f(x⁰)};

2) вектор (g, - 1)Rⁿ⁺¹, где g f(x⁰), является внешней нормалью опорной гиперплоскости, проведённой к надграфику функции f в точке (x⁰, f(x⁰)) (в частности, если x R, то g есть тангенс угла наклона опорной прямой, проведённой к надграфику функции f);

3) для функции f: R R f(x) = [f ’(x – 0), f ’(x + 0)].

Свойства субдифференциала выпуклой функции

Пусть f(x) – выпуклая функция, определённая на открытом выпуклом множестве Х dom f. Тогда справедливы следующие утверждения.

1. Субдифференциал f(x⁰) – непустое выпуклое, замкнутое и ограниченное множество для любой точки х⁰ Х.

2. Если f(x) – дифференцируемая функция в точке х⁰ Х, то

f(x⁰) = {f ’(x⁰)}.

3. Пусть h(x) = αf(x), α > 0, тогда

h(x) = αf(x) для x X

4. Пусть f(x) = f₁(x) + f₂(x), где f₁(x) и f₂(x) – выпуклые на Х функции, тогда

f(x) = f₁(x) + f₂(x) для х Х.

5. Пусть функции f₁, f₂, … ,f_m – выпуклые функции, определённые на Х, и f(x) = f_i(x). Тогда

f(x) = conv для х Х,

где I(x) = {i = : f_i(x) = f(x)}.

6.Производная функции f в произвольной точке по любому направлению p Rⁿ, p 0 существует и

f ’(x, p) = (g, p).

Замечание. Требование открытости множества Х существенно. Если Х – произвольное выпуклое множество, то в его граничных точках свойства 1 – 6 будут выполняться только при некоторых дополнительных предположениях.

В общем случае вычисление субдифференциала f(x) задача непростая. Один из инструментов решения этой задачи даёт теорема Кларка.

Теорема Кларка. Пусть x⁰ int dom f, f(x) – выпуклая функция на Rⁿ, Q – множество точек пространства Rⁿ, в которых функция f(x) недифференцируема, {x^k} – произвольная последовательность, сходящаяся к x⁰(x^k Q для любого k), такая, что последовательность сходится. Тогда субдифференциал функции f(x) в точке x⁰ совпадает с выпуклой комбинацией всех пределов последовательностей для всевозможных последовательностей {x^k}, т.е.

f(x⁰) = Conv .

Примеры

1. Пусть f(x) = |x|. Требуется вычислить f(x). Если х > 0, то f(x) = x, f ’(x) = 1, следовательно,

f(x) = Conv{1} = {1}. Аналогично для x < 0 f(x) = Conv{-1} = {-1}. Пусть х = 0. Заметим, что это единственная точка, в которой функция f(x) недифференцируема. Тогда

= {-1, +1},

f(0) = Conv{-1, +1} = [-1, 1].

2. Пусть f(x₁, x₂) = |x₁| + |x₂|. Требуется вычислить f(x).

З аметим, что f(x₁, x₂) =

Функция f(x₁, x₂) дифференцируема в любой точке пространства, кроме точек, для которых выполнено одно из условий: |x₁| = 0 или |x₂| = 0, т.е. Q = {x R₂: x₁ = 0} {x R²: x₂ = 0}.

Пусть x Q, тогда f ’(x₁, x₂) = , если x₁ > 0, x₂ > 0;

f ’(x₁, x₂) = , если x₁ > 0, x₂ < 0;

f ’(x₁, x₂) = , если x₁ < 0, x₂ > 0;

f ’(x₁, x₂) = , если x₁ < 0, x₂ < 0.

На Рис. 13 представлены области, в которых функция дифференцируема и значения градиентов одинаковы.

Для точек х⁰ Q субдифференциал состоит из единственного элемента, совпадающего с градиентом функции в этой точке.

Пусть х⁰ Q, причём х⁰ лежит на оси Ох₁ и х₁⁰ > 0. Тогда

= поэтому

Аналогично вычисляется субдифференциал для других точек множества Q. Таким образом,

Заметим, что некоторые свойства субдифференциалов, приведённые выше, легко получить как следствие из теоремы Кларка.