3.4. Условия минимума выпуклых функций

Поиск наименьшего значения функции многих перемен­ ных — сложная задача. Напомним некоторые факты, отно­ сящиеся к этой задаче.

Точка, в которой функция достигает своего наименьшего значения, является точкой локального минимума этой функции. Поэтому для определения наименьшего значения функции, если функция достигает его, достаточно найти все точки локально­ го минимума этой функции и среди них выбрать ту (или те), в которой функция имеет наименьшее значение. Такой под­ ход возможен, если функция имеет конечное (и относительно небольшое) число точек локального минимума.

Точки локального минимума функции, являющиеся вну­ тренними точками области определения функции, можно ис­ кать, опираясь на необходимое условие экстремума функции. Если внутренняя точка ж* Е множества П с К п есть точ­ ка локального минимума функции /(ж), определенной•на

и функция f(x ) дифференцируема в точке ж*, то эта точка является стационарной точкой функции / (ж), т.е. в этой точке выполняется условие

где grad/(ж*) — градиент функции в точке ж* Таким образом, точки локального минимума внутри области определения — это либо стационарные точки, либо точки недифференцируемости функции (критические точки). Поэтому точку наименьшего значения функции, если она существует, можно искать, срав­ нивая значения функции во всех стационарных и критических точках функции. Выяснять, какие из этих точек являются точ­ ками локального минимума, не нужно.

Проверить, является ли стационарная точка точкой локаль­ ного минимума, можно с помощью достаточного условия экс­ тремума. Если функция f(x) дважды непрерывно дифференци­

руема в стационарной точке х* и матрица Гессе #(ж*) функции / ( х) в этой точке положительно определена, то х* является точ­ кой строгого локального минимума.

Функция может достигать наименьшего значения в гранич­ ной точке области определения. Дифференциальные свойства функции многих переменных можно в этом случае использо­ вать, если границей области определения является гладкая кри­ вая или поверхность. В этом случае можно поставить задачу на условный экстремум, в которой уравнения связи описывают границу области, и определить точку, в которой функция до­ стигает наименьшего значения, как точку условного локально­ го минимума. В остальных случаях необходимо непосредствен­ ное исследование функции на границе области определения, а ее дифференциальные свойства не могут помочь в решении за­ дачи.

Необходимые и достаточные условия экстремума функции многих переменных далеко не всегда обеспечивают решение задачи минимизации. Использование необходимого условия ло­ кального экстремума приводит к необходимости решать систе­ му нелинейных уравнений, что само по себе является 'Ъюжной задачей. Функция может иметь большое (или даже бесконеч­ ное) число стационарных и критических точек, и тогда вы­ брать точку наименьшего значения функции среди них сложно. Наконец, трудности возникают, если точка наименьшего зна­ чения находится на границе области определения функции.

Достаточные условия экстремума могут помочь выделить среди стационарных точек те, которые являются точками ло­ кального минимума. Тем самым сокращается общее число то­ чек, „подозрительных на наименьшее значение11. Однако даже если стационарная точка определена, функция дважды непре­ рывно дифференцируема в ней, матрица Гессе в этой точке вычислена, то это еще не гарантирует определенного ответа, является ли исследуемая точка точкой локального минимума. Дело в том, что матрица Гессе может оказаться неотрица-

тельно определенной. А в этом случае на поведение функции в окрестности стационарной точки оказывают влияние диффе­ ренциалы высших порядков (если такие, конечно, существуют).

Все указанные трудности можно преодолевать с помощью методов, в которых не используются дифференциальные свой­ ства функции. И в этом случае важную роль могут играть дру­ гие, не связанные с дифференцируемостью, свойства функции. Некоторые выводы о существовании и единственности точек локального минимума можно сделать для выпуклых функций.

Теорема 3.14. Если функция /(ж), определенная на вы­ пуклом м нож ест ве Q С К71, является выпуклой, то эта функция

влюбой точке локального минимума достигает наименьшего

взначения. Множество всех точек локального минимума функции выпукло. Ф ункция, ст рого выпуклая на выпуклом множестве, имеет не более одной точки локального минимума.

◄Пусть ж* Е — точка локального минимума функции /(ж). Предположим, что в этой точке значение функции не являет­ ся наименьшим на множестве fi, т.е. существует точка у * Е fi, для которой /(у*) < /(ж*). Рассмотрим сечение функции /(ж), соответствующее паре точек у* и ж*, т.е. функцию одного переменного (p(t) = f{ty* + (1 —t)x*). Эта функция в силу вы­

пуклости множества определена по крайней мере на отрезке [0,1]. Покажем, что в точке t = 0 функция ip(t) достигает на [0,1] наибольшего значения. Действительно, с учетом неравен­ ства /(у*) < /(ж*) при t Е (0,1)

4>{t) = f(ty* + (1 - t)x*) < tf{y*) + (1 - t)f(x*) <

<tf(x*) + (l - t)f(x * ) = f(x*) = <p(0 )-

Для произвольной окрестности U точки x* существует на­ столько малое число О 0, что х = ty* + (1 — t)x* 6 U. Тогда

а это противоречит тому, что точка ж* есть точка локального минимума. Таким образом, предположение о том, что в точке локального минимума х* функция не достигает наименьшего значения, неверно.

Из доказанного следует, что во всех точках локального ми­ нимума выпуклая функция f(x ) имеет одно и то же значение, равное наименьшему значению га/ этой функции. Очевидно, что каждая точка, в которой функция принимает значение га/, является точкой локального минимума функции. Следователь­ но, множество точек локального минимума функции совпадает с множеством / “ 1( т / ) — прообразом значения га/ при отобра­ жении у = f{x).

Теперь покажем, что множество / -1(га/) точек локального минимума функции f(x) является выпуклым. Это утверждение очевидно, если множество пустое или содержит лишь одну

силу выпуклости функции /(ж) /(аз) = f{tx l + (1 - f)®2) ^

^ //(аз1) + (1 — t)f(x 2) — tmf + (1 — t)rrif = т/.

\

Таким образом, во всех точках отрезка [ж1, ж2] функция /(ж) принимает постоянное значение га/. Следовательно, для любых точек ж1, ж2 Е / _1(га/) имеем [ж1, ж2] С / _1(га/), т.е. множество / -1(га/) является выпуклым.

Наконец, покажем, что в случае строго выпуклой функции множество / _1(га/) не может содержать более одной точки. Если функция /(ж) строго выпуклая, то для любых различных точек ж1, ж2 Е fi и любого числа t Е (0,1) выполняется строгое

неравенство

f ( t x l + (1 - t)x2) < t f ( x i) + (1 - t)f(x 2).

Предположим, что ж1, ж2 Е f ~ l (rrif) — точки локального ми­ нимума. Тогда в этих точках /(ж) достигает наименьшего значения ту . При этом для любого t € (0,1) имеем

/(ж) = / ( tx 1 + (1 - t)x2) < trrif + (1 - t)rrif = m/,

а это невозможно, так как mj — наименьшее значение функ­ ции. Противоречие показывает, что строго выпуклая функция может иметь не более одной точки локального минимума. ►

Теорема 3.15. Пусть функция /(ж) выпукла на выпуклом множестве fi С К71и дифференцируема в точке ж* Е fi. Для того чтобы точка х* была точкой локального минимума функции /(ж), необходимо и достаточно, чтобы для любой точки ж Е fi выполнялось неравенство

минимума функции /(ж) и функция дифференцируема в этой точке. Выберем произвольную точку ж Е fi и рассмотрим сече­ ние (p(t) = f(tx + (1 —t)x*). Функция ip(t) определена на отрезке [0, 1], имеет в точке t = 0 локальный минимум и дифферен­

ство (3.25). Выберем произвольную точку ж Е fi и рассмотрим сечение ip(t) = f(tx + (1 —t)ж*). Так как /(ж) выпукла, то и ее

сечение tp(t) выпукло. Из неравенства (3.25) заключаем, что <//(0) ^ 0. Следовательно, (p(t) — неубывающая функция на от­ резке [0,1] и <р(0) < у?(1). Последнее неравенство равносильно неравенству /(ж*) ^ /(ж). Таким образом, в точке х* функция f(x) принимает наименьшее в Cl значение. ►

Замечание 3.3. Во внутренней точке х * множества Cl неравенство (3.25) равносильно равенству grad/(a;*) = 0. Дей­ ствительно, в этом случае для любого вектора h Е Шп для до­ статочно малого числа е > 0 имеем х* + eh &Q и х* —eh £ Cl. Следовательно, одновременно выполняются неравенства

(grad/(ж*), eh) ^ 0, (grad/(®*), -eh) ^ 0.

Отсюда заключаем, что (grad/(ж*), h) = 0 для любого вектора h Е Шп и grad /(ж*) = 0.

Таким образом, неравенство (3.25) можно рассматривать как обобщение необходимого условия grad/(ж*) = 0 локального минимума функции на случай, когда точка не является вну­ тренней точкой области определения функции. При этом следу­ ет учитывать, что неравенство (3.25) дает не только необходи­ мое условие локального минимума, как равенство grad/(ж*) = = 0, но и достаточное. Такое обобщение стало возможным благодаря дополнительному условию выпуклости функции. За­ метим, что условие (3.25) при ж = ж* переходит в равенство, и поэтому это условие можно записать в эквивалентной форме

Замечание 3.4. Предположим, что внутренняя точка ж* множества Cl является стационарной точкой функции /(ж ), определенной на множестве Cl. Если функция /(ж) дважды не­ прерывно дифференцируема в некоторой окрестности U точки ж*, а ее матрица Гессе неотрицательно определена в каждой точке окрестности С/, то эту окрестность можно уменьшить