19. Общая задача нелинейного программирования.

Напомним, что задачей оптимизации называется задача нахождения минимального значения функционала f₀ : X→R∪{+∞} на подмножестве M⊆X  векторного пространства X.

Как мы уже знаем, общая задача выпуклого программирования имеет вид

f₀(x) → min , f_i(x) ≤ 0, i=1,..., m; ,x ∈ A     (5.1.1)

где f_i – выпуклые функционалы, A – выпуклое множество.

Задачей нелинейного программирования назовем задачу вида

f₀(x) → min ,f_i(x) ≤ 0, i=1,..., m; F(x) = 0.         (5.1.2)

где f_i – функционалы действующие на некотором векторном пространстве X (чаще всего в задачах нелинейного программирования в качестве X выступает конечномерное пространство),  F – отображение из X в некоторое векторное пространство Y.

Таким образом, в задаче нелинейного программирования множество M, на котором ищется экстремум, имеет вид:

M = {x∈X | f_i(x) ≤ 0, i=1,…,m; F(x)=0}.

Случай, когда функционалы f_i и отображение F – линейные, X – n-мерное пространство, рассматривается обычно отдельно и называется задачей линейного программирования.

Задача выпуклого программирования (5.1.1) также представляет собой частный случай задачи нелинейного программирования.

Если M = {x∈X | F(x)=0}, задача (5.1.2) называется задачей на условный экстремум. При M = {x∈X | f_i(x) ≤ 0, i=1,…,m} говорят о минимизации при ограничениях типа неравенств.

В общем случае, когда о свойствах функционалов f_i и отображения F ничего не известно, трудно получить сколько-нибудь значимые сведения о решении задачи (5.1.2).

Прежде чем начинать поиск решения, хорошо бы убедиться, что такое решение есть. Ответ на вопрос о существовании решения экстремальной задачи  часто можно получить при помощи теоремы Вейерштрасса.

Определение. Функция f:X→R называется полунепрерывной снизу в точке x*∈X, если при x→x*

lim f(x) = f(x*).

Множество M_C={ x∈M | f (x) ≤ C} называется множеством уровня C функции f. Если при некотором С функция f(x) принимает на M_C только одно значение, то множество M_C называется множеством минимального уровня.

Теорема. Функция f_{0 :} X→R∪{+∞} достигает минимума на подмножестве M⊆X, если при некотором C множество уровня M_C является либо множеством минимального уровня, либо непустым компактом, на котором функция f(x) полунепрерывна снизу.

Доказательство. Если С=f₀(x*) – минимально возможное значение функции f₀, то на множестве уровня С функция f₀ принимает только значение С. Если же M_C – непустой компакт, а функция  f₀ полунепрерывна снизу на нем, доказательство получается применением теоремы Вейерштрасса.

22.Свойства дифференцируемых функций.

Рассмотрим, вопрос о том, какими свойствами обладают функции, дифференцируемые согласно введенным выше определениям.

Теорема 5.3.1. В следующем списке каждое последующее утверждение вытекает из предыдущих:

1.f:X→Y строго дифференцируема в точке x₀∈X,

2.f:X→Y дифференцируема по Фреше в точке x₀∈X,

3.f:X→Y дифференцируема по Гато в точке x₀∈X,

4.f:X→Y обладает вариацией по Лагранжу в точке x₀∈X.

Доказательство. 1) Взяв в (5.2.5) x₂=x₀, x₁=x₀+h, получим, что при ||x₁-x₀||_V = ||h||_V <δ, ||x₂-x₀||_V =0, выполняется условие ||f(x₁) ‑ f(x₂)- Df(x₀)(x₁ ‑x₂)||_Y = ||f(x₀+h) ‑ f(x₀)- Df(x₀)(h)||_Y<ε||h||_V, что и означает выполнение условия (5.2.4).

2) Пусть f:X→Y дифференцируема по Фреше в точке x₀∈X, тогда при ||h||_V →0 выполняется условие 

||f(x₀+h) ‑ f(x₀)- Df(x₀)(h)|| / || h ||  → 0.                                (5.3.1)

Выберем h∈V, тогда при t →+0 ||th||=t||h||→0. Подставляя в (5.3.1), получаем

||f(x₀+th) ‑ f(x₀)- Df(x₀)(th)|| / || th ||  → 0 при t →+0,           (5.3.2)

откуда (используя линейность оператора Df(x₀) и свойства нормы) следует, что

||{f(x₀+th) ‑ f(x₀)}/t - Df(x₀)(h)|| → 0 при t →+0.

3) Оставшийся пункт доказательства следует непосредственно из определения диференцируемости по Гато.

Теорема доказана.

Заметим, что если функция дифференцируема в нескольких смыслах, то дифференциал функции для всех определений дифференцируемости  - это один и тот же линейный ограниченный оператор (заметим, что существование вариации по Лагранжу мы не называем диференцируемостью). Именно поэтому для дифференциала мы используем одно обозначение : Df(x₀).

Таким образом, исследовать на дифференцируемость в заданной точке функцию, действующую из аффинного пространство в нормированное, - это значит:

1) Найти производные по всем направлениям в этой точке. Если все они существуют, тем самым мы найдем вариацию по Лагранжу данной функции.

2) Выяснить, какими свойствами обладает найденная вариация. Если она задается линейным и ограниченным оператором, она является дифференциалом Гато. Если, кроме этого, выполняется условие (5.2.4), вариация является дифференциалом по Фреше. Если же выполняется условие (5.2.5), функция дифференцируема в строгом смысле (иногда при этом говорят, что вариация является строгим дифференциалом).

Теорема 5.3.1 показывает, что определения дифференцируемости естественным образом упорядочены. Будем говорить, что определение, находящееся в списке 1)-4), задает более сильный смысл дифференцируемости, чем те определения, которые находятся ниже по списку.

Теорема 5.3.2. Если функция f дифференцируема в точке x₀ по Фреше, она непрерывна в этой точке.

Полученый результат можно рассматривать как необходимый признак дифференцируемости по Фреше. Оказывается, что для дифференцируемости по Гато непрерывность необязательна.

Теорема 5.3.3. Пусть функции f, g:X→Y дифференцируемы в точке x₀∈X.  Тогда для любых a, b ∈R функция a f + b g  также дифференцируема в точке x₀∈X (в том же смысле, что и функции f и g), причем

D(a f + b g)(x₀) = a Df(x₀)+ b Dg(x₀).

.

Теорема 5.3.4. Пусть функции f:Y→Z и g:X→Y дифференцируемы соответственно в точках y₀=g(x₀)∈Y и x₀∈X. Тогда для композиции F(x)=f(g(x)) справедливы следующие утверждения:

1) Если функция f дифференцируема в точке y₀∈Y по Фреше,  а функция g имеет сильную вариацию по Лагранжу или дифференцируемо по Гато (по Фреше), то композиция этих функций F дифференцируема в том же смысле, что и функция g, причем дифференциал композиции равен композиции дифференциалов:

                      DF(x₀) =D(f(g))(x₀) =  Df(y₀)Dg(x₀)                           (5.3.4)

(или δF(x₀;h) = Df(y₀)δg(x₀;h), если у функции g есть только вариация).

2) Если, кроме этого, функции  f, g:X→Y строго  дифференцируемы в точке x₀∈X,  то композиция этих функций F также будет строго дифференцируемой в точке x₀∈X.

Доказательство. 1) Предположим, что функция g имеет сильную вариацию по Лагранжу в точке x₀∈X, т.е.

||(g(x₀+th) ‑ g(x₀)) / t - δg(x₀;h)|| → 0 при t →+0.                                              (5.3.5)

Поскольку Df(y₀):Y→Z – линейный и ограниченный оператор, то

0 ≤lim_{t→ +0} ||(Df(y₀)g(x₀+th) ‑ Df(y₀)g(x₀)) / t - Df(y₀)δg(x₀;h)|| =

= lim_{t→ +0} ||Df(y₀){(g(x₀+th) ‑ g(x₀)) / t - δg(x₀;h)}|| =

≤ lim_{t→ +0} ||Df(y₀)|| ||(g(x₀+th) ‑ g(x₀)) / t - δg(x₀;h)|| = 0.

Дифференцируемость по Фреше отображения f означает, что

f(y₀+h) - f(y₀) = Df(y₀)h +o(|| h ||) при || h || → 0.  

Пусть h(t)= g(x₀+th)-g(x₀), y₀=g(x₀), тогда, во-первых, || h(t) || = O(t) → 0 при t → +0, а во-вторых,

выше мы доказали, что lim_{t→ +0} Df(y₀)h(t) / t = Df(y₀)δg(x₀;h).

Окончательно получаем:

(f(y₀+h(t)) - f(y₀)) / t - Df(y₀)h(t) / t = (f(y₀+h(t)) - f(y₀) - Df(y₀)h(t)) / t = o(||h(t)||) / t =|| h(t)/t || o(1) =

= O(1)o(1) → 0 при t →+0, поэтому

lim_{t→ +0}(f(g(x₀+th) - f(g(x₀))) / t = lim_{t→ +0}(f(y₀+h(t)) - f(y₀)) / t = lim_{t→ +0} Df(y₀)h(t) / t = Df(y₀)δg(x₀;h).

Аналогичным образом доказываются и остальные пункты теоремы.

Замечание. Если функции  f, g:X→Y дифференцируемы в точке x₀∈X по Гато, то это еще не значит, что композиция этих функций F также будет дифференцируемой по Гато в точке x₀∈X. Например, пусть

f(x, y) = 1, если y=x² и x≠0, f(x, y)=0 в остальных случаях.

В точке (0; 0) дифференциал Гато функции f существует и равен нулю. В качестве второй функции рассмотрим  функцию g(t)=(x(t), y(t)) = (t, t²), строгий дифференциал в точке t₀=0 которой задается вектором градиента (1; 0). При этом композиция данных функций, равная 0 при t=0 и равная 1 при t≠0, не имеет предела в точке t₀=0 ни по одному из направлений, и значит, не дифференцируема ни в каком смысле.

23.

Теорема 5.3.5 (формула конечных приращений). Пусть функция f:X→Y дифференцируема (в слабом смысле) по Гато на отрезке [x₁, x₂] = {x∈X | x = x₁+t(x₂ – x₁) , t∈[0; 1]}. Тогда

||f(x₂) – f(x₁)||≤sup _{x∈[x1; x2]} ||Df(x)(x₂–x₁)|| ≤sup _{x∈[x1; x2]} ||Df(x)|| ||x₂–x₁||.              (5.3.6)

Доказательство. Пусть y∈Y*. Рассмотрим функцию

g_y(t) =y( f(x₁+t[x₂ – x₁])), t∈[0; 1].                          (5.3.7)

Нетрудно проверить, что для каждого t₀∈[0; 1] существует производная g_y'(t₀), которую можно вычислить по определению:

g_y'(t₀)= lim_t→0(yf(x₁+(t₀+t)[x₂-x₁]) - yf(x₁+t₀[x₂-x₁])) / t =

 = lim_t→0(yf(x₁+t₀[x₂-x₁]+t[x₂-x₁]) - yf(x₁+t₀[x₂-x₁])) / t =

=  yDf(x₁+t₀(x₂ – x₁)) [x₂ – x₁].

Здесь мы использовали также определение производной функции f  в точке x₁+t₀(x₂–x₁) по направлению (x₂–x₁).

Таким образом, функция g_y(t):[0; 1]→R дифференцируема на всем отрезке [0; 1]. По теореме о конечном приращении для таких функций найдется  t*∈[0; 1], для которого g_y(1) - g_y(0) = g_y'(t*)(1-0)= g_y'(t*). Поскольку g_y(1)=yf(x₂),  g_y(0) =yf(x₁), получаем, что для каждого y∈Y* найдется

x*= x₁+t*(x₂ – x₁) ∈[x₁, x₂], для которого y(f(x₂) - f(x₁)) = yDf(x*) (x₂ – x₁).

По теореме Хана-Банаха найдется y*∈Y*, такой что ||y*||=1 и для которого справедливо равенство:  y*(f(x₂) - f(x₁)) = ||f(x₂) - f(x₁)||. Получаем:

||f(x₂) - f(x₁)|| = y*(f(x₂) - f(x₁)) =  y*Df(x*) (x₂ – x₁) = | y*Df(x*) (x₂ – x₁)| ≤

≤ || y*|| ||Df(x*)(x₂ – x₁)|| = ||Df(x*) (x₂ – x₁)|| ≤ sup _{x∈[x1; x2]} ||Df(x)(x₂ - x₁)|| ≤

≤sup _{x∈[x1; x2]} ||Df(x)|| || x₂ - x₁||.

Теорема доказана.

Следствие 1. Пусть функция f:X→Y дифференцируема (в слабом смысле) по Гато на отрезке [x₁, x₂],  A:X→Y – линейный ограниченный оператор. Тогда для всех  x, y∈[x₁, x₂] справедлива оценка:

|| f(x)- f(y) - A(x - y)|| ≤sup _{z∈[x1; x2]} ||Df(z) - A|| || x - y|| .                              (5.3.8)

Для доказательства следствия 1 применим теорему к функции F(x)=f(x) - Ax.  При этом учтем, что

F(x) – F(y) = f(x) – f(y) - A(x-y), DF(z) = Df(z) – A.

Следствие 2. Пусть функция f:X→Y дифференцируема (в слабом смысле) по Гато на отрезке [x₁, x₂] и в точке x₀ (не обязательно из этого отрезка), то для всех  x, y∈[x₁, x₂] справедлива оценка:

|| f(x)- f(y) - Df(x₀)(x - y)|| ≤sup _{z∈[x1; x2]} ||Df(z) - Df(x₀)|| || x - y|| .                 (5.3.9)

Доказательство: в следствии 1 положим A = Df(x₀).

Следствие 3. Пусть функция f:X→Y дифференцируема (в слабом смысле) по Гато в некоторой окрестности U точки x₀. Если отображение Df:U→L(V;Y) сильно непрерывно в точке x₀ (т.е. из ||x-x₀||→0 всегда следует, что ||Df(x)-Df(x₀)||→0 по операторной норме), то функция f строго дифференцируема в точке x₀.

Доказательство непосредственно вытекает из следствия 2 и определения строгой дифференцируемости.

Определение. Функцию f:X→Y назовем непрерывно дифференцируемой в окрестности U⊆Х, если в каждой точке у нее существует дифференциал, и при этом отображение Df:U→L(V;Y) сильно непрерывно в окрестности U.

Следствие 3 можно сфорулировать теперь в таком виде.

Следствие 4. Определение непрерывной дифференцируемости не зависит от смысла, вкладываемого в понятие дифференциала (т.е. дифференциал можно понимать как слабый или сильный дифференциал по Гато, так и как дифференциал по Фреше или строгий дифференциал).

Замечания. 1) Следствие дает достаточные условия, при которых одно из самых слабых определений дифференцируемости (слабая дифференцируемость по Гато) равносильно самому сильному (строгой дифференцируемости), что удобно при решении конкретных задач.

2) Точку x₀ можно заменить на любую из точек окрестности U, в которой есть сильная непрерывность отображения Df.

3) Аналогичная теорема для функций нескольких переменных звучит так: если функция обладает всеми частными производными в окрестности точки и в этой точке эти частные производные непрерывны, то функция в данной точке дифференцируема.

Теорема 5.3.8 (о полном дифференциале).  Пусть функция f:X×Y→ Z, пространства X, Y – аффинные, Z – нормированное, и существует окрестность U точки (x₀, y₀) в X×Y, такая что:

1) для всех (x, y)∈U функция g_x(y)=f(x,y) дифференцируема (в слабом смысле) по Гато (соответствующий диффеернциал Dg_x(y) будем обозначать D_yf(x,y) и называть частным дифференциалом функции f по переменной y);

2) для всех (x, y)∈U функция g_y(x)=f(x,y) дифференцируема (в слабом смысле) по Гато (Dg_y(x) будем обозначать D_xf(x,y) и называть частным дифференциалом функции f по переменной x);

3) отображения D_xf(x,y):U→L(X;Z) и D_xf(x,y) :U→L(Y;Z) непрерывны в точке (x₀,y₀), т.е. если ||x-x₀||→0 и ||y-y₀||→0, то ||D_xf(x,y)-D_xf(x₀,y₀)||→0 и ||D_yf(x,y)-D_yf(x₀,y₀)||→0  по операторным нормам.

Тогда функция f строго дифференцируема в точке (x₀, y₀), причем

Df(x₀,y₀)[dx,dy] = D_xf(x₀,y₀)dx + D_yf(x₀,y₀)dy.          (5.3.10)

Доказательство. Для заданного  ε>0 выберем δ>0 так, что окрестность W={(x,y)| ||x-x₀||<δ, ||y-y₀||<δ} целиком содержалась в U, и W были справедливы неравенства:

||D_xf(x,y)-D_xf(x₀,y₀)|| < ε и ||D_yf(x,y)-D_yf(x₀,y₀)|| < ε.

Тогда для всех (x₁,y₁), (x₂,y₂) ∈W по следствию 2 из теоремы 5.3.7 получаем:

|| f(x₁,y₁)- f(x₂,y₁) - D_xf(x₀,y₀)(x₁ – x₂)|| ≤||D_xf(z,y₁) - D_xf(x₀,y₀)|| || x₁ –x₂|| < ε || x₁ –x₂||,

|| f(x₂,y₁)- f(x₂,y₂) – D_yf(x₀,y₀)(y₁ – y₂)|| ≤||D_yf(x₂,z) – D_yf(x₀,y₀)|| || y₁ –y₂|| < ε || y₁ –y₂||.

Пользуясь неравенством треугольника (норма суммы не превосходит сумму норм), получаем, что для всех (x₁,y₁), (x₂,y₂) ∈W

|| f(x₁,y₁)- f(x₂,y₂) - D_xf(x₀,y₀)(x₁ – x₂) – D_yf(x₀,y₀)(y₁ – y₂)|| ≤

   ≤ || f(x₁,y₁)- f(x₂,y₁) - D_xf(x₀,y₀)(x₁ – x₂)|| + || f(x₂,y₁)- f(x₂,y₂) – D_yf(x₀,y₀)(y₁ – y₂)|| <

   < ε || x₁ –x₂|| + ε || y₁ –y₂||.

         Теорема доказана.

Замечание. Теорема 5.3.8 как и следствие 3 теоремы 5.3.7 позволяет во многих задачах упростить доказательство строгой дифференцируемости функции.