13.Двойственность в задачах выпуклого программирования

Рассмотрим выпуклую задачу оптимизации (4.2.1):

f₀(x) → min ,f_i(x) ≤ 0, i=1,..., m; x ∈ A   

Предположим, что выполняется условие Слейтера. Пусть L(x,λ) = ∑_0≤i≤mλ_if_i(x) = f₀(x)+∑_1≤i≤mλ_if_i(x) - функция Лагранжа этой задачи (λ₀=1).

Определение. Зададим функции

φ(x) = sup_{λ ≥ 0}L(x,λ)– прямая функция для задачи (4.2.1),

ψ(λ) = inf _{x ∈ A}L(x,λ)– двойственная функция для задачи (4.2.1),

 предполагая, что φ: X → R ∪ {+∞},ψ: X → R ∪ {-∞}.

Пусть Q = {x ∈ A | ∀ i=1,...,m f_i(x) ≤0} – множество допустимых планов задачи (4.2.1),

П = {λ ≥ 0 | ψ(λ) > - ∞} – множество двойственных планов.

Задачу  φ(x) → min, x∈ Q   (4.3.1)

назовем прямой задачей оптимизации для задачи (4.2.1), задачу

ψ(λ)→ max, λ∈ П      (4.3.2)

- двойственной задачей для задачи (4.2.1)

Теорема 4.3.1. (о двойственности). Пусть x* - решение задачи (4.3.1), λ* - решение (4.3.2), тогда:

1) для всех x∈Q и всех λ∈П выполняется неравенство φ(x) ≥ ψ(λ);

2) Если функция y не ограничена сверху на П, то Q=Ø;

3) Если x₀∈Q, λ₀∈П и φ(x₀) = ψ(λ₀), то x₀ – решение задачи (4.3.1),  λ₀ – решение задачи (4.3.2).

4) φ(x*) = ψ(λ*), т.е. справедлива теорема о минимаксе

max_{λ ≥ 0} min _{x ∈ A}L(x,λ) = min _{x ∈ A}max_{λ ≥ 0}L(x,λ)

5)  x* является решением задачи (4.2.1), причем λ* – множитель Лагранжа для x* и выполняется условие дополняющей нежесткости ∀ λ=1,...,m     λ_i*f_i(x*) = 0.

Доказательство:

1) По определению функций φ(x) и ψ(λ) получаем, что ∀x∈Q, ∀ λ∈П  φ(x) ≥ L(x, λ) ≥ ψ(λ), что и требовалось в пункте 1.

2) Если найдется x∈Q, то (согласно пункту 1) функция y ограничена сверху числом φ(x).

3) Пусть x₀∈Q, λ₀∈П и φ(x₀) = ψ(λ₀). Тогда для всех x₀∈Q, используя неравенство пункта 1, получим    φ(x) ≥ ψ(λ₀) = φ(x₀),  т.е. то x₀ – решение задачи (4.3.1). Аналогично доказывается, что  λ₀ – решение задачи (4.3.2).

4) Пусть x* – решение задачи (4.3.1). Поскольку в данной задаче нет ограничений-неравенств, функция Лагранжа совпадает с целевой функцией. По теореме Куна-Таккера (см. условие 4.2.2) получаем:

φ(x*) = inf_{x ∈ Q}φ(x) = inf_{x ∈A}L(x, λ*) = L(x*, λ*), где λ* – множитель Лагранжа для x* в задаче (4.2.1), L – функция Лагранжа для этой же задачи. По определению функции y получаем, что

ψ(λ*) = inf _{x ∈ A}L(x,λ*) = φ(x*) = L(x*, λ*) = f₀(x*).

Полученное равенство можно записать в в идее так называемой теоремы о минимаксе:

max_{λ ≥ 0} min _{x ∈ A}L(x,λ) = min _{x ∈ A}max_{λ ≥ 0}L(x,λ).

5) Используя пункты 4 и 5, получаем, что

L(x*, λ) ≤φ(x) = sup_{λ ≥ 0}L(x,λ) ≤φ(x*) = L(x*, λ*) =

   = ψ(λ*) = inf _{x ∈ A}L(x,λ*) ≤  L(x, λ*).

Таким образом, (x*, λ*) – седловая точка для задачи (4.2.1), следовательно, x* – решение задачи (4.2.1), причем λ*  – множитель Лагранжа и выполняются условия дополняющей нежесткости.

14. Квадратичное программирование

Пусть D – симметричная положительно определенная матрица размера n×n,  A – матрица размера m×n.

Рассмотрим задачу

f(x) = c^Tx + x^TDx/2 → min,   (4.4.1)

Ax = b.      (4.4.2)

Задачи такого типа встречаются, например, при составлении оптимального портфеля ценных бумаг.

Лемма. Функция (4.4.1) является выпуклой тогда и только тогда, когда матрица D является неотрицательно определенной.

Доказательство. Выпуклость функции f(x) означает, что для всех a, b∈Rⁿ выполняется условие ∀λ∈[0, 1]  f(λa+(1-λ)b) ≤  λf(a)+(1-λ)f(b).

Получаем:

λf(a)+(1-λ)f(b) – f(λa+(1-λ)b) = λc^Ta+(1-λ)c^Tb – c^T(λa+(1-λ)b) +

+λ a^TDa/2+(1-λ) b^TDb/2 – (λa+(1-λ)b)^TD(λa+(1-λ)b)/2 =

= λ a^TDa/2+(1-λ) b^TDb/2 – [λ²a^TDa +(1-λ)²b^TDb  +λ(1-λ)(a^TDb+ b^TDa)]/2 =

= λ(1-λ)[a^TDa+ b^TDb/2 – (a^TDb+ b^TDa)]/2 = λ(1-λ)[(a – b)^TD(a – b)]/2.

Полученное выражение неотрицательно тогда и только тогда, когда для всех x∈Rⁿ справедливо неравенство x^TDx ≥ 0, т.е. матрица D является неотрицательно определенной.

Таким образом, если матрица D положительно определена, к задаче (4.4.1)-(4.4.2) можно применять теорему Куна-Таккера.

Составим функцию Лагранжа:  L(x,λ)=f(x)+ λ^T(Ax-b)= c^Tx + x^TDx/2 + λ^T(Ax-b).

Вычислим двойственную функцию:  ψ(λ) = L(x,λ) = c^Tx + x^TDx/2 + λ^T(Ax-b).

Для нахождения точки минимума функции L(x,λ) найдем точку, в которой все частные производные по x равны нулю:

L_x(x,λ)= c + Dx + A^Tλ = 0, откуда

x* =  – D^-1(c + A^Tλ).         (4.4.3)

(В силу положительной определенности матрицы D у нее существует обратная матрица.)

Таким образом,

ψ(λ)  = L(x*,λ) = (c + A^Tλ)^Tx* + x*^TDx*/2 – b^Tλ =

= – (c + A^Tλ)^TD^-1(c + A^Tλ) + (c + A^Tλ)^T{D^-1}^T(c + A^Tλ)/2 – b^Tλ = 

=  (c + A^Tλ)^T{(D^-1)^T/2 – D^-1}(c + A^Tλ) – b^Tλ .         (4.4.4)

Согласно теореме Куна-Таккера у функции ψ(λ) существует точка максимума λ*, в которой ψ(λ*)  = L(x*,λ*). Найдем точки, в которых градиент функции ψ(λ) равен нулю:

                 ψ_λ(λ)  =  A{(D^-1)^T – 2D^-1}(c + A^Tλ) – b =0, откуда (c + A^Tλ*) ={(D^-1)^T – 2D^-1}^-1b, или

                      λ* = [A{(D^-1)^T – 2D^-1}A^T]^-1(b – A{(D^-1)^T – 2D^-1}с) .    (4.4.5)

(Мы предполагаем, что обратная матрица [A{(D^-1)^T – 2D^-1}A^T]^-1 существует, следовательно, найденное решение единственно и поэтому является искомой точкой максимума)

Подставляя (4.4.5) в (4.4.3), получаем решение исходной задачи.