Методы оптимизации.-7

z2 = f(x)

x

(g, f)

X

G

[g(x), f(x)]

(z1, z2 )

θ (µ)

z2 + µz1 = α

наклон −

наклон

−

z1

= g(x)

Рис. 2.1 – Поиск оптимальных решений (П)- и (Д)-задач

f (x)= x2

+ x2 → min,

1

2

− x1 − x2 + 4 ≤ 0,

x1, x2 ≥ 0.

Легко проверить, что x = [2; 2], f = 8.

Здесь g(x)= −x1 − x2 + 4,

X = {(x1, x2 ): x1, x2 ≥ 0}. Тогда функция

Лагранжа (Д)-задачи имеет вид:

Θ( ) = inf {x2

+ x

2

+

(− x

− x

2

+ 4);

x , x

2

≥ 0}=

1

2

1

1

x

= inf {x2 − x

: x

≥ 0}+ inf

{x2

− x

2

: x

2

≥ 0}+ 4 .

1

1

1

x

2

x

Обе нижние грани достигаются при

x = x

= µ ,

если ≥ 0:

1

2

2

Θ( )= −

1

2 + 4 , ≥ 0;

Θ( )= 4 , < 0

2

(т. к. x1 = x2 = / 2 , то при µ < 0 → x1, x2 < 0), то есть недопустимо.

Заметим, что Θ( )

- вогнутая функция, достигающая своего максимума

β(z1)

z2

α(z1)

G

опорная

16

гиперплоскость ϕ(z1)

в точке µ = 4

8

x2 + x2

→ min

1

2

при − x1 − x2 + 4 = z1

.

x1, x2 ≥ 0

Решим эту задачу: выразим

из

уравнения-ограничения переменную

Получим: x = x

=

1

(4 − z );

f

*(z

)= α(z

)=

1

(4 − z )2 .

1

2

2

1

1

1

2

1

d f

=

∂ f

∂x1 +

∂ f

∂x2 = 2x (−1)+ 2x

(−1)

2

d z1

∂x1 ∂z1

1

∂x2 ∂z1

(т.к. x1 = 4 − z1 − x2;

x2 = 4 − z1 − x1)

или

df

= −2(x

+ x

) = −2(4

− z ),

2

1

1

dz1

отсюда f (z1 )= −2∫(4 − z1 )dz1 + C = (4

− z1 )2 + C .

Константу C найдем из условия: f (z1 = 4)= 0 → C = 0 .

Таким образом,

f (z1) = β (z1) = (4 − z1)2 .

Множество G

показано на

рис. 2.2. Если x X , то x1, x2 ≥ 0 и,

следовательно, − x1 − x2 + 4 ≤ 4, т.е.

любая точка x X соответствует z1 ≤ 4 .

α′ (z0 )= −(4 − z )

= −4 ;

1

1

z

1

= z

0

=0

1

a = ϕ

(z = z0 )= α

(z0 )= 8.

1

1

1

Отсюда ϕ (z1) = 8 − 4z1.

2.3. Разрыв двойственности

Теорема 2.1 (слабая теорема двойственности). Пусть

x

-

допустимое

решение (П)-задачи, то есть,

x X ,

g(x)≤ 0, h(x)= 0, а (µ,λ)

- допустимое

решение задачи (Д), т.е. µ ≥ 0. Тогда

f (x)≥ Θ (µ,λ).

Доказательство. Т.к. точка x

-

допустимое решение

(П)-задачи,

то

x X , g(x)≤ 0, h(x)= 0.

Кроме

того,

по

условию теоремы

µ ≥ 0,

т.е.

µT g (x)≤ 0. Тогда, по определению функции Θ , имеем

Θ (µ,λ)= inf {f (y)+ µT g (y)+ λT h(y): y X}≤

y

≤ f (x)+ µT g(x)+ λT h(x)≤ f (x),

что и требовалось доказать.

Следствие 1. inf {f (x):

x X :

g (x)≤ 0, h(x)= 0}≥

≥sup { Θ (µ,λ ):

µ ≥ 0}.

f (

)= Θ (

), где

≥ 0, а

Следствие 2. Если

x

µ

,

λ

µ

S = {x X : g (x)≤ 0,

h(x)= 0}, то точки

и (

,

) - оптимальные

x

x

µ

λ

26

z2 = f(x)

x

(g, f)

G

X

[g(x), f(x)]

разрыв

двойственности

f (x)

θ(µ)

z1 = g(x)

Теорема 2.2. Пусть (

,

) Em+ p ,

≥ 0

µ

λ

µ

. Предположим, что функция

Θ дифференцируема в точке (

)

и ее градиент равен [g (

), h(

)]. Строим

,

λ

x

x

модифицированное направление gˆ(

), h(

) ,

x

x

gˆ

(x)

= g

(

),

если

≥ 0 или g

≥ 0,

i

i

x

i

i

где

(

) ,

(2.1)

max 0, gi

x

если

i = 0 или gi

< 0.

Если

gˆ (

), h(

) ≠ (0, 0), то

gˆ (

), h(

)

x

x

x

x

- допустимое направление

подъема для функции Θ в точке (

,

).

µ

λ

gˆ (

), h(

) = (0, 0), то

Θ достигает

области {( , λ): ≥ 0}

Если

x

x

на

максимума в точке (

,

).

µ

λ

Алгоритм градиентного метода

Пусть

выполняются условия

теоремы

2.2.

Тогда функция

Θ

дифференцируема

и

для решения

задачи максимизации Θ на множестве

{(µ, λ): µ ≥ 0} может быть использована следующая схема.

27

Шаг 1.

Выбрать

вектор

ω1 = (µ1, λ1)

такой,

что

µ1 ≥ 0. Положить

k =1.

Перейти к Шагу 2.

Шаг 2. При заданном (µk , λk ) решить следующую вспомогательную задачу:

f (x)+ µkT g (x)+ λTk h(x)→ min,

x X .

Пусть

xk

-

единственное

оптимальное

решение. Построить

вектор

gˆ

(x

), h(x

)

в

соответствии

с

(2.1). Если этот вектор нулевой –

k

k

остановиться, так как (µk , λk ) - оптимальное решение. Иначе перейти к

Шагу 3.

Шаг 3. Рассмотрим следующую задачу:

Θ

{

(

µ

k

, λ

k

) + γ

gˆ (x

), h(x )

}

→ max ,

k

k

γ

при µk + γ gˆ (xk ) ≥ 0;

γ ≥ 0.

Пусть γ k - оптимальное решение. Положить

(µ

k+1

, λ

k+1

) = (µ

k

, λ

k

) + γ

gˆ (x

), h(x

) ,

k

k

k

f (x)= x2

+ x2

→ min .

1

2

− x1 − x2 + 4 ≤ 0,

x1 + 2x2 − 8 ≤ 0.

f (

)= 8.

Решение этого примера легко получить:

x

= [2; 2];

x

Двойственная задача состоит в максимизации Θ(µ1, µ2 ):

Θ(µ , µ

2

)= min{x2

+ x2

+ µ (− x

− x

2

+ 4)+ µ

2

(x + x

2

− 8)};

1

1

2

1

1

1

x1, x2

µ

1

, µ

2

≥ 0 ; µ1

= (0, 0).

gˆ (x1 )= [4, 0].

T

g

(x)

Шаг 3. Θ

µ1

+ γ gˆ (x1 )

+ x22

=

= Θ(4γ, 0) = min x12

+ [4γ, 0]

1

(x)

g2

= min{x2

+ x2

− 4γ x − 4γ x

2

+16γ }=

1

2

1

28

x =2γ

x

=2γ

1 2

= min{x2

− 4γx

}+ min{x

2

− 4γ x

}+16γ =

1

1

2

2

x1

x2

Далее, получим

Θ(µ 2 )= g (x2 )= (0; − 2), т.е. g

1

(x2 )= 0;

g

2

(x2 )= −2.

g

( x2 ) = 0, то gˆ

( x2 ) = 0,

1

1

Так как

( x2 )< 0, то gˆ

( x2 )= 0.

g

2

2

µ2

= 4

> 0, то gˆ

(x2 ) = g

(x2 ) = 0,

1

1

1

Так как

(x2 )= max

(x2 )

µ2

= 0,

то gˆ

0, g

= 0.

2

2

2

29

T

x

→ min,

c

Ax ≥ b,

x ≥ 0.

Пусть вектор µ1 ≥ 0

связан с ограничениями b − Ax ≤ 0 , а µ2 ≥ 0

- с

ограничениями − x ≤ 0. Тогда

по

Лагранжу

задача (Д) заключается

в

максимизации функции Θ( ).

Θ( 1, 2 ) = inf {cT x + 1T (b − Ax) + 2T x}.

x

Очевидно, что

Θ( ) =

Tb,

если

cT − T A + T ≥ 0;

1

1

2

−∞, в противном случае.

Следовательно, задача (Д) может быть сформулирована в виде:

1T b → max,

T

1 ≤ c.

A

T

T

T

T

c

x =

−

b,

c

A x = 0.

Допустимые области обеих задач пусты.

2. Квадратичное программирование

Рассмотрим следующую задачу КП:

1

xT H x + dT x

→ min,

2

30

Θ( )

1

xT

Hx + dT x + T (Ax − b):

= inf

x En .

(2.2)

2

При фиксированном функция Θ( , x) строго выпуклая и достигает

своего минимума по x

в точке

H x + AT + d = 0.

Найдем из этого уравнения x:

x = −H −1(d + AT µ).

Подставим это выражение в (2.2), получим:

Θ( )=

1

T D + T c −

1

dT H −1d ,

2

2

где D = −AH −1AT ;

c = −(b + AH −1d).

Таким образом, задача (L) может быть записана следующим образом

(опуская const = −

1

T

−1

d

H

d ):

2

Θ

( )=

1

T D + T c → max,

2

≥ 0.

Решить задачу (Д) можно относительно легко, используя следующую

схему.

При заданном значении положим

Θ( )= D + c = g .

Определим gˆ по формуле

g

,

если g

≥ 0,

gˆi

=

i

i

<

.

0,

если gi

0.

Известно,

что

если

gˆ = 0,

то

вектор - оптимальное решение. В

противном случае

gˆ

- допустимое направление подъема для функции

Θ( ).

Оптимизируя функцию Θ , из точки

вдоль направления

gˆ так, чтобы не

нарушать условие gi

≥ 0, приходим к новой точке. Затем процесс продолжаем.

Пример 2.3:

f (x)= x2

+ x

2 → min ,

1

2

−x1 − x2 + 4 ≤ 0, x1 + 2 x2 − 8 ≤ 0.

Решение.

Вычислим матрицы

2

0

A =

−1

−1

− 4

d = [0; 0]T .

H =

;

;

b =

;

0

2

1

2

8

Далее:

H −1 =

1 2

0

D

1

− 3 2

= −b = (4;

− 8)T .

;

= −

; c

−

3 2

0

1 2

5 2