Методы оптимизации. Учебное пособие-3

4.3. Отыскание наибольшего и наименьшего значений функции нескольких переменных в замкнутой области

xx

12

2

=

+

1

00(, )

f x()

f Me()

1

00

1==

+

f

G

f

G

f x()

122

22

+=

xe

x

a

О=G

2

fe

a

GG

==

2

fe

==

G

2

f f

наим

==(, )00 1

f xfxx xxxx() (, )==-+

12 1

3

12 2

2

26 3

2

x22=

x

2

f xfxx() (, )=

12

X

12

0

¶

+=

fxx

(, )

,

2

12

1

00(, )

2

11(, )

Таким образом, функция

ческую точку

внутри области X.

Вычислим значение функции

2. Найдем наибольшее

функции

на границе

f

()

f xx e

(, )

и наименьшее

наиб

области X.

f

наиб наим

122

имеет одну крити-

в точке 1:

.

значения

наим

.

3. Сравнивая результаты пунктов 1 и 2, получим наибольшее

значение функции

ции

f

наиб наиб

.

a

, наименьшее значение функ-

Пример 4.8

Найти наибольшее и наименьшее значения функции

, прямой

и параболой

в области

=

2

, ограниченной осью

1

.

Решение

1. Найдем критические точки функции

три области

:

12

x

1

12

x

=-=

=-

¶

fxx

(, )

¶

2

xx

660

1

2

xx

66 0

вну-

,

.

81

4. Оптимизация функции нескольких переменных

f xx xxxx(, )

12 1

3

12 2

2

26 3 =- +

2

11(, )

f x()

f Mf() (, )

21

11 1==-

22

,

f200 0(, ) =

f302 12(, ) =

1131

О

),

df x

()

1

2

20

,

x

1

202=О[, ]

f x(,)12

f422 12 82(,) =-

f522 4(, ) =

x

2

M

1

0

2

x

2

1

Таким образом, функция одну критическую точку

Вычислим значение функции

внутри области

в точке 2:

.

2. Рассмотрим поведение функции на границе области:

x

02

[, ],

О

2

x

0

,

а)

б)

Найдем значения функции

=

1

fx x

03

(, ) — возрастающая функция

x

02

[, ],

1

=

x

2

,

2

fx xx

22 12 12

(,

1

dx

2

=

;

=- +

2

x

61

=-=

1

;

.

в точке

:

;

имеет

и в точке

82

4.3. Отыскание наибольшего и наименьшего значений функции нескольких переменных в замкнутой области

x

xx

2

=-

,,

df dx

0

1

0

()

x

1

2

1()=

1 2

1 4

ж и

ц ш

f

i

f f

наиб

==

3

(, )02 12

f f

наим

==-

1

11 1(, )

2

3

12

ЈЈ ЈЈxx,

f xfxx() (, )=

12

0

¶

-=

fx x

x

(, )

,

2

м

о

1

в)

x

fx

x

=

2

ж з

1

и

О

[, ],

02

xx=-=33

,

2

x

1

234

3

1

ц ч

141

3

ш

2

1

,

.

,

ч

=-

.

f61

з

3. Сравнивая полученные значения ходим наибольшее значение функции меньшее значение функции

Пример 4.9

Найти наибольшее и наименьшее значения функции

f xfxx xx xx

() (, )==---

12 12 122

.

Решение

1. Найдем критические точки функции три области

:

12

п

¶

x

п н

п п

¶

fx x

(, )

¶

1

12

x

xx

12

в области

=-

xxx

2

212

=-

xx xx

11212

,

, на-

, наи-

.

:

вну-

2

0

2

0

..

83

4. Оптимизация функции нескольких переменных

x

xx

21

0

2

02

=

й

л

к к к

,

.

xx

112

=

й л

к

.

34

132

3

ж и

ц ш

xx

2

3

--

132

ж и

ц ш

ч

f x()

13231323192312134

79

ж и

ц ш

X

x

2

0

03

=

,

),

P2(0, 2)

P

(0, 0)

1

x

2

P

(1, 2)

P

8

4

P

(1, 0)

3

1

x

1

Из первого уравнения:

2

xx

012

№Ю--=Ю =-

21

x

2

Из второго уравнения:

x

0

,

1

№Ю--=

01 0

x

Следовательно, возможны следующие варианты:

00 02 10

(, ), (, ), (, ), ,

12

Таким образом, функция

PP

f xx xx xx

(, )

=-

12 12 122

з

4

.

ч

12

име-

ет одну критическую точку

Вычислим значение функции

2. Найдем критические точки функции на границе обла-

сти

:

1

x

О

а)

2

fx

(,

84

=

f Pf() ,

41

з

ч

02

[, ],

=-

,

4

з

внутри области

3

.

в точке 4:

=---=-

3

9

27

.

4.3. Отыскание наибольшего и наименьшего значений функции нескольких переменных в замкнутой области

df x

()0

0

2

,

56

00 02= (, ), (, )

22

12

=

)/,

df x

(1,)

2

0

x20=

7

10(, )

8

12(, )

f x(, )12

f210 3(, ) =-

f312 5(, ) =-

x

0

03

=

,

),

df xdx(,0)

1

910

00 10= (, ), (, )

11

=

),

df x

(,2)

1

40

x10=

11

02= (, )

f x(,)12

f402 3(, ) =-

f

i

ж и

ц ш

132

79

f f

наим

==-

3

12 5(, )

2

=

критические точки

, 02

2

=- -

x

=- =

2

3

.

б)

точка

dx

x

1

О

x

[, ],

2

fx x

(,

2

dx

Найдем значения функции

и, кроме того, граничная

в точке

;

и в точке

:

2

x

01

О

[, ],

1

fx

(,

1

=-

1

0 =

критические точки

в)

;

x

2

О

x

г)

1

fx x

(,

1

dx

Найдем значение функции

3. Сравнивая полученные значения

наибольшее значение функции

шее значение функции

2

,

01

[, ],

=- -

223

x

=- =

1

2

критическая точка

в точке

:

.

f f

наиб

,

=-

,

=

1

з

ч

3

, находим

, наимень-

27

.

85

4. Оптимизация функции нескольких переменных

f xfxx() (, )=

12

f xfxx xx() (, )==--

12 12

23

X :

1212

ЈЈ ЈЈ +Јxxxx,,

f xfxx xx xx() (, )==+- +

12 122

2

12

12 16

X :

xx

1

222

25+Ј

f xfxx xx() (, )==

12 12

X :

xx

1

222

1+Ј

f xfxx xx() (, )==

12 12

2

X :

xx

1

222

25+Ј

f xfxx xx() (, )==-+

12 12

25

X :

xx xx

12 12

00 1Јі-+ Ј,,

f xfxx xx xx xx() (, )==+- --

12 122212 12

X :

xxxx

1212

00 3іі+Ј,,

f xfxx xx xx() (, )==+-

12 132

3

12

3

X :

12

ЈЈ -Ј Јxx,

f xfxx xx xx() (, )==--

12 12 122

3

X :

12

ЈЈ ЈЈxx,

f xfxx xx() (, )==-+

12 122

83

X :

xx

1

222

4+Ј

f xfxx xx xx() (, )==++ -+

12 122

2

12

12 16 2

X :

xx

1

222

25+Ј

Контрольное задание

Найти наибольшее и наименьшее значения функции

в области X:

а)

б) в) г) д) е)

ж) з) и) к)

,

;

,

;

,

;

,

;

,

;

.

86

5. Численные методы минимизации

f xR R

n

(): ®

f x

xR

()®Оmin

xx x

k() () ()

,,..., , ...

01

f xfxfx

k

()()... ()...

() () ()01

іііі

()xk

x

()0

xx x

k() () ()

,,..., , ...

12

x

k()

yR

kn()

О

функции нескольких переменных

5.1. Методы безусловной минимизации

ассматривается задача безусловной минимизации целевой функции

(без ограничений):

Р

Идея методов приближенного решения поставленной зада-

чи состоит в построении последовательности точек

.

n

удовлетворяющих условию

Такие последовательности

ми, а методы — методами спуска.

Общая схема метода спуска

Пусть

— начальная точка. Последовательные приближе-

ния

— в точке — находят

,

.

называются релаксационны-

определяют следующим образом:

выбирают направление спуска

-е приближение по формуле

;

87

5. Численные методы минимизации функции нескольких переменных

xx y

kkkk() () () ()+

=+1a

()k

y

k()

f x()

x

k()

f x()

xR

n*

О

yR

n

О

*

С<fx y 0

f x()

x

*

f xyfx()()

**

+<a

yR

n

О

x

*

f x()

x

*

f xyfx fx yry()()((), )()

***

+- =С +aaa

li

()

a

0

ry

f xyfx()()

**

+-a

x

*

f xyfx()()

**

+- <a 0

f xyfx()()

**

+<a

где

— величина шага спуска.

,

Все методы спуска различаются: — либо выбором направления спуска; — либо способом движения вдоль направления спуска. Основная задача при выборе параметров

,

каждого

метода спуска — это обеспечение последовательного убывания значений целевой функции

Теорема 5.1. Пусть функция

. Тогда любой вектор

определяет направление убывания функции то есть существует такое число

в точках

,

.

дифференцируема в точке

, удовлетворяющий условию

, (5.1)

в точке

, что

.

Доказательство Пусть

ловию (5.1). Тогда существует такое число ности точки

ливо разложение (в точке

— произвольный вектор, удовлетворяющий ус-

, что в

для дифференцируемой функции

-окрест-

справед-

)

,

причем

m

a

®=0

a

.

y

Из условия (5.1) следует, что знак

ляется первым слагаемым (в жении (5.2):

88

, (5.2)

-окрестности точки

опреде-

) в выра-

.

5.2. Метод градиентного спуска

f x()

x

*

yfx

**

()=-С

f x()

x

*

f x()

x

k()

f x()

n

С

ў

-С

ўў

Ј

ў-ўў

fx fx Lx x() ()

ўўў

Оxx R

n

,

x

()0

xxy

kkk() () ()+

=+1a

yfx

kk() ()

()=-С

Замечание. Наибыстрейшее убывание функции

происходит в направлении вектора

диента функции

в точке

.

Это свойство антиградиента функции

легло в основу

в точке

— антигра-

градиентных методов.

5.2. Метод градиентного спуска

Процедура построения последовательности {x

вана следующим образом:

x

(k+1)

y

где величины шага спуска α

= x

(k)

(k)y(k)

+ α

(k)

= –

, k = 0, 1, 2, …,

(k)

f (x

),

(k)

> 0 выбираются достаточно малыми для того, чтобы выполнялось условие последовательного убывания значений целевой функции

.

Теорема 5.2. Пусть функция

ренцируема на

и ее градиент

Липшица с постоянной

:

ограничена снизу, диффе-

удовлетворяет условию

(k)

} организо-

в точках

,

Тогда для любой начальной точки

цедуре:

для

.

в итерационной про-

, (5.3)

,

89

5. Численные методы минимизации функции нескольких переменных

li

®Ґ

С=0

()xk

()

fx

k

f x()

x

*

n

О

()xk

f x()

n

() {:() }=О Ј

xLC()()

0

О

()xk

x

*

0

f x()

()xk

f x()

f xfxyfx

kkkk

()()()

() () () ()+

=+<

1

a

можно выбрать такое число

m()

причем последовательность

, постоянное для всех

()kk

fx

,

будет релаксационной.

, что

Замечание. Теорема 5.2 гарантирует сходимость последова-

тельности

— либо к значению функции

ной точке

— либо к точной нижней грани

:

в некоторой стационар-

;

, при этом

не исключается случай, когда ничего определенного сказать о сходимости последовательности

Теорема 5.3. Пусть функция

удовлетворяет условию те-

оремы 5.2 и существует постоянная

, такая что множество

нельзя.

уровня

не пусто и компактно. Тогда для любой начальной точки

последовательность

, определенная по форму-

ле (5.3), будет релаксационной, причем каждая ее предельная точка

то всякая предельная точка последовательности кой минимума функции

удовлетворяет

.

Следствие. Если дополнительно функция

на n.

выпукла, будет точ-

Приведем анализ метода градиентного спуска:

1. Итерационная процедура спуска (5.3) с постоянным шагом чины шага этом выбор большого шага

проста, но при реализации требует знания вели-

, которая на практике определяется подбором. При

может привести к нарушению ус-

ловия убывания целевой функции

90

. (5.4)