Добавил:
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:

Кудрявтсев Методы оптимизатсии 2015

.pdf
Скачиваний:
12
Добавлен:
12.11.2022
Размер:
1.51 Mб
Скачать

 

 

 

 

 

 

 

 

 

 

 

 

 

/

 

 

 

 

 

 

 

 

 

 

 

 

 

 

справедливость утверждения, нужно показать, что верно соотношение

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Q.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

/ · Q

 

 

 

 

 

или

 

 

 

 

 

 

 

 

 

 

 

Из 2-го шага алгоритма

 

следует, что

 

 

 

 

 

 

 

 

 

 

 

 

 

/

 

 

 

 

 

/

 

· Q,

 

 

 

 

 

 

 

 

 

 

A /

 

/

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

/

· 1 Q .

 

 

 

Аналогично имеем /

 

 

 

перегруппировывая слагаемые, получим

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

/

 

 

 

 

 

1 Q

 

 

 

 

 

 

 

 

 

 

 

 

 

полученных результатов на второй, получаем

Разделив первый из

 

 

/

 

 

 

 

 

 

 

/

 

· Q.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

/

 

 

 

 

Q

 

 

 

.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

, в

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Но из (2.2) следует, что

1 Q Q

 

 

 

 

 

 

 

результате чего имеем

 

 

 

 

 

 

 

 

/

 

 

1 Q

Q.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Q

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

случая

 

 

 

 

 

 

 

 

 

 

 

 

проводится аналогич-

Доказательство для

 

/

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

но. Указанное свойство

позволяет на каждой итерации (кроме пер-

 

 

 

 

 

 

 

 

 

 

 

G

 

 

 

 

 

 

вой) производить испытания только в одной точке.

 

 

 

Утверждение 2. Точки

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

сительно концов ТИН.

 

 

 

 

,

расположены симметрично отно-

точки /

 

на ту же

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

/

 

 

· Q

 

 

 

 

Доказательство. Из 2-го шага алгоритма следует, что точка

отстоит от точки

 

 

 

на величину

 

 

 

 

 

 

 

 

 

 

 

 

; точка

 

 

от

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

отстоит

 

 

 

 

величину.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Утверждение 3. Поскольку после каждой итерации длина ТИН

уменьшается в τ раз, можно априорно оценить количество итераций

 

|

ТИН

 

|

 

/ Qи

т.д. Тогда

 

после

 

| ТИН

 

|

по заданной точности решения. Действительно, после первой итера-

/ QQ

/ Q

,

после

второй итерации

 

 

!

 

ции

 

 

 

 

 

/ Q .

 

 

 

| ТИН |

 

 

 

 

 

 

r

итерации

 

имеем

|ТИН

| +

 

 

/Q +

 

окончания

поиска

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

, получаем

 

 

 

. Заменив знак неравенства

 

 

 

 

 

 

 

 

 

на равенство и выразив r, получим оценку количества итераций.

31

2.1.3Сравнение эффективности методов, сокращающих ТИН

Обозначим через Φ класс непрерывных унимодальных одномерных функций\] , ] ,.]Пусть, ] & множество рассматриваемых методов поиска есть , ! # , где A1 – метод равномерного поиска; A2

метод дихотомии; A3 – метод Фибоначчи; A4 – метод золотого сечения.

В качестве критерия оптимальности указанных методов на классе функций Φ будем использовать максимальную длину ТИН после

m испытаний: ^ ] max|ТИН , ] |.

Ф

Использование подобного критерия обусловлено тем, что при решении оптимизационной задачи зачастую требуется минимизировать число испытаний (это уже обсуждалось в разделе 1.6). Но, поскольку в предыдущем разделе длина ТИН связывалась с количеством итераций (а, как было показано, почти во всех методах число итераций не совпадает с числом испытаний), необходимо в выведенных формулах сделать переход от итераций к испытаниям.

При рассмотрении метода равномерного поиска было показано,

что после каждой итерации длина ТИН уменьшается в раз, а ко-

личество испытаний на каждой итерации m = N+1. Следовательно,

^ ] / / .

32

При рассмотрении метода дихотомии было показано, что после

каждой итерации длина ТИН уменьшается в два раза, количество

испытаний на каждой итерации равно 2, поэтому m = 2N. Следова-

 

^ ] /

 

 

)

 

*

 

тельно,

 

 

 

 

.

 

 

 

 

 

 

При рассмотрении метода Фибоначчи было показано, что в ре-

зультате N итераций длина ТИН становится равной F , а количе-

ство испытаний m = N+1 (на первой итерации два испытания,

дальше по одному испытанию на каждой итерации). Следовательно, ^ ]! / .

F

При рассмотрении метода золотого сечения было показано,/Qчто в результате N итераций длина ТИН становится равной , а количество испытаний m = N+1 (на первой итерации два испыта-

ния, дальше по одному испытанию на каждой итерации). Следова-

тельно,

#

.

 

 

 

Пользуясь^ ] полученными/ Q

результатами, сравним метод дихото-

мии и метод Фибоначчи при числе испытаний m = 14:

 

^ ]!

 

Y

 

Y

 

^ ]

 

 

2

 

128 O 1,82.

 

 

 

 

!

Видно, что метод Фибоначчи почти в два раза эффективнее метода дихотомии.

33

2.1.4 Методы полиномиальной аппроксимации

Если при решении оптимизационной задачи была получена информация о том, что целевая функция является достаточно гладкой в некоторой окрестности экстремума, то в этой окрестности ее можно достаточно точно заменить (аппроксимировать) полиномом некоторого порядка, после чего использовать для нахождения экстремума этот полином.

Качество аппроксимации может быть повышено двумя способами:

увеличение степени аппроксимирующего полинома;

уменьшение сетки аппроксимации.

Второй способ является более предпочтительным, так как построение полинома порядка выше трех – достаточно сложная задача.

Метод квадратичной аппроксимации

В данном методе целевая функция приближенно заменяется па-

a

, 1,2,3

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

, a , где

раболой,

 

проходящей.

через

три

известные точки

b /

 

A /

 

A /

 

 

 

 

 

 

 

 

Построим полином следующего вида:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

.

/ , 1,2,3

 

 

 

.

 

 

 

 

 

 

 

 

b

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

a

, 1,2,3

 

 

 

 

 

 

 

 

 

 

 

 

 

Необходимо выбрать

 

: b

 

таким образом, чтобы

 

 

Подставим в полином

/

 

 

 

 

 

 

/ a

.

 

 

 

 

 

 

 

, следовательно,

 

 

 

 

 

/

 

 

 

 

: b /

 

 

A /

 

 

 

 

, следо-

Подставим в полином

 

 

 

 

 

 

вательно,

 

6 6 .

 

 

 

 

a

 

 

b /

 

 

 

A /

a

 

 

 

 

A /

 

 

 

 

Подставив в полином

 

!

 

получим

 

 

 

 

 

 

 

 

 

 

 

 

!

 

 

 

 

!

 

,

 

 

!

 

 

 

!

 

 

 

!, следова-

 

 

 

 

 

 

!

1

 

a! a

 

 

a

a

X.

 

 

 

 

 

 

 

тельно,

 

 

 

/

 

 

 

W

 

 

 

 

 

 

 

 

b / A /

 

 

 

 

 

 

!

 

 

 

 

 

 

 

 

 

 

 

 

 

A / 34 0, откуда

 

 

 

.

 

Найдем экстремум классическим методом, взяв производную:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Пример. Найдем с помощью квадратичной аппроксимации экс-

ственно,

 

 

 

!

1,. 0,

1

 

тремум функции f(x)=

sin(x) + cos(x)

на отрезке [-1, ]. В качестве

мальной

a O 0,3, a

1, a

1,38

 

 

 

 

 

, и, соответ-

точек аппроксимации возьмем

 

 

 

 

 

!

 

 

/ O 1,3; /

 

<

 

Для

 

определения опти-

= O 0,46.

. Найдем их:

 

точки нужно знать коэффициенты

/

 

и

/

6 6

 

 

 

6 6

6 6

 

 

 

 

 

 

 

 

 

 

0,91. Из рис. 2.5 видно, что постро-

Тогда

 

O

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

енный аппроксимационный полином достаточно точно приближает целевую функцию.

Рис. 2.5. Целевая функция и аппроксимирующий полином

Подобные расчеты можно повторять для уточнения точки, 1,2,3экстремума, на каждой итерации заново выбирая точки каким-либо образом. Например, можно найденную на предыдущем шаге точку оптимума обозначать как , а в качестве точек и ! брать те использовавшиеся на предыдущем шаге точки, между ко-

35

 

1,

 

0,

1

 

 

 

 

 

 

O 0,91.

Так, для примера выше

 

торыми оказалась точка оптимума.

возможно: скажем,

0,

 

O 0,91,

 

1

 

 

 

 

 

 

 

 

 

 

 

 

 

!

 

 

 

 

 

 

!

 

 

 

 

 

и

 

 

 

 

 

 

 

 

 

Тогда

 

 

на

 

следующем

шаге

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

можно положить

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

!

 

 

 

 

. Однако это не всегда

 

 

 

 

 

 

 

 

вполне возможна ситуация, когда

 

 

f

2 ; 3.

 

Решить эту проблему помогает метод Пауэлла.

 

 

 

Метод Пауэлла

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1.

Выбираем начальную точку

, величину шага

 

и

 

 

 

 

 

 

 

 

A

 

числа.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

+ , +

 

 

малые положительные

 

 

!

 

G

 

 

 

A

2.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Выполняем

 

 

!

 

 

 

 

 

 

 

.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

4.

 

 

 

 

 

 

 

 

и

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

, то

!

 

 

3.

Вычисляем

 

 

 

 

 

 

 

 

 

. Если

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

; в противном случае

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Вычисляем

 

 

 

 

 

и находим

 

;

\ | &.

 

 

min

,

 

 

,

!

 

 

 

, .

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

5.

По

 

 

 

 

!

вычисляем

 

 

и

 

 

 

 

,

 

 

пользуясь

 

формулами

 

квадратичной

аппроксимации. Если

 

 

 

 

 

 

 

 

,

то

результатом

 

аппроксимации является не парабола,/а

 

прямая; в этом случае

 

 

0

 

 

 

 

 

 

 

 

следует положить

 

 

 

 

 

 

 

 

и перейти к шагу 2.

 

 

 

 

 

 

 

 

 

 

 

h

 

 

 

 

h

+

, h

 

 

 

 

 

 

h

 

+ .

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

6.

Проверяем

условия окончания поиска:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Если оба условия выполняются, останавливаем поиск; точоптимума – ; 2 ; 3

Если2 ;хотя3 бы одно условие не выполняется и ! (или ! – в зависимости от выбранного на шаге 3 направ-ления поиска), то выбираем «наилучшую точку» (либо , либо

) и две использовавшиеся точки по обе,стороны, от нее. Обозначаем эти точки в естественном порядке ! и переходим к ша-

Еслиf ;хотя бы одно условие не выполняется и f 2 ; !3 (или ! – в зависимости от выбранного на шаге 3 направления поиска), то обозначаем и переходим к шагу 2.

36

2.1.5 Методы, использующие производные

Если целевая функция достаточно просто дифференцируется и вычисление значения производной не представляет значительных сложностей, то целесообразно воспользоваться этим обстоятельством для поиска экстремума. Общая идея излагаемых ниже методов состоит в численном 0решении уравнения классического метода оптимизации – .

Метод средней точки

Данный метод очень схож с методом дихотомии: определяются две точки L и R, в которых производная целевой функции имеет

разные знаки

(например,

 

 

 

 

 

 

). Тогда точка экс-

тремума, в которой

 

 

 

будет находиться на отрезке [L, R].

 

 

 

 

 

F,

? 0,

S G 0

 

Полагаем

 

( 7

 

вычисляем

 

 

, после чего исключаем из

 

 

 

и

 

0

 

 

 

 

 

 

рассмотрения один из отрезков ([L, Z] или [Z, R]), на краях которо-

 

i

 

 

 

 

 

 

 

 

i

 

 

го знаки производной совпадают|F. ПроцессS| + можно| повторятьi | + до достижения требуемой точности: или .

Метод Ньютона (касательных)

Если целевая функция имеет непрерывные и сохраняющие оп-

ределенные знаки производные вплоть до третьей включительно на

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

,

 

/

? 0

 

 

 

 

 

 

некотором отрезке [a, b], причем первая производная имеет разные

 

 

 

 

 

 

 

 

, можно

 

2/; 3

 

 

 

 

 

 

 

 

), то, исходя из

знаки на концах этого отрезка (т.е.

 

 

 

 

 

 

 

 

 

 

 

G 0

 

 

 

 

 

 

 

 

 

 

 

 

 

 

удовлетворяющего условию

начального приближения

0

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

вычислить с любой точностью единст-

 

 

 

 

 

 

 

 

 

 

 

 

 

 

венный корень уравнения

 

 

 

 

 

 

 

.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Проведем

через

точку

 

 

 

 

 

касательную. Уравнение такой

 

Поскольку мы

a A

 

 

.

 

 

 

 

 

 

 

касательной записывается

как

, a

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(2.5)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ищем решение уравнения

 

 

 

 

 

 

, заменим в

 

 

 

 

 

 

 

 

 

 

 

 

 

a

0 :

 

 

A

 

 

 

0

 

(2.5) на

 

 

и

 

 

на

 

 

, после чего найдем

точку пересечения каса-

 

 

 

 

 

 

 

 

 

 

 

0

 

 

 

тельной с осью абсцисс

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

. Из

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

полученного соотношения выразим x:

 

 

) *

 

Тогда можно

 

) *.

построить итерационный процесс:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

37

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

) *

 

(2.6)

) *

 

 

 

интерпретация метода приведена на рис. 2.6.

Геометрическая

 

 

.

 

| | + или

|| | +.

 

Итерационный процесс (2.6) заканчивается, когда

 

Рис. 2.6. Геометрическая интерпретация метода Ньютона

 

 

Метод секущих (хорд)

 

 

 

 

 

 

 

 

O

 

 

 

 

 

 

получается из

 

 

 

 

 

Метод секущих

метода

 

касательных заменой

 

 

в (2.6) разностным приближением:

 

 

 

 

) * ) *.

 

 

Методом

 

 

 

 

 

 

 

 

 

 

.

 

 

В результате получим формулу итерационного процесса:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(2.7)

 

 

 

 

 

 

 

) * ) *

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

хорд называют метод секущих в том случае, когда

 

 

 

 

 

 

 

 

 

0

 

 

 

 

 

 

 

(2.8)

один из концов отрезка [a, b] закреплен, т. е. вычисление прибли-

 

 

 

 

 

) *

) *

 

,

 

 

,

 

 

жения корня уравнения

 

 

 

 

производят по формулам:

38

либо

 

 

 

в

 

 

 

 

 

, /.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(2.9)

 

 

 

 

 

) * )

*

 

 

 

 

 

 

 

 

 

 

В качестве

 

 

обоих методах выбирают тот конец отрезка, на

 

 

 

 

 

 

 

 

 

 

 

 

 

 

. Для метода секущих до-

 

выполняется

 

 

 

 

 

 

 

котором

 

 

 

 

 

 

 

 

 

 

 

, так как этот метод является

 

 

 

 

 

 

определить

 

 

полнительно нужно

 

 

 

 

 

 

G 0

 

 

двухшаговым;

 

это

делается с

помощью одной итерации метода

 

 

 

 

 

 

 

хорд (см. (2.8), (2.9)), а все последующие значения вычисляются с

помощью (2.7).

..

|

|

 

2.7.

или

 

 

Геометрическая интерпретация метода хорд приведена на рис.

+

 

|

|

+

 

 

 

 

Итерационный процесс (2.7) заканчивается, когда

 

 

 

Рис. 2.7. Геометрическая интерпретация метода хорд

39

2.2 Безусловная оптимизация функций многих переменных

2.2.1 Основные понятия и определения

Постановка задачи

 

 

 

 

 

 

 

j k

 

 

 

 

 

 

, , … ,

 

 

 

 

n

действительных

 

 

 

 

Пусть

задана

функция

 

 

 

переменных

 

 

 

 

, определенная на множестве

 

 

 

 

 

. Гово-

рят, что функция

 

 

имеет локальный минимум в точке

 

 

,

 

 

 

окрестность точки

 

такая, что

 

 

 

 

 

 

 

 

для

если существует

 

 

 

 

 

 

 

 

 

 

 

 

 

j

 

любой точки этой окрестности.

Аналогично, функция имеет гло-

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

j

 

 

 

 

 

 

 

 

бальный минимум

в точке

 

 

 

, если

условие

 

справедливо для любой точки

 

j.

 

 

 

 

 

Поверхность и линия уровня

Поверхностьюconst уровня называется геометрическое место точек, где . Для функции двух переменных поверхность уровня называется линией уровня.

Градиент функции многих переменных и его свойства

Градиентом функции многих переменных называется вектор, составленный из первых частных производных функции по всем переменным:

p <8

, 8

, … , 8 =

9

.

(2.10)

8

8

8

 

 

 

Свойства градиента:

1. Градиент функции перпендикулярен поверхности уровня функции ; в случае функции двух переменных он перпендикулярен касательной к линии уровня.

2.Направление градиента есть направление наиболее быстрого роста функции.

40

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]