Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Методы оптимизации. В 2 частях. Ч.1. Учебное пособие
.pdf
Первое достаточное условие экстремума. Пусть функция не-
*
x
*
x
*
x
*
x
* *
f x x x x
*
x
* *
f x x x x
*
x
*
x
f x
f x
f x
*
x
f x
f x
*
x
1
прерывна в некоторой -окрестности критической точки
* *
– если
максимум;
– если
минимум.
Второе достаточное условие экстремума. Пусть функция
дифференцируема в некоторой -окрестности критической точки
Тогда:
– если
(т. е. при переходе через точку
на «минус»), то в данной точке функция достигает максимума;
– если
|f x f x x x
* *
|f x f x x x
0 | ,
0 | ,
, то в точке
, то в точке
и
производная меняет знак с «плюса»
и
имеем локальный
имеем локальный
0 | ,f x x x x
0 | ,f x x x x
. Тогда:
* *
* *
.
(т. е. при переходе через точку
са» на «плюс»), то в данной точке функция достигает минимума.
Обратите внимание, что, согласно достаточным условиям, если
функция не существует слева или справа от точки
не является экстремумом.
Достаточное условие перегиба. Пусть функция
дифференцируема в некоторой -окрестности точки x, для которой
выполняется необходимое условие перегиба. Тогда, если вторая про-
изводная
точке существует перегиб функции
Приведенные выше критерии универсальны, т. е. их можно при-
менять даже тогда, когда производные функции терпят разрыв. Если
же в точке
ные критерии значительно упрощаются.
при переходе через точку x меняет знак, то в данной
функция
и ее производные непрерывны, то дан-
производная меняет знак с «мину-
, то такая точка
дважды
.
Сформулируем необходимое и достаточное условие экстрему-
ма и перегиба непрерывной функции скалярного аргумента
имеющей непрерывные производные. Если в точке
первые
,
n
21
производные функции
f x
/ | 0, 1,2,..., 1,
*
x
*
x
0
*
x
0
*
x
f x
,
a b
f a
f b
n
x R
*
x
grad 0
*
f x
*
x
*
x
*
x
рядка n отлична от нуля, т. е.
обращаются в нуль, а производная по-
k k
f d f x dx k n
то:
1) если значение n — нечетное, то
2) если значение n — четное, то
Причем, если
n
–
f x
n
–
f x
Для выпуклых и унимодальных функций найденный локальный
минимум будет являться одновременно и глобальным.
Примечание. При поиске глобального минимума функции
заданной на отрезке
, то
, то
n n
f d f x dx
— точка локального минимума;
— точка локального максимума.
, необходимо найти все точки локальных
k
*
x x
/ | 0,
n
— локальный экстремум.
*
x x
— точка перегиба;
,
минимумов, вычислить в них значения функции, а также вычислить
значения функции на границах отрезка
этих значений наименьшее.
2. Векторный случай (
Сформулируем необходимое условие экстремума функции век-
торного аргумента. Если в точке
является критической, т. е.
вует.
Первое достаточное условие экстремума. Пусть функция
непрерывна в некоторой -окрестности критической точки
* *
– если
ный максимум;
– если
|f x f x x x
* *
|f x f x x x
).
имеется экстремум, то эта точка
*
f x
, то в точке
, то в точке
и
или
grad
, и выбрать среди
не сущест-
. Тогда:
имеем локаль-
имеем локаль-
ный минимум.
22
Второе достаточное условие экстремума. Пусть функция два-
*
x
H x
*
x
H x
*
x
H x
*
x
H x
*
x
0 1,2,...,
g x , k m,
,
L x
,
λ f x λ g x
k
f x
g x
,
L x
*
x
0
жды дифференцируема в точке
– если матрица Гессе
f
. Тогда:
в точке
отрицательно определе-
на, то в данной точке функция достигает максимума;
– если матрица Гессе
f
в точке
положительно определе-
на, то в данной точке функция достигает минимума.
Если матрица Гессе
f
то имеем седловую точку. Если матрица
в точке
является неопределенной,
f
в точке
положи-
тельно или отрицательно полуопределена, то сразу нельзя сделать определенных выводов — это может быть как экстремум, так и седловая
точка. Нужны дополнительные исследования (например, по первому
достаточному условию).
Для выпуклых функций найденный локальный минимум будет
являться одновременно и глобальным.
3. Минимизация при ограничениях.
Рассматривается задача:
Обозначим
где
— неопределенные множители Лагранжа.
Здесь все функции
f x
x D R .
функцию Лагранжа
L x,
k
,
рывно дифференцируемыми.
min,
n
k
m
k
,
(1.13)
k k
1
(1.14)
предполагаются непре-
Точка
ней выполняются условия Куна-Таккера: существует такое
будет глобальным экстремумом задачи (1.14), если в
*
, что
23
grad , 0;
0, 1,2,..., .
L x
g x k m
* *
,
x D
0
* * * *
, , , .
*
x
* *
,
,
L x
i i
x A x
0
x
, ,..., ,...
*
x
0
x
k
x
1
* *
k k
*
x x
*
Пара векторов
гранжа, если при всех
Таким образом, точка
задачи (1.14), если пара векторов
функции
.
x
L x L x L x
образует седловую точку функции Ла-
и
является точкой глобального минимума
выполняется неравенство
x
является седловой точкой
1.4 Характеристики алгоритмов оптимизации
Прежде чем приступить к решению конкретной задачи оптимизации (ЗО), следует выяснить вопрос, какому из методов оптимизации
отдать предпочтение в данном случае. Для этого необходимо уметь
сравнивать методы, например, на определенных классах задач.
Очень важна роль априорных характеристик методов: трудоемкость вычислений, скорость сходимости, устойчивость метода к
ошибкам в вычислениях, чувствительность метода к значениям параметров алгоритма и ряд других.
Сходимость алгоритма является наиболее важным вопросом
оптимизации. Большинство методов решения ЗО имеют итерацион-
ную природу:
, они порождают последовательность
алгоритма A, сходящуюся к точке экстремума
Глобальная сходимость. Алгоритм A обладает свойством гло-
бальной сходимости, если для любой начальной точки
тельность
к точке, удовлетворяющей необходимым условиям оптимальности.
Данное свойство отражает надежность работы алгоритма.
, т. е., исходя из некоторой начальной точки
1
x x x на основе
, определяемая выражением
0 1
x A x
k k
i
.
, последова-
, сходится
24
Асимптотическая сходимость и скорость сходимости.
*
x
k
x
*
x
k
x
*
x
lim sup 1,
n
R
lim sup 0.
p
1 2,3,...
lim sup ,
2
p
3
p
p n
С практической точки зрения эффективность алгоритма зависит от
числа итераций, необходимых для получения приближенного реше-
ния
с заданной точностью .
Для получения критерия с некоторым абсолютным значением необходимо прибегнуть к другому типу анализа, взяв за объект исследования асимптотическую сходимость – поведение последователь-
ности точек
в окрестности предельной точки
. Это значит, что
каждому алгоритму приписывается индекс эффективности — ско-
рость сходимости.
Предположим, что последовательность
сходится к точке
.
Линейная сходимость. Выполняется неравенство:
x x
k
k
x x
k
где — коэффициент сходимости,
*
1
(1.15)
*
— знак евклидовой нормы
в пространстве
.
Суперлинейная сходимость:
*
1
*
(1.16)
Сходимость порядка
k
x x
k
x x
k
. Если существует такое число
p , что
1
*
c
p
*
(1.17)
x x
k
k
x x
k
где c — константа, значит, имеем сходимость порядка p:
–
–
— квадратичная сходимость;
— кубическая сходимость;
–
— сходимость порядка n.
25
Исследование скорости сходимости алгоритма позволяет оценить
k
x
k
f x
*
f x
k
x
*
x x
k
f x
*
f x f x
*
x x
*
x x
*
f x f x
sin , 2 ,
f x
3 2 4,71239
1
*
x
его эффективность и осуществить его сравнение с другими алгоритмами.
Замечание 1. Иногда к выражению скорости сходимости после-
довательности
сти последовательности
Замечание 2. Возможны ситуации, когда последователь-
ность
а последовательность
щей. И наоборот, значения
нулю, когда расстояние
шинстве же случаев оценка скорости сходимости по норме
равносильна оценке разности
Для оценки эффективности выбранных методов можно рекомен-
довать три характеристики: время, затраченное на получение реше-
, для которой норма
приходят и при исследовании способа сходимо-
к
k
даже не является монотонно убываю-
k
не является монотонным. В боль-
k
k
.
линейно сходится к нулю,
могут линейно сходиться к
k
.
ния; точность решения; чувствительность к изменению параметра
сходимости. Для одномерных методов оптимизации первые две характеристики можно исследовать на типовых тестовых функциях, например,
путем варьирования значений показателя степени k на множестве
нечетных чисел от 1 до 79. Отметим, что для всех k
гается в точке
с увеличением k степень гладкости функции, которая обладает узки-
ми впадинами в окрестности
чувствительность можно осуществить путем варьирования значений
параметра сходимости k и параметров алгоритма.
Точность решения можно измерить как относительную (в про-
x , при этом
f x x x
*
k
, уменьшается. Проверку методов на
f x
min
*
дости-
. Однако
центах) ошибку оценивания координаты истинного минимума.
26
1.5 Критерии останова
x
x
x
x
x
x
x
x
y
y
y
y
y
y
y
y
Приведем несколько наиболее распространенных критериев
останова оптимизационных методов.
1. Критерии останова по аргументу (здесь
лютная точность, а
— заданная относительная точность по аргу-
— заданная абсо-
менту):
–
x x x
–
x x x
–
x x
1k k
/2k k
или
или
x x x
x x x
или
x x x
/2 /2k k k
1 1k k k
1 1k k k
;
;
, где k — четное число.
1k k
Здесь первый критерий используется для функций скалярного
аргумента (функций с одной переменной), второй — для функций
векторного аргумента (функций со многими переменными). Третий
критерий используется в методах штрафных и барьерных функций.
2. Критерии останова по функции (здесь
лютная точность, а
— заданная относительная точность по функ-
— заданная абсо-
ции):
f x f x
–
k
f x
–
–
max
1,2,...,
i n
grad
–
–
grad
;
f
x
i
x x
f x
f x
2
k
k
k
n
1
i
n
1
i
или
;
f
x
i
x x
f
x
i
x x
f x f x f x
2
;
k
2
.
k
1 1k k k
1k k
Здесь первый критерий чаще всего используется, когда произ-
;
водная неизвестна, или не используется (в методах прямого поиска).
Второй критерий используется в градиентных методах оптимизации
27
функции одной переменной (скалярного аргумента). Три оставшихся
k
x x
k
f f x
x
y
, 0.
x x
, 0.
x x
f x
i
e
критерия используют в градиентных методах, а также методах второго порядка оптимизации функции нескольких переменных (векторного аргумента). Все критерии останова по функции, кроме первого, используются только в безусловной оптимизации, т. к. в экстремальной
точке задачи с ограничениями, в общем случае, условие равенства
нулю производной или градиента не выполняется. В различных алгоритмах условной оптимизации предусмотрены специальные критерии
останова по функции, о них будет сказано в описании данных алгоритмов.
При выполнении данных условий полагают
Примечание. Если относительная точность
в процентах, то полученное по данным формулам значение погрешности нужно еще умножить на 100 %.
*
или
и
*
.
задана
1.6 Численная аппроксимация градиентов
В методах оптимизации с использованием производных аналитическое вычисление производных может быть затруднительно или
невозможно. В этом случае производные (компоненты вектора градиента) можно определять на основе численной аппроксимации:
– «конечная разность вперед»:
f x e f x
f x
x
i
i
(1.18)
– «центральная конечная разность»:
f x e f x e
f x
x
i
Выбор осуществляется в зависимости от вида функции
координат точки x и точности ЭВМ. Аппроксимация (1.19) более
точна, однако здесь используется дополнительное значение функции.
Здесь
28
— единичный вектор для i-й координаты вектора x.
i i
2
(1.19)
,
Вопросы для самопроверки
1. Какое множество называется выпуклым? Привести примеры.
2. Что является решением ЗО?
3. Дать определение локального экстремума ЗО.
4. Записать задачу оптимизации (ЗО) общего вида. Что является
оптимальным решение ЗО?
5. Привести классификацию ЗО по виду ЦФ и ограничений.
6. Какие функции называются унимодальными? Привести кри-
терии для проверки унимодальности функций.
7. Какие функции называются выпуклыми?
8. Что такое квадратичная форма? Привести критерии опреде-
ленности квадратичных форм (теорема Сильвестра).
9. Привести необходимые и достаточные условия существования
экстремума для скалярного случая.
10. Что такое «точка перегиба» функции и как ее идентифициро-
вать?
11. Пусть точка удовлетворяет ДУ существования локального
минимума. Как установить, является ли этот минимум глобальным?
12. Перечислить основные характеристики алгоритмов оптими-
зации. Дать определения сходимости и точности решения ЗО.
13. Что такое скорость сходимости алгоритма? Привести при-
меры.
14. Перечислить основные оценки эффективности оптимизаци-
онных методов.
15. Показать связь методов поиска экстремумов и поиска нулей
функции.
16. Привести примеры методов поиска нулей функции.
17. Назвать основные критерии останова работы оптимизацион-
ных алгоритмов.
18. Что такое численная аппроксимация вычисления производ-
ных функции?
19. Что такое градиент функции?
29
Глава 2 МИНИМИЗАЦИЯ ФУНКЦИЙ
AB
Берег
Озеро
5 км
5 км/ч
ОДНОЙ ПЕРЕМЕННОЙ
Начнем изучение методов решения ЗО на простейшем примере — задаче одномерной оптимизации без ограничений.
2.1 Задача о поиске оптимального маршрута лодки
Рассмотрим следующую ЗО. Лодка с рыбаком находится на озере, на расстоянии 3 км от ближайшей точки A берега (рисунок 2.1).
Рыбак желает достигнуть села B, находящегося на берегу на расстоянии 5 км от точки A (
— отрезок прямой). Скорости лодки по
воде и рыбака по суше соответственно 4 км/ч и 5 км/ч. Где должна
пристать к берегу лодка, чтобы рыбак смог достичь села B за минимальное время?
A
3 км
x
B
4 км/ч
Рисунок 2.1 — Графическое пояснение к задаче
Проведем анализ этой задачи. Во-первых, общее время путешествия t зависит только от одного параметра — расстояния x (это
расстояние от точки A до места высадки рыбака на сушу), поэтому
целевая функция будет зависеть только от одной переменной x.
Во-вторых, задача относится к классу задач безусловной оптимизации, т. к. никаких ограничений на параметр x не накладывается. Теоретически, он даже может быть отрицательным, если лодка пристанет
30
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]