Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Методы оптимизации. В 2 частях. Ч.1. Учебное пособие
.pdf
ки
1
x
2
x
x x d
f x d
1
y y d
f y d
2
2 2
y x
d
0
2
x
2
y
2 2
y x
f x
0
x
x
y
, 1,2,...,
d e i n
i
e
,
и направление d (рисунок 3.7). Если
2 1
миними-
зирует функцию
1
2 2
y x Ad
при
T
x1
1
, то направление
.
при
d
d
, а
2 1
сопряжено с
x2
минимизирует
x*
y2
, т. е.
y1
Рисунок 3.7 — Система сопряженных направлений
Из рисунка видно, что поиск, проводимый из точки
правлении
.
Алгоритм метода сопряженных направлений. Исходные данные — ЦФ, начальная точка
по функции
ний. На начальном этапе можно положить
— единичные вектора (рисунок 3.8).
, обеспечивает получение экстремума функции
, точность по аргументу
, а также система n линейно независимых направле-
i i
и
, точность
в на-
, где
121
0k
0
f x
f x
1n
n
d
, min ,
n n
x x d f x d
1 1 1 1
, min ,
x x d f x d
2 2 2 2
, min ,
x x d f x d
, min .
n n n n
x x d f x d
p
x
p
x x
2
n
2
n
x
e1
e3
e
2
Рисунок 3.8 — Система единичных векторов
1. Задать номер итерации
2. Минимизировать
при последовательном движении по
, вычислить
направлениям, при этом полученная ранее точка минимума
берется в качестве исходной точки, а направление
как в первом, так и в последнем поиске. То есть
1 1 1 1
k n k n k n
1 2 1 1 1 1
k n k n k n
1 3 1 2 1 2
k n k n k n
1 1 1 1
k n n k n n k n n
0 0
…
.
используется
При этом, если после вычисления некоторой точки
ется критерий останова — положить
*
и закончить вычисления.
Если ЦФ квадратичная, то минимум будет найден не более чем за
одномерных поисков. Поэтому, независимо от других критериев, точ-
ка
будет оптимальной. Однако оптимальная точка может быть
найдена и быстрее. Если же ЦФ не является квадратичной, то данный
122
выполня-
критерий использовать нельзя. Поэтому следует после нахождения
p
x
x
y
1 1 1 1
.
1 2 2 3 1
, , ..., ,
1
k k
2
2 .
T
0;0
0,02
0,001
2
x R
2n
1
0
0
1
0k
4
2
d d
0
0
,
2
0 0 2 ,
2 2 2 4 4 0 1,
0
1
2
каждой точки
нова:
x x
использовать рассмотренные ранее критерии оста-
1p p
1p p
f x f x
,
.
3. Определить новое сопряженное направление с помощью рас-
смотренной теоремы:
d x x
1
n
k n n k n
(3.26)
4. Произвести смену направлений
выполнить присваивание
d d d d d d
n n
и перейти на шаг 2.
(3.27)
Скорость метода — суперлинейная.
Пример 1. Решим задачу проектирования канала наименьшей
длины
f x x x x x
1 2 1 2
2
2
Положим
поэтому
Шаг 1.1. Зададим
0
x ,
x
,
. Начальные сопряженные направления
d e
1 1
,
d e
2 2
, вычислим
Шаг 1.2. Минимизируем ЦФ в направлении
0 0
1 0
x x d
0 0 0
0 0 0 0 0
0 2 0
1 2
f x
0 1
2
y
f x
. Аргумент ЦФ
,
.
0
.
n
:
0
1
x
0
,
f x
1
.
123
Критерий останова итерационного процесса не выполняется:
x
y
1
d
1
,
1 0 1
2
1 1 2 ,
2 1 4 1 4 6 2 0 0,313.
1
0
0,313
1 1
1,678
x
y
2
d
2
0,313
,
2
2 0,687 2 1,098 4 0,822 0 0,205,
0,313
1,205
1,593
1 0
x x
Минимизируем ЦФ в направлении
2 1
x x d
1 1 1
Данное уравнение — кубическое, и точного аналитического
решения не имеет. Поэтому можно численно минимизировать функцию
уравнения
1 1 1 1 1 1 1
, т. е. решить задачу (3.3), или численно найти решение
1
1
f x
, т. е. решить задачу (3.4) указанными выше спо-
,
1 1 1
2 2
2 3
1 0
f x f x
:
0 1
2
2
.
собами. Далее,
2
x
Критерий останова итерационного процесса не выполняется:
2 1
x x
И, наконец, снова минимизируем ЦФ в направлении
2 2 2
0,313
3 2
x x d
3 2
f x
1
2 1
f x f x
,
0,313 0
2 2 2
0,313 1 0,313 1 2
0,687 1,098 ,
2 2
,
1 1
2 2
2
f x .
0,322
1
2
.
:
124
2 2 2 2 2
0,313
3
x
1
2
,
3
f x .
Критерий останова итерационного процесса не выполняется:
x
y
0,313 0 0,313
1,205 1 0,205
0
1
0,313
0,205
k i
p
p
x
p
f x
j
j
d
i
1
1
0,02
T
0,50;1,37
0,001
1,531
1,237
3 2
x x
Шаг 1.3.
Шаг 1.4.
0,205
d x x
3
d d
1 2
3 1
,
d d
2 3
,
3 2
f x f x
0,0844
.
.
, возвращаемся на шаг 2.
Следующие итерации решения сведем в таблицу 3.3.
Таблица 3.3 — Решение задачи методом сопряженных
направлений
p p
x x
,
0 0 0
1 1 1 0
2 2 0,313
3 3 0,313
2 1 4 0,484
2 5 0,484
3 6 0,498
0
1
1
1,205
1,318
1,360
1,369
4
2 2 0
1,678 1 1
1,593 2 0
1,535 2 0,313
1,532 1 0
1,531 2 0,313
1
0
1
0,205
1
0,205
1 1
0,313 0,313
0,205 0,205
0,548 0,205
0,0415 0,0415
0,0440 0,0165
p p
f f
2
0,322
0,0844
0,0580
3,45210–3
3,76110–4
С учетом того, что
двух цифр после запятой:
y
запятой:
* *
L f
, округляем значение функции до трех цифр после
f f x км
* 6
км.
x
* 6
x x км. С учетом того, что
, округляем значение аргумента до
2
. Оптимальная длина канала составит
125
Пример 2. Как было сказано выше, для квадратичной ЦФ метод
2
n
2 2
2 2 .
T
0;0
1
0
0
1
k i
p
p
x
p
f x
j
j
d
i
4
f x
сопряженных направлений обеспечивает поиск точной точки экстремума не более чем за
одномерных поисков. Проверим это утвер-
ждение на примере ЦФ
f x x x x x
Положим
0
x , начальные сопряженные направления
d e
1 1
1 2 1 2
,
d e
2 2
.
Итерации решения сведем в таблицу 3.4.
Таблица 3.4 — Решение задачи методом сопряженных направле-
ний для квадратичной ЦФ
0 0 0
1 1 1 0
2 2 0,2
3 3 0,2
2 1 4 2
0
0,8
0,8
0,92
2
0,72 1 1
0,648 2 0
4
0,8 2 0
0 2 0,2
1
0
1
0,12
0,8
0,2
0,12
9
Полученное решение совпало с решением, полученным ранее
аналитически. Для его получения потребовалось
одномерных поиска.
3.4 Градиентные методы и методы второго порядка
Предполагается, что целевая функция
по крайней мере, непрерывные первые производные. Необходимым
условием существования экстремума является наличие стационарной
точки ЦФ. Таким образом, основная идея многих методов оптимиза-
126
p n
2
непрерывна и имеет,
ции без ограничений в пространстве
n
R
x
0
0, 1,2,..., .
i n
, , ,
k
x x x
f x
x
1
k
x
k k
x x d
k
d
k
x
k
d f x
k
f x
k
k
d
k
k
f x
k
d
0
x
0
f x
0
x
заключается в отыскании
стационарной точки
Эта задача эквивалентна решению нелинейной системы уравнений вида
Можно отыскивать решение непосредственно этой системы, что
приводит к методу Ньютона. При этом предполагается, что функция
дважды дифференцируема.
В данном случае речь идет об итерационных процессах, порождающих последовательность точек
кальному экстремуму функции
На каждом k-м этапе значение
, в которой градиент ЦФ
f x
x
i
0 1
в точке
определяется выражением
(3.28)
.
f x
, сходящихся к ло-
.
.
1,k k
(3.29)
и
, т. е.
на каждой итерации связан с осо-
в направлении
;
k
;
осуществляется
. Поэто-
где
направление спуска. В этом случае должно выполняться неравенство вида
бенностями применяемого метода. Обычно выбор
путем решения задачи минимизации
му при реализации изучаемых методов необходимо использовать
— направление перемещения, которое может быть:
– либо градиентом функции в точке
– либо вычисленным, исходя из направления градиента
– либо выбранным произвольно при условии, что это будет
T0k
f x d
Здесь
Способ определения
— параметр, характеризующий длину шага.
k
эффективные методы одномерной оптимизации.
начальной точки
Градиентные методы работают следующим образом. Исходя из
, вычисляют
в точке
. Поскольку
127
0
f x
указывает направление наибольшего возрастания ЦФ, снаб-
0
.
, , 0.
k
x x
0
k
1
k
k
k
f x d
k
d f x
0
0
x
x
y
жаем направление, противоположное градиенту, величиной
ходим следующую точку:
0
f x
0
f x
f x
k
k
f x
0
.
1 0
x x
Повторение процедуры дает последовательность точек
1
k k
x x k
В этом семействе методов следует выделить методы градиента
с заданным шагом, в которых заранее задаются значения
Доказано, что построенная последовательность сходится к реше-
нию, т. е.
k
, если выполняются два условия:
k k
и на-
1)
k
2)
0kk
Данная процедура (метод расходящегося ряда) может оказаться
медленной.
3.4.1 Метод наискорейшего спуска (метод Коши)
Известный французский математик Коши Огюстен Луи
(21.08.1789–23.05.1857) первым использовал аналогичный алгоритм
для решения системы линейных уравнений.
В этом широко используемом методе (МК)
чтобы минимизировать функцию
при
(например,
, где
;
k
k
).
выбираются так,
(3.30)
k
на множестве значений
Алгоритм Коши. Исходные данные — ЦФ и ее градиент, начальная точка
128
, точность по аргументу
(одномерная минимизация).
, точность по функции
.
1. Задать номер итерации
0k
0
f x
k
d f x
0
min,
k
min .
k k
f x d
k k
x x d
x
y
* 1
k
x x
1
k k
0
x
k
x
k k
x A x
f x
f x
f x
f x
f x
k
.
k k
f x f x
x
, вычислить
.
2. Вычислить направление спуска
3. Решить задачу
k k
т. е. найти такое
4. Положить
5. Если
и закончить вычисления. Иначе выполнить присваивание
и вернуться на шаг 2.
Определение. Будем говорить, что алгоритм A глобально сходит-
ся, если для любой выбранной исходной точки
x x
1k k
, что
1k k
.
f x f x
0
и
f x
.
k
k
1k
, то положить
последователь-
1
ность
удовлетворяющей необходимым условиям оптимальности.
Замечание. МК обладает глобальной сходимостью, но это не оз-
начает обязательного получения глобального экстремума функции
. Если функция
точке x и гессиан
ный минимум ЦФ. И только если
то x является точкой глобального минимума
МК обладает устойчивостью, т. е. при достаточно малом значе-
нии
МК позволяет существенно уменьшить значение ЦФ (быстро
, порожденная точками
дважды дифференцируема в стационарной
2
обеспечивается выполнение неравенства
положительно определен, то x — локаль-
1
, сходится к точке,
является выпуклой функцией,
.
спуститься на «дно оврага») при движении из точек, расположенных
на значительных расстояниях от точки
произойти «зацикливание» (рисунок 3.9).
, но в дальнейшем может
129
k
,
k
f x d
0,
d
0,
d1 d3
x*
x0
Рисунок 3.9 — Метод Коши — «зацикливание» траектории спуска
x2
x1
x3
x4
d0
d2
То есть, для некоторых типов функций сходимость может оказаться медленной. В самом деле, если
минимизирует функцию
k
то должно быть
d
k k k
T T 1
d f x d d f x
k k k k
(3.31)
откуда вытекает равенство:
T
d d
k k
1
(3.32)
которое доказывает, что последовательные направления ортогональны. В случае ярко выраженной нелинейности («овражности») ЦФ
происходит «зацикливание».
Поэтому МК часто используются совместно с другими градиентными методами (например, методом Ньютона) в качестве начальной процедуры.
130
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]