Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Методы оптимизации. Учебно-методический комплекс.pdf
(
(
)
(
(
)
A
B
(
)
A
B
Исходная матрица обычно выбирается единичной: E=η
0
. Хотя
предпочтительней задание начального приближения элементов этой
матрицы аналитическими значениями вторых частных производных
или их конечно-разностными приближениями. Соотношение для
k
в
ηΔ
алгоритме Дэвидона-Флетчера-Пауэлла можно получить путем
подстановки
в уравнение (6)
k
,
xy Δ=
1
k
⋅
=ηΔ
ω
Tk
yx
⋅Δ
−
kT
gy
Δ⋅
k
k
k
gz Δ⋅η=
Tk
zg
⋅Δ⋅η
.
kT
gz
Δ⋅
Тогда получим:
T
kk
)
gg
T
k
()
η⋅Δ⋅Δ⋅η
. (8)
k
k
gg
Δ⋅η⋅Δ
+1
Следует отметить, что
матрицами, так что
k
k
и
Δ⋅Δ
T
BA
η
kkkkk
+η=−+η=η
k
симметрическая и
T
kk
)
xx
k
gx
Δ⋅Δ
k
k
−
T
k
являются симметрическими
1+
k
будет симметрической.
η
Этот алгоритм является одним из наиболее эффективных
алгоритмов переменной метрики. Алгоритм, использующий
соотношение (8), оказывается достаточно эффективным при
выполнении следующих условий:
k
1) Ошибки округления при вычислении
2) матрица
k
не становится "плохой".
η
xf∇ невелики.
В ходе оптимизации этим методом происходит постепенный
переход от градиентного направления спуска к ньютоновскому. При
этом используются преимущества каждого метода на
соответствующем этапе.
Роль матриц
1−
→η H
, тогда как матрица
определенность матрицы
начальную матрицу
начиная с
η
0
:
k
в (8) заключается в обеспечении того, чтобы
k
обеспечивает положительную
1+
k
на всех этапах и в пределе исключают
η
0
. Используем (8) на нескольких этапах,
η
001
,
BAE −+=η
10101112
,
)()(
BBAAEBA +−++=−+η=η
. . .
1
+
Ф КазНПУ 703-12-11. Учебно-методический комплекс дисциплины для обучающегося. Издание третье.
k
i
k
ik
−+=η
i
BAE
∑∑
i
==
00
71
k
ω
(
(
)
[
(
)
[
(
)
В случае квадратичной целевой функции при
−
1
n
выполняться равенство
−
1
=
∑
=
i
i
AH
, а сумма матриц
0
∑
=ki
таким образом, чтобы она сократилась с начальным значением
должно
1−= n
i
B
строится
0
η
0
.
При квадратичной функции используемые направления поиска
являются сопряженными. Именно это определяет эффективность
алгоритма.
Алгоритмы Пирсона
Tk
zg
⋅Δ⋅η
положить
kT
gz
Δ⋅
Если в выражении (6)
k
xzy Δ== и
1=
, тогда очередное приближение матрицы
1
k
⋅
=ηΔ
ω
Tk
yx
⋅Δ
gy
Δ⋅
k
−
kT
направлений определяется выражением:
Τ
kk
)
xgx
Δ⋅Δ⋅η−Δ
kk
, (9)
где
k
+1
00
– произвольная положительно определенная матрица.
R=η
[]
kk
+η=η
k
Τ
gx
Δ⋅Δ
Соответствующий алгоритм переменной метрики получил название
второго алгоритма Пирсона. Метод обычно приводит к плохим
направлениям поиска. Однако были примеры очень эффективного
применения метода в приложениях.
Третий алгоритм Пирсона получается при подстановке в уравнение (6) следующих параметров:
k
k
gzy Δ⋅η== и
. В этом
1=ω
случае итерационная формула принимает вид:
Τ
k
+1
00
R=η
[]
kk
+η=η
k
k
Τ
k
k
gg
ΔηΔ
k
k
k
]
ggx
Δη⋅Δ⋅η−Δ
, (10)
Третий алгоритм на тестовых функциях оказывается более
эффективным.
Проективный алгоритм Ньютона-Рафсона.
Этот алгоритм также предложен Пирсоном. Получается из
уравнения (6) при
+1
и
∞→ω
k
[]
kk
−η=η
k
k
Τ
k
gz Δ⋅η= :
k
k
k
Τ
k
]
gg
Δ⋅η⋅Δ⋅η
gg
Δ⋅η⋅Δ
. (11)
k
Ф КазНПУ 703-12-11. Учебно-методический комплекс дисциплины для обучающегося. Издание третье.
72
(
)
()(
(
(
)
()(
{
(
H
(
00
R=η
Методы Гринштадта и Гольдфарба.
Очередное приближение матрицы направлений определяется
соотношением
+1
kkk
,
ηΔ+η=η
где в алгоритме Гринштадта –
k
=ηΔ
1
Τ
k
k
Δ⋅η⋅Δ
⎡
⎢
⎣
−
⎧
⎨
k
⎩
gg
()()
kk
kkk
()
kk
k
k
ΔηΔ−ΔΔ
Τ
k
k
ΔηΔ
k
⎤
⎥
⎦
k
gg
ΤΤ
kk
)
xggx
Δ⋅Δ⋅η+η⋅Δ⋅Δ⋅
ΤΤΤ
kk
k
⎫
)
ηΔΔη⋅
ggggxg
⎪
, (12)
⎬
⎪
⎭
а в алгоритме Гольдфарба –
k
=ηΔ
1
Τ
k
k
k
Δ⋅η⋅Δ
gg
⎡
⎢
1
⎢
⎣
()
+−
()
kk
Τ
kk
ΔΔ
xg
Τ
k
k
Δ⋅η⋅Δ
kk
⎤
k
⎥
k
⎥
gg
⎦
ΤΤ
kk
)
−Δ⋅Δ⋅η+η⋅Δ⋅Δ⋅
xggx
Τ
kk
()
gg
⎫
⎪
k
η⋅Δ⋅Δ⋅η⋅
. (13)
⎬
⎪
⎭
По эффективности данные методы сравнимы с алгоритмом
Дэвидона-Флетчера-Пауэлла.
Алгоритм Флетчера.
Флетчером был предложен алгоритм, в котором было отброшено
условие окончания процесса для квадратичной функции после
n
шагов, но сохранено свойство, состоящее в том, что для
1−
квадратичных функций
значения
стремятся к собственным значениям
η
→η
)
в том смысле, что собственные
xH
1−
.
Полученное Флетчером соотношение для очередного
приближения матрицы
⎡
+1
k
⎢
−=η
E
⎢
⎣
()
()
Τ
имеет вид:
η
Τ
kk
Δ⋅Δ
⎤
gx
⎥
kk
⎥
Δ⋅Δ
gx
⎦
Τ
kk
⎡
k
⎢
−⋅η⋅
E
⎢
⎣
()
Δ⋅Δ
Τ
⎤
)
xg
⎥
+
kk
⎥
Δ⋅Δ
gx
()
⎦
()
Τ
Τ
kk
Δ⋅Δ
xx
. (14)
kk
Δ⋅Δ
gx
В реализованном Флетчером алгоритме в зависимости от
k
выполнения условий матрица
вычисляется по-разному:
η
Ф КазНПУ 703-12-11. Учебно-методический комплекс дисциплины для обучающегося. Издание третье.
73
(
(
(
)
()(
)
λ
[
]
S
λ
r
Если
Τ
()
А)
1
−
)(
то для вычисления очередного приближения
Τ
kkkk
)
k
k
gggxHg Δ⋅η⋅Δ<Δ⋅⋅Δ
;
1+
k
используется
η
соотношение (8) (метод Дэвидона-Флетчера-Пауэлла), а если
Τ
()
Б)
1
−
)(
Τ
kkkk
)
k
k
gggxHg Δ⋅η⋅Δ≥Δ⋅⋅Δ
,
то соотношение (14).
Очевидно, что проверка условий (А-Б) затруднительна и теряет
k
1−
xH
смысл, раз приходится находить
. Поэтому при реализации
алгоритма обычно используют формулу (14) без проверки условий
(А-Б). Сравнение алгоритмов на тестовых функциях показывает, что
в этом случае алгоритм Флетчера проигрывает по эффективности
алгоритму ДФП.
Эффективность алгоритмов ДФП и Флетчера в существенной
мере определяют используемые методы одномерного поиска.
Зачастую успех конкретной реализации определяет, именно,
эффективность используемых
методов одномерного поиска. В
авторских реализациях методов ДФП и Флетчера решение задачи
k
kk
)(minarg
Sxf λ+=λ ,
где
kkk
xfxS ∇⋅η−= ,
k
λ
определяется на интервале (0,
) с помощью кубической
'
интерполяции. Величина
∇
k
Τ
где
⎧
⎪
=λ
f
– нижняя оценка значений
0
,1min'
⎨
⎪
⎩
одномерного поиска по направлению
)(2
⎫
fxf
−
⎪
0
,
⎬
kk
⎪
Sxf
)(
⎭
)(xf
, найденная в процессе
k
(в процессе выделения
интервала, содержащего минимум). Если найденное в результате
кубической интерполяции значение
начальное значение
для пробных шагов берется
λ
+
1
оказывается больше 'λ, то
rr
λ=λ
1,0
,
где
обозначает номер в последовательности шагов при одномерном
поиске. А если
заканчивается.
74
Ф КазНПУ 703-12-11. Учебно-методический комплекс дисциплины для обучающегося. Издание третье.
<'λ и
λ
kk
)( fSxf
<λ+ , то одномерный поиск
0
(
)
(
)
Γ
Γ
[
[
]
[
(
)
(
)
(
)
r
(
)
(
)
()(
)
Вообще говоря, применение квадратичной интерполяции при
одномерном поиске нисколько не хуже кубической. И алгоритмы
оказываются столь же эффективными.
Алгоритмы с аппроксимацией матрицы Гессе
Можно строить аналогичные алгоритмы, аппроксимируя в
процессе поиска не матрицу
k
1−
xH
, а матрицу
k
xH . И затем
строить обратную к ней. Таким образом, на каждой итерации
1
k
+
xH ΔΓ+Γ=Γ≈
находится
k
ΔΓ – симметрическая матрица ранга 1, такая что
уравнению
)( , где
k
+1
+
1
kk
gx Δ=ΔΓ
. При этом
k
[]
k
=ΔΓ
Поскольку в процессе поиска матрица
kkk
k
k
k
k
– оценка )(
kk
k
Δ⋅Γ−Δ⋅Δ⋅Γ−Δ
Τ
kk
xxg
Δ⋅Δ⋅Γ−Δ
1
+
k
Γ
k
]
xgxg
1
−
]
может не быть
k
xH , а матрица
1+
k
удовлетворяет
Τ
. (15)
положительно определенной следует в процессе поиска использовать
ограничительные условия, обеспечивающие положительную
определенность такой матрицы. В качестве начального приближения
1
−
00
[]
η=Γ
можно выбирать
.
К алгоритмам такого типа относится алгоритм Гольштайнаи
Прайса, который описывается следующей последовательностью
действий и предназначен для минимизации выпуклых функций.
Гольштайн и Прайс использовали не (15), а проводили
аппроксимацию матрицы
)(kxH при помощи разностной схемы,
основанной на полуфакториальном построении (полуфакториал –
произведение n первых четных чисел), а затем проводили обращение
k
матрицы. При этом для оценки
k
xf и
k
xf∇ .
xH требуется лишь информация о
На k-м этапе алгоритм выглядит следующим образом. Заранее
210 <δ<
заданы величины
и
1. Вычисляется в качестве аппроксимации
.
0>
k
xH матрица
k
~
xH
, j-й
столбец которой определяется по формуле
k
k
j
Ф КазНПУ 703-12-11. Учебно-методический комплекс дисциплины для обучающегося. Издание третье.
k
xfExf ∇−θ+∇
,
75
(
)
k
r
=
θ
E
×
(
)
()(
)
=
k
(
)
()()(
)
(
)
()()(
)
(
)
()()(
)
(
)
(
)
(
)
()()(
)
()(
)
[
]
≠
x
(
)
(
)
r
(
)
(
)
δ
(
)
k
()(
)
1−
где
матрицы
в соответствии с условиями:
•
положительно определенной;
•
Заметим, что матрица
и если
xϕ и направление градиента
Следовательно,
()
k
~
−Τ
k
xf
увеличивается.
k
ϕ=θ
xr для 0>
размерности
kk
xfx −∇=ϕ , если
1
~
kkk
≤∇∇
xfxHxf , так что матрица
−1
~
1
−Τ
k
xϕ может быть направлено в сторону, в которой
nn
0
kkk
xfxHx ∇−=ϕ
– в противном случае.
k
~
xH
не обязательно симметрическая матрица,
kkk
≤∇∇
xfxHxf , то предлагаемое направление поиска
,
.
0
0
,
k
xϕ – вектор-столбец, определяемый
или
0
k
xf∇ отличаются более чем на 90
– j-й столбец единичной
E
j
k
~
xH
сингулярна, или
~
k
1
−
xH
не является
0
.
2. Вычисляется
kkk
xxfxf
k
()
xF
k
Вычисляется
Эти критерии нужны для того, чтобы не допускать шагов поиска,
которые далеко выходят за область линейного изменения целевой
функции в окрестности
()
xH
.
3. Берется
4. Процесс заканчивается, когда
Параметр
ровала
значения
убывающую последовательность; чем ближе значение
большей степени
λ
так, чтобы )1,(
k
xf ,
kk
k
+1
следует выбирать так, чтобы матрица
k
xH как можно ближе. Величина
=λ
,
k
, предполагавшуюся при аппроксимации
k
xxx ϕλ+=
.
...,2,1=
, представляли собой монотонно
kk
xxf λϕ+ приближается к своему минимуму по
Τ
k
xF≤δ или δ−≤λ≤δ 1),(
λϕ+−
ϕ⋅∇λ
ε<ϕkx .
xxf
.
kk
k
k
xF ,
k
~
xH
аппроксими-
выбирается так, чтобы
δ к 1/2, тем в
λ
k
1
.
.
λ
Методы штрафных функций
Естественно, что наиболее распространенные задачи на практике
это оптимизационные задачи при наличии ограничений, то есть
задачи поиска оптимального решения, удовлетворяющего некоторой
76
Ф КазНПУ 703-12-11. Учебно-методический комплекс дисциплины для обучающегося. Издание третье.
{
}
(
⋅
(
⋅
(
⋅
[
]
=
системе ограничений. Существование эффективных алгоритмов
решения безусловных задач оптимизации всегда толкает на попытку
использования этих методов для решения условных задач после
некоторого преобразования условной задачи к некоторой
эквивалентной ей безусловной задачи.
Пусть необходимо решить задачу
kmjxgmjxhxf
,1,0)(;,1,0)()(min +=≤==
jj
, (1)
в которой целевая функция и функции в системе ограничений
представляют собой выпуклые функции (желательно).
Основная идея метода штрафных функций заключается в
следующем. Строят вспомогательную функцию
m
() () ()
,
∑∑
j
=+=
11
[]
k
, (2)
()
[]
⋅+⋅+=
mj
xgGrxhHrxfrxQ
jjjj
такую, что приближенное решение задачи (1) получается в результате
решения последовательности задач безусловной минимизации
функции (2)
),(min rxQ
. (3)
В методе внешних штрафных функций функции
()
⋅H
и
G
)
выбираются таким образом, чтобы они становились отличными от
нуля (положительными) при нарушении соответствующего
ограничения. А так как мы минимизируем (2), то движение в сторону
нарушения ограничения становится невыгодным. Внутри допустимой
области в данном методе функции
H
)
и
)
G
должны быть равны
нулю. Например, для ограничений неравенств:
0)( →xgG
jj
при
j
+
→ 0)(xg
.
Приближенное решение задачи (1) получается в результате
решения последовательности задач (3) при
,
r
∞→
j
kj ,1
Соответствующие методы называют ещё методами внешней точки.
.
Ф КазНПУ 703-12-11. Учебно-методический комплекс дисциплины для обучающегося. Издание третье.
77
(
⋅
[
]
∞
x
В методе барьерных функций функции
H
)
и
()
⋅G
выбираются
отличными от нуля в допустимой области и такими, чтобы при
приближении к границе допустимой области (изнутри) они
возрастали, препятствуя выходу при поиске за границу области. В
этом случае эти функции должны быть малыми (положительными
или отрицательными) внутри допустимой области и большими
положительными вблизи границы (внутри области). Например, для
ограничений
неравенств:
→)(xgG
jj
при
j
−
→ 0)(xg
.
Такие методы называют ещё методами внутренней точки. В
алгоритмах, использующих функции штрафа данного типа, требуют,
чтобы в процессе поиска точка
всегда оставалась внутренней
точкой допустимой области. Приближенное решение задачи (1)
получается в результате решения последовательности задач (3) при
,
r
0→
j
kj ,1=
.
При выборе функций штрафов для ограничений равенств
обычно требуют, чтобы
[]
jj
0)( →xhH
при
Это могут быть, например функции вида:
1)
2)
3)
[]
[]
[]
=
=
= )()( xhxhH
)()( xhxhH
,
jjj
2
,
)()( xhxhH
jjj
α
jjj
, при четномα.
Для ограничений неравенств функции штрафа подбирают таким
образом, чтобы
[]
[]
Ф КазНПУ 703-12-11. Учебно-методический комплекс дисциплины для обучающегося. Издание третье.
0)( →xh
j
jjj
jjj
.
0)(,0)( ≤= xgприxgG
;
0)(,0)( >> xgприxgG
.
78
α
[][
]
−
x
Этому требованию отвечают функции вида:
1
1)
2)
[]
[]
)( xgxgxgG
)(
{}
2
1
⎡
{}
⎢
2
⎣
+=
+= xgxgxgG
)()(
jjjj
,
2
⎤
)()(
jjjj
,
⎥
⎦
3)
1
[]
⎡
)( xgxgxgG
{}
⎢
2
⎣
+=
jjjj
⎤
)()(
, при четномα.
⎥
⎦
В качестве барьерных функций для ограничений неравенств
могут служить функции вида:
1)
2)
[]
)(xgxgG
=
jj
=
1
,
−
)(
j
−
)(ln)( xgxgG
.
jjj
Последовательность действий при реализации методов штрафных
или барьерных функций выглядит следующим образом:
1. На основании задачи (1) строим функцию (2). Выбираем
начальное приближение
штрафа
.
r
j
и начальные значения коэффициентов
2. Решаем задачу (3).
3. Если полученное решение не удовлетворяет системе ограничений
в случае использования метода штрафных функций, то увеличиваем
значения коэффициентов штрафа
и снова решаем задачу (3). В
r
j
случае метода барьерных функций значения коэффициентов
r
j
уменьшаются, чтобы можно было получить решение на границе.
4. Процесс прекращается, если найденное решение удовлетворяет
системе ограничений с определенной точностью.
Вопросы
1. Метод Бройдена.
2. Метод Дэвидона-Флетчера-Пауэлла.
3.Алгоритм Пирсона
4.Алгоритм Флетчера
4. Метод штрафных функции
Ф КазНПУ 703-12-11. Учебно-методический комплекс дисциплины для обучающегося. Издание третье.
79
Тема . Простейшая задача вариационного исчисления.
Простейшая задача вариационного исчисления состоит в
минимизации функционала
x
2
J(y) =
f(x, y(x), y′(x))dx
∫
x
1
(1.1)
На множестве допустимых функций
Y = {y∈C
при всех x∈[x
, x2]: y(x1) = y1; y(x2) = y
1 [x1
, x2]},
1
; (x, y(x), y′(x)) ∈D
2
(1.2)
3
где D - область в пространстве R
.
Теорема. Пусть функция f непрерывна на множестве D вместе с
и f
частными производными f
y
′. Если функция y∈Y реализует
y
слабый локальный минимум функционала (1.1), то она является
решением дифференциального уравнения
(x, y(x), y′(x)) -
f
y
d
f
′ (x, y(x), y′(x)) = 0
y
dx
(2.1)
называемого уравнением Эйлера – Лагранжа.
Решение уравнения Эйлера – Лагранжа (2.1) называется
экстремалью функционала (1.1). Экстремаль – это функция
подозрительная на экстремум.
В настоящее время не существует общего метода решения
уравнения Эйлера – Лагранжа. Рассмотрим некоторые частные
случаи, в которых благодаря специальному виду подынтегральной
функции f это уравнение можно упростить.
Частные случаи уравнения Эйлера-
Лагранжа.
1. Функция f не зависит от y′, т. е. f = f (x, y). В этом случае
дифференциальное уравнение (2.1) превращается в функциональное
yравнение
(x, y) = 0 (2.3)
f
y
2. Функция f не зависит от y, т. е. f = f (x, y′), тогда yравнение
(2.1) принимает вид
d
f
′ (x, y′) = 0,
y
dx
откуда, интегрируя, получаем дифференциальное уравнение
первого порядка
Ф КазНПУ 703-12-11. Учебно-методический комплекс дисциплины для обучающегося. Издание третье.
80