Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Методы оптимизации. Учебно-методический комплекс.pdf
(
)
=
S
Обычно λ выбирают из условия )(minarg
k
λ
kk
Sxf ⋅λ+=λ
, решая
одномерную задачу минимизации с использованием некоторого
одномерного метода. В этом случае получаем алгоритм
наискорейшего спуска.
Если
определяется в результате одномерной минимизации, то
λ
градиент в точке очередного приближения будет ортогонален
направлению предыдущего спуска
+1
kk
Sxf ⊥∇
.
Вообще говоря, процедура наискорейшего спуска может
закончиться в стационарной точке любого типа, в которой
∇ xf
()
0
Поэтому следует проверять, не завершился ли алгоритм в седловой
точке.
Эффективность алгоритма зависит от вида минимизируемой
функции. Алгоритм наискорейшего спуска сойдется за одну
итерацию при любом начальном приближении для функции
2
()
случае функции вида
2
1
, но сходимость будет очень медленной, например, в
xxxf +=
2
()
2
1
2
100xxxf += . В тех ситуациях, когда линии
2
уровня минимизируемой функции представляет собой
прямолинейный или, хуже того, криволинейный "овраг"
эффективность алгоритма оказывается очень низкой. Очевидно, что
хорошие результаты может давать предварительное масштаби-
.
рование функций.
Процесс наискорейшего спуска обычно быстро сходится вдали от
точки экстремума и медленно в районе экстремума. Поэтому метод
наискорейшего спуска
нередко используют в комбинации с другими
алгоритмами.
Метод сопряженных градиентов
В алгоритме наискорейшего спуска на каждом этапе поиска
используется только текущая информация о функции
k
)(
градиенте
xf∇ . В алгоритмах сопряженных градиентов
)(kxf и
используется информация о поиске на предыдущих этапах спуска.
k
Направление поиска на текущем шаге
комбинация наискорейшего спуска на данном шаге
направлений спуска на предыдущих шагах
строится как линейная
k
)(
xf∇− и
110
...,,,
−k
SSS . Веса в
линейной комбинации выбираются таким образом, чтобы сделать эти
Ф КазНПУ 703-12-11. Учебно-методический комплекс дисциплины для обучающегося. Издание третье.
51
x
(
)
Sxx
⋅λ+
(
)
S
S
(
xxx
()(
)
x
x
=
Sxx
λ=−
()()()()(
)
(
H
H
()(
[
λ
S
S
()(
[
(
[
(
)
(
направления сопряженными. В этом случае квадратичная функция
будет минимизироваться за шаг алгоритма.
При выборе весов используется только текущий градиент и
градиент в предыдущей точке.
В начальной точке
где
выбирается из соображений минимальности целевой функции
0
λ
в данном направлении
0
направление спуска
01
=
0
0
0
, (1)
λ
00
)(minarg
Sxf ⋅λ+=λ
. Новое направление
00
xfS −∇= :
поиска
0
SxfS ⋅ω+−∇= , (2)
1
1
и
0
где
11
ω
выбирается так, чтобы сделать направления
1
сопряженными по отношению к матрице H:
Τ
()
10
0
=⋅⋅
SHS
. (3)
Для квадратичной функции справедливы соотношения:
()
где
Если положить
−=Δ
00
()()
0
Τ
,
()
1
0
01
, тогда
01
2
010
1
2
2
0
Воспользуемся (4), чтобы исключить
Τ
квадратичной функции
T
0
()
=
S
=
()
−
λ
Следовательно, для сопряженности
Τ
() ()
[]
01
−
1
, поэтому
01
0
=
0
и
Τ
()
0
xxfxfxf Δ⋅∇+∇=∇
0
0
2
)
xxfxxxfxfxf Δ⋅∇⋅Δ+Δ⋅∇+=
,
.
и
0
0
SHxxxfxfxf λ=−⋅∇=∇−∇ . (4)
Τ
0
)
S
из уравнения (3). Для
ΤΤ
01
)
]
0
1
1
−
⋅∇−∇
Hxfxfxx
.
)
]
Τ
1011
)
0
]
0
=ω+∇−∇−∇=⋅∇−∇
SxfxfxfSHHxfxf
1
.
Вследствие изложенных ранее свойств сопряженности все
00
перекрестные члены исчезают. Учитывая, что
xfS −∇= , получим
для
52
ω
следующее соотношение:
1
2
T
−=ω
1
Ф КазНПУ 703-12-11. Учебно-методический комплекс дисциплины для обучающегося. Издание третье.
()()
T
() ()
11
xfxf
∇⋅∇
xfxf
∇⋅∇
−=
00
1
)
xf
∇
2
0
()
xf
∇
. (5)
S
(
)
S
S
S
()(
()(
)
(
ω
x
(
)
k
S
(
)
Sxx
⋅λ+
=
(
)
(
)
(
)
ε
k
=
x
x
+
ω
Направление поиска
векторов
1
. Если распространить сделанные выкладки на
с
2
xf∇− ,
0
,
2
строится в виде линейной комбинации
1
, причем так, чтобы оно было сопряженным
их содержание и учитывая, что
1
+Τkk
0
=∇∇
xfxf , можно получить общее выражение для
k
∇
−=ω
k
∇
)
xf
. (6)
2
k
12−
()
xf
,...,32SS
, опуская
Τ
1=∇+
kk
)
xfS
0
приводит к
ω
:
k
Все весовые коэффициенты, предшествующие
интересно, оказываются нулевыми.
Полностью алгоритм описывается следующей
последовательностью действий:
1. В точке начального приближения
2. На
-м шаге с помощью одномерного поиска в направлении
0
вычисляется
определяется минимум функции, то есть решается задача
3.
k
minarg
λ
kk
Sxf ⋅λ+=λ
и находится первое приближение
4. Вычисляется
1+k
xf и
1+∇k
xf .
5. Определяется направление
6. Алгоритм заканчивается, если
+1
k
S , где
ε<
kk
11
kk
k
k
.
k
SxfS ⋅ω+−∇=
+++1
k
.
– заданная величина.
, что особенно
k
00
xfS −∇= .
k
После
алгоритма, процедура циклически повторяется с заменой
итераций (
1+n
), если не произошел останов
n
0
на
1+n
и
возвратом на первый пункт алгоритма. Если исходная функция
1
является квадратичной, то (
экстремума данной функции. Описанный алгоритм с построением
n )-е приближение даст точку
k
по формулам (6) соответствует методу сопряженных градиентов
Флетчера-Ривса.
Ф КазНПУ 703-12-11. Учебно-методический комплекс дисциплины для обучающегося. Издание третье.
53
()()(
)
[
]
(
)
(
)
xxx
()(
)
В модификации Полака-Рибьера (Пшеничного) метод
сопряженных градиентов отличается только вычислением
1
−
Τ
−=ω
k
Τ
⋅∇
Sxf
kkk
∇−∇⋅∇
xfxfxf
11
−−
kk
. (7)
В случае квадратичных функций обе модификации примерно
эквивалентны, однако в модификации Полака-Рибьера алгоритм
обычно оказывается несколько эффективнее.
Многопараметрический поиск
Милем и Кентреллом предложен метод поиска, основанный на
использовании двух подбираемых параметров для минимизации
)(xf
в каждом направлении поиска. В этом алгоритме последовательность
действий определяется формулой:
1
k
Δ⋅λ+∇⋅λ−=
xxfxx , (1)
где
1 −+
kk
k
11 −−
kkk
−=Δ
.
k
k
10
На каждом шаге решается задача минимизации по двум
параметрам:
1
−
kkk
Δ⋅λ+∇⋅λ−
xxfxf
.
54
min
,
λλ
10
Ф КазНПУ 703-12-11. Учебно-методический комплекс дисциплины для обучающегося. Издание третье.
10
()(
)
(
)
(
)
=
x
x
x
(
)
−=Δ
xxx
x
=
Δ
x
(
(
(
)
()(
После чего находится очередное приближение по формуле (1). При
этом можно показать, что
1
+Τkk
xfxf ,
На первом шаге
0
=∇∇
Δ
Τ
1
−k
0
, а
11
++
kk
0
=Δ∇
xxf и
0
Τ
1
+
kk
0
=Δ∇
xxf .
должно быть задано. На k-м
шаге:
11 −−
1. Вычисляется
k
,
k
xf∇ и
kkk
.
2. Пользуясь одним из эффективных методов, например, методом
Ньютона находятся с требуемой точностью
3. По уравнению (1) вычисляют
4. Каждый (
1+n )-й шаг начинается с
1+k
и переходят к пункту 1.
k
λ
0
1
−k
0
.
и
k
.
λ
1
5. Процесс заканчивается, когда
ε<Δ )(xf .
На квадратичных функциях алгоритм по эффективности близок к
методу сопряженных градиентов.
Крэгг и Леви распространили данный метод на случай большего
числа параметров. На каждом шаге при минимизации
заданном направлении решается задача вида
min
,...,,
10
⎛
⎜
⎜
λλλ
m
⎝
0
m
kk
)
∑
i
=
i
1
⎞
−
i
1
⎟
,
xxfxf
Δ⋅λ+∇⋅λ−
⎟
⎠
а очередное приближение
при
m
1
0
.
1−≤ nm
kkk
)
∑
i
=
1
i
−+
1
Δ⋅λ+∇⋅λ−=
xxfxx
i
Достоинства и недостатки такого подхода очевидны.
Методы второго порядка
Методы второго порядка при поиске минимума используют
)(xf
в
информацию о функции и ее производных до второго порядка
включительно. К этой группе относят метод Ньютона и его
модификации.
В основе метода лежит квадратичная аппроксимация
xf
которую можно получить, отбрасывая в рядах Тейлора члены
третьего и более высокого порядков:
()
() ()()
Τ 2
1
2
Ф КазНПУ 703-12-11. Учебно-методический комплекс дисциплины для обучающегося. Издание третье.
Τ
) ()
kkkkkk
xxxfxxxxxfxfxf −⋅∇⋅−+−⋅∇+≈
, (1)
55
,
(
)
(
)
x
S
x
x
xxx
()(
(
x
Δ
x
()(
)
(
[
(
(
[
(
(
)
(
)
(
[
(
()(
()(
)
(
(
)
где
квадратную матрицу вторых частных производных
следующим образом. Если заменить в выражении (1)
обозначить
2
Направление поиска
()()()
Минимум функции
дифференцированием
приравниванием к нулю полученных выражений
Это приводит к
kk
)(
xHxf =∇ - матрица Гессе, представляющая собой
xf
в точке
k
в методе Ньютона определяется
+1
+21
kkk
−=Δ
, то получим
Τ
xf
()
xf
по каждой из компонент
1
1
2
)
в направлении
2
2
)
]
2
kkk
xxfxf . (3)
−1
−+1
)
]
Τ
0
=Δ⋅∇+∇
kkk
)
xfxfx ∇⋅∇−=Δ
, (4)
kkkk
xfxfxx ∇⋅∇−=
) ()
k
определяется
)
. (5)
на
kkkkkkk
xxfxxxfxfxf Δ⋅∇⋅Δ+Δ⋅∇+≈
, (2)
Δ
k
.
1+k
и
и
В данном случае и величина шага и направление поиска точно
определены. Если
для достижения минимума достаточно одного шага.
Но в общем случае нелинейной функции
минимум не достигается. Поэтому итерационную формулу (5)
обычно приводят к виду:
k
λ
где
Направление поиска определяется вектором
не будет выполнен некоторый критерий останова.
- параметр длины шага, или к виду
+
1
kk
k
Итерационный процесс (6) или (7) продолжается до тех пор, пока
xf
- квадратичная функция (выпуклая вниз), то
−
+
2
[]
kk
1
xx
k
−
1
()
2
⋅λ−=
2
[]
−1
1
)
]
∇⋅∇
−
1
()
kkk
∇⋅∇
k
kkk
xfxHS ∇⋅−=
kk
xfxf
kk
()
xfxf
−
1
.
xf
за один шаг
)
, (6)
) ()
kk
xfxHxxfxfxx ∇⋅⋅λ−=∇⋅∇⋅λ−=
. (7)
Критерий, гарантирующий сходимость метода Ньютона в
)
xf
предположении, что функция
заключается в том, что матрица
определенной.
Ф КазНПУ 703-12-11. Учебно-методический комплекс дисциплины для обучающегося. Издание третье.
56
дважды дифференцируема,
k
1−
xH
должна быть положительно
(
)
(
[
(
(
[
()(
(
Иногда определенную сложность вызывает вычисление на
k
1−
xH
каждом шаге матрицы
используют его модификацию. Суть модифицированного метода
Ньютона заключается в том, что при достаточно хорошем начальном
приближении вычисляется матрица
[]
всех итерациях вместо
приближения определяются соотношением
+ 0
1
kk
k
[]
Естественно, что число итераций, необходимое для достижения
минимума, обычно возрастает, но в целом процесс может оказаться
экономичнее.
∇
2
()
xf
−
1
0
. Тогда вместо метода Ньютона
1
−
0
∇ xf
12−
k
)
используется
kk
2
]
)
и в дальнейшем на
1
−
0
2
∇ xf
−
k
1
) ()
]
)
. Очередные
k
xfxHxxfxfxx ∇⋅⋅λ−=∇⋅∇⋅λ−=
. (8)
Градиентные методы, в частности метод наискорейшего спуска,
обладают линейной скоростью сходимости. Метод Ньютона обладает
квадратичной скоростью сходимости.
Применение метода Ньютона оказывается очень эффективным
при условии, что выполняются необходимые и достаточные условия
его сходимости
достаточных условий сходимости метода в случае конкретной
может быть достаточно сложной задачей.
Ф КазНПУ 703-12-11. Учебно-методический комплекс дисциплины для обучающегося. Издание третье.
. Однако само исследование необходимых и
)
xf
57
j
≠
j
=
H
p
<
x
S
(
Sxx
λ
λ
Метод Пауэлла и сопряженные направления
Метод Пауэлла относится к прямым методам (методам нулевого
порядка). Этим методом наиболее эффективно осуществляется
минимизация функций, близких к квадратичным. На каждой
итерации алгоритма поиск осуществляется вдоль системы
сопряженных направлений.
Два направления поиска
где
- положительно определенная квадратная матрица.
T
i
T
i
SS ,
называются сопряженными, если
ji
SHS
SHS ,
0=⋅⋅
,
j
0≥⋅⋅
i
,
i
i
,
Обоснование применения сопряженных направлений в
алгоритмах оптимизации. В методе Пауэлла
2
)(
xfH ∇= - матрица
k
вторых частных производных. Идеи метода Пауэлла относятся к
)(xf
квадратичной функции
.
Основная идея заключается в том, что если на каждом этапе
поиска определяется минимум квадратичной функции
)( n
каждого из
p
- сопряженных направлений и если затем в
)(xf
вдоль
каждом из направлений делается шаг до минимальной точки, то
полное перемещение от начала до шага с номером
сопряжено ко
p
всем поднаправлениям поиска.
Идея использования сопряженных направлений лежит в основе
ряда алгоритмов.
)(xf
Пусть
начинается в точке
возьмем этот вектор единичным, т.е.
01
1
⋅λ+=
- квадратичная функция и процесс минимизации
0
с начальным направлением
T
11
1
и длина шага
)
1
определяется из условия
=⋅ SS
минимальности функции в данном направлении т.е.
1
λ
10
)(minarg
Sxf ⋅λ+=λ
.
Для квадратичной функции
10
)(
⋅λ+
Sxdf
λ
d
и, таким образом, оптимальное значение
110
2
TT
на первом шаге
определяется в соответствии с соотношением
Ф КазНПУ 703-12-11. Учебно-методический комплекс дисциплины для обучающегося. Издание третье.
1
. Для удобства
1
. Тогда вектор
10
0)()()(
=λ∇+∇=
SxfSSxf
, (1)
58
x
S
H
≤≠≤
E
H
H
(
(
)
10
Sxf
)(
)()(
SxfS
⋅∇⋅
где
Из точки
T
1
=λ
k
2
)(
xfH ∇= .
1
∇−
1
2
T
процесс минимизации должен осуществляться в
другом сопряженном направлении
T
∇
−=
10
2
и при этом
12
T
T
)(
0)(
=⋅⋅ SHS
.
10
Sxf
)(
, (2)
11
SHS
⋅⋅
Квадратичная функция может быть представлена в виде
1
)(
T
где положительно определенная матрица
T
xHxxbaxf
⋅⋅+⋅+=
,
2
2
xfH ∇=
.
)(
В общем случае система
поиска
21
n
SSS ,...,,
называется сопряженной по отношению к
некоторой положительно определенной матрице
i
T
n линейно независимых направлений
, если
j
SHS ,
0)( =⋅⋅
0
nji
.
Так как сопряженные направления линейно независимы, то
любой вектор в пространстве
n
можно выразить через
следующим образом:
n
j
SvV
⋅=
j
=
1
T
j
()
T
j
()
всегда существует, по крайней мере,
где
Для некоторой матрицы
одна система из
n взаимно сопряженных направлений, так как сами
∑
j
v
=
собственные векторы матрицы
⎫
j
⎪
⎪
. (3)
⎬
VHS
⋅⋅
⎪
⎪
j
SHS
⋅⋅
⎭
представляют собой такую
21
n
SSS ,...,,
систему.
Отметим, что для квадратичной функции справедливо следующее
соотношение, которое потребуется в дальнейшем:
T
−
H
Ф КазНПУ 703-12-11. Учебно-методический комплекс дисциплины для обучающегося. Издание третье.
n
1
=
∑
j
=
1
j
jj
)
⋅
SS
T
. (4)
j
⋅⋅
SHS
59
S
H
(
)
(
⋅+=
∇
(
)
H
x
⋅−=
()()(
Sxx
⋅λ+
Sxx
⋅λ+
=
Чтобы убедиться в его справедливости, рассмотрим матрицу
n
∑
=
j
α
j
1
jj
Τ
. Умножение ее справа на
SS
)(
если положить
⎡
⎢
⎣
n
∑
j
=
α
j
1
⎡
()
=α
k
⎢
⎣
⎤
jj
Τ
k
⎥
k
⎦
Τ
1−
kk
⎤
SHS
.
⎥
⎦
k
дает
Τ
)()(
kkkk
,
SSHSSSHSS =α=
Вообще говоря, справедливо общее правило, заключающееся в
том, что если используются сопряженные направления для поиска
)(xf
минимума квадратичной функции
, то эта функция может быть
минимизирована за
n шагов по одному в каждом из сопряженных
направлений. Более того, порядок использования сопряженных
направлений несущественен.
Покажем, что это действительно так. Пусть
функция и
()
1
2
xf
- квадратичная
TT
xHxxbaxf
⋅⋅+⋅+=
,
при этом
)
xHbxf
.
В точке минимума
0=∇∗xf ,
и эта точка
−∗1
b
.
Заметим, что
T
T
kkk
k
)
xfSSxf ∇⋅=⋅∇
.
Так как
1
1
, (5)
10
Sxf
)(
10
)()(
SxfS
⋅∇⋅
T
∇
−=
T
)(
10
Sxf
)(
,
11
SHS
⋅⋅
где
01
=
1
определяется в соответствии с соотношением (2):
λ
T
1
=λ
∇−
1
2
T
затем минимум находится в следующем сопряженном направлении
по аналогичным формулам
12
2
2
и т.д., то на n-м шаге
имеем
60
n
n
0
∑
i
=
1
Ф КазНПУ 703-12-11. Учебно-методический комплекс дисциплины для обучающегося. Издание третье.
i
i
⋅λ+=
Sxx
. (6)