Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Методы оптимизации. Учебно-методический комплекс.pdf
(
)
S
λ
()(
(
(
[
k
≠
∀
S
S
()(
(
)
x
H
⋅
S
(
(
)
(
(
)
(
(
)
HbHxx
x
⋅=⋅
+
x
(
)
(
)
S
−≤≤
l
(
)
На каждом шаге минимизируем функцию
направлении
i
, чтобы получить
i
, что приводит к следующему
выражению (на основании (2))
T
n
−=
xx ⋅
∑
=−1
i
n
0
i
⎡
⎢
⎢
⎣
T
i
()
i
∇⋅
xfS
⋅⋅
SHS
Кроме того,
T
)
и
T
ii
)
k
– сопряжены.
T
i
() ()()()
так как все
()()
T
i
()
SHS
T
ii
T
i
k
0=⋅⋅
,
−−
− 01
i
ii
i
,
Таким образом,
Выразим векторы
векторов
i
следующим образом (по аналогии с (3)):
T
i
n
0
n
−
1
=⋅
bH
−=
xx
∑
0
и
0
=
x
T
i
n
()
i
−1
i
b
T
i
)
i
−
1
⋅⋅
SHS
=
1
i
n
∑
=
1
i
T
i
0
T
через систему сопряженных
T
)
⋅⋅⋅⋅
SbHHS
i
i
−1
1
⎤
)
i
⎥
S
i
⎧
⎨
⎩
. (7)
⎥
⎦
−
i
1
011
∑
=
k
k
⋅λ+⋅⋅=+⋅⋅=∇⋅
1
+⋅⋅=∇⋅
)
⎡
⎢
⎣
]
bxHSxfS
,
i
⋅+⋅⋅
SbxHS
i
i
Sxf ⋅λ+
в
⎫
⎤
k
⎥
⎦
и
+
bSxHSbxHSxfS
⎬
⎭
. (8)
i
⋅⋅
SHS
0
i
⋅⋅⋅
SxHS
,
i
⋅⋅
SHS
T
i
=
∑∑
i
i
n
==
)
T
i
11
i
⋅⋅
SbS
.
i
⋅⋅
SHS
Подставив эти выражения в (7), получим
n
Таким образом, точка
квадратичной функции на
квадратичной функции
Покажем, что для сопряженных направлений, если
раз минимизируется в сопряженном направлении
00
−=
n
−− 11
. (9)
b
, полученная в результате минимизации
n-м шаге, совпадает с точкой минимума
xf
.
xf
каждый
j
в соответствии с
формулой (2), то при этом выполняется следующее равенство:
T
j
()()
при использовании не более чем
l
xfS
0=∇⋅
,
j
11
,
n направлений, то есть
ортогонален использованным сопряженным направлениям.
Ф КазНПУ 703-12-11. Учебно-методический комплекс дисциплины для обучающегося. Издание третье.
l
xf∇
61
(
)
x
(
)
(
()(
()(
x
S
S
(
−≤≤
l
k
Для квадратичной функции
−
где
⎡
()
⎢
⎣
k
l
kl
=
kj
- произвольная точка, из которой начинается поиск по
⎤
j
j
⋅λ+⋅+=∇
⎥
⎦
сопряженным направлениям. Поскольку
−
то
()()
kl
∑
=
1l
kj
Умножение этого уравнения слева на
T
k
() ()()
T
kl
k
T
1
− k
k
Первый член в правой части
точке
k
ортогонален направлению предыдущего спуска, если точка
xHbxf ⋅+=∇ ,
j
ll
xHbxf ⋅+=∇ . Следовательно,
−
k
11 l
∑∑
=
kj
kk
j
.
⋅⋅λ+∇=∇
SHxfxf
T
k
1−
)
S
l
∑
дает
−
1
j
=
kj
)
=∇⋅
xfS
T
−−−
111
k
)
0
, так как градиент в
j
j
,
⋅λ++=
SHxHbSxHbxf
j
.
⋅⋅⋅λ+∇⋅=∇⋅
SHSxfSxfS
получена в результате минимизации функции в этом направлении.
Кроме того, все остальные слагаемые под знаком суммы исчезают
вследствие сопряженности направлений
T
j
) ()
l
xfS
0=∇⋅
,
j
Алгоритм Пауэлла. Переход из точки
1−k
11
x
j
и
, и таким образом
. (10)
k
в точку
0
k
x на
n
-м шаге
алгоритма Пауэлла осуществляется в соответствии с формулой:
n
kk
n
0
∑
=
1
j
k
k
.
⋅λ+=
Sxx
j
j
При этом последовательно осуществляется минимизация исходной
функции по сопряженным направлениям
k
1
k
SS ,...,
. Результатом
n
минимизации по каждому из сопряженных направлений является
система параметров
k
1
k
, при которых функция минимальна в
λλ ,...,
n
каждом из сопряженных направлений:
k
k
j
λ
k
1
j
−
Sxf λ+=λ
k
)(minarg
j
,
k
j
j
−1
k
k
Sxx λ+=
.
j
j
Начальную систему сопряженных направлений можно выбрать
параллельной осям системы координат. В конце каждой итерации
алгоритма Пауэлла необходимо выбрать новую систему сопряженных
направлений, так как если этого не сделать, то получим простой
Ф КазНПУ 703-12-11. Учебно-методический комплекс дисциплины для обучающегося. Издание третье.
62
x
S
(
)
x
x
x
(
)
x
()(
)
x
x
−
S
()(
)
()(
)
(
)
S
(
)
x
x
p
x
x
x
(
)
(
)
x
S
S
S
S
S
S
покоординатный поиск. В основе построения новой системы лежит
следующая теорема.
Теорема:
Если при начальной точке
минимум функции
01
≠
точке
поиск минимума функции
приводит к точке
xf
находится к точке
b
, то при
0
поиска в направлении вектора
a
, а при начальной
xf
в том же направлении S
ab
xfxf < направление
ab
сопряжено с направлением поиска
.
Доказательство. Используя ранее полученные результаты (10),
можно записать, что в первом случае
aTaT
0=+⋅⋅=∇⋅ bxHSxfS
,
аналогично, во втором случае можно записать
bTbT
0=+⋅⋅=∇⋅ bxHSxfS
.
Вычитая из первого выражения второе получим, что
abT
0=−⋅⋅
Следовательно, векторы
и
xxHS .
ab
xx − являются сопряженными.
Эта теорема непосредственно может быть распространена на
случай нескольких сопряженных направлений следующим образом.
Если, начиная из точки
0
, точка
a
определяется после
использования при минимизации нескольких сопряженных
направлений
)( n
<
p
. И, аналогично, если из точки
≠
01
точка
b
определяется после использования тех же направлений и функция
xf
минимизируется на каждом шаге, то вектор
ab
xx − сопряжен ко
всем
направлениям. Следующий рисунок служит иллюстрацией
p
теоремы. Пусть в начальный момент для двумерной задачи поиск
осуществляется из точки вдоль направлений, параллельных осям
0
координат: и . Последовательно были найдены точки
0
1
0
2
0
1
0
0
,, xxx
3
2
Таким образом, определили 2 сопряженных направления, в
которых следует вести поиск: и . В системе исходных
направлений должно быть заменено на , представляющее
0
1
собой полное перемещение
0
2
из первого минимума. Направления
0
0
3
)(
xx −
1
0
0
3
)(
xx −
1
поиска на следующем этапе:
0
1
=
,
1
1
2
0
0
3
2
.
xxS −=
1
Ф КазНПУ 703-12-11. Учебно-методический комплекс дисциплины для обучающегося. Издание третье.
63
S
S
Рис. 5.
(см. рис. 6).
Рис.6.
1
Второй этап начинается с минимизации вдоль направления
1
затем, если необходимо, перемещение в направлении
64
Ф КазНПУ 703-12-11. Учебно-методический комплекс дисциплины для обучающегося. Издание третье.
.
1
,
2
k
=
S
=
H
(
)
k
Но в случае квадратичной функции двух переменных после
минимизации по двум сопряженным направлениям будет достигнута
точка минимума.
В общем случае, на
-м шаге алгоритма Пауэлла используется n
линейно независимых направлений поиска. Поиск начинается с точки
k
x
и осуществляется по следующему алгоритму:
0
1. Начиная с точки
минимизации функции
k
1
k
SS ,...,
. При этом находятся точки
n
исходную функцию в заданных направлениях, причем
kkk
Sxx
⋅λ+= , …,
12
2
2
k
n
k
x
, решается последовательность задач
0
k
1
j
λ
k
n
−1
−
k
Sxx ⋅λ+=
n
n
k
)(min
Sxf λ+
,
j
k
1
k
xx ,...,
, которые минимизируют
n
nj ,1
, в направлениях
01
1
.
kkk
Sxx
⋅λ+= ,
1
2. Поиск, осуществляемый на первом этапе, может привести к
линейно зависимым направлениям, если, например, в одном из
i
направлений
не удается найти меньшего значения функции.
Поэтому 2 направления могут стать коллинеарными. Поэтому в
системе сопряженных направлений не следует заменять старое
направление на новое, если после такой замены направления нового
набора становятся линейно зависимыми.
На примере квадратичной функции Пауэллом было показано, что
при нормировании направлений поиска в соответствии с
соотношением:
T
k
()
i
k
1=⋅⋅
SHS
,
i
ni ,1
,
определитель матрицы, столбцы которой представляют собой
направления поиска, принимает максимальное значение тогда и
k
S
только тогда, когда
взаимно сопряжены относительно матрицы
i
. Он пришел к выводу, что направление полного перемещения на k-м
шаге должно заменять предыдущее направление только в том случае,
когда заменяющий вектор увеличивает определитель матрицы
направлений поиска. Так как только тогда новый набор направлений
будет более эффективным.
Для такой проверки из точки
kk
xx
направлении
− , соответствующий полному перемещению на
n
0
-м этапе и получают точку )2(
n
k
x делается дополнительный шаг в
n
kk
xx − .
0
Ф КазНПУ 703-12-11. Учебно-методический комплекс дисциплины для обучающегося. Издание третье.
65
{
}
(
+
k
=
(
)
+
(
[][
]
Для проверки того, что определитель матрицы направлений
поиска увеличивается при включении нового направления, делается
шаг 3.
)(xf
3. Обозначим наибольшее уменьшение
k
,1
ni
=
k
1
i
−
соответствующее направление поиска обозначим через
на k-м шаге
k
,
)()(max
xfxf −=Δ
i
k
S
.
m
Обозначим:
k
)(
xff = , )(
1
0
2
k
xff = , )2(
n
3
n
kk
xxff −= ,
0
где
10−=k
xx ,
n
и (или)
13
Тогда, если
k
ff ≥
то следует использовать на
что и на
k
+1
0
-м этапе, то есть
k
xx =
или из точки
n
k
+
0
n
k
k
n
n
1
−
1
k
k
+1
i
2
n
n
)
-м этапе те же направления
k
SS =
,
i
kk
=−= , в зависимости от того, в
kk
n
01
∑
i
=
1
21321
ni ,1
, и начать поиск из точки
k
xxxx
n
10
+
k
λ+=λ+=
SxSxx
.
i
i
2
kk
k
1
2
)(5.0))(2( fffffff
−Δ≥Δ−−+− ,
31
k
SS ,...,
n
какой точке функция принимает минимальное значение.
,
4. Если тест на шаге 3 не прошел, то ищется минимум
направлении вектора
k
S
, проведенного из
1+
n
k
x
в
x :
0
k
k
n
n
Точка этого минимума берется в качестве начальной точки на
)(xf
в
kk
xxS
n
01−=+
()
1
k
-
м этапе. А в системе сопряженных направлений сохраняются все,
кроме направления
k
S , которое заменяется на новое направление
m
k
S
1+
n
, но новое направление помещается в последний столбец матрицы
)
направлений. На
1
1
1+k
-м этапе будут использоваться направления
k
kk
2
11
+++
= .
n
kkk
k
m
k
m
k
SSSSSSSSS
,...,,,...,,,...,,,
n
n
11121
++−
5.Критерий останова. Алгоритм прерывается, если изменение по
каждой переменной оказывается меньше заданной точности по
kk
соответствующей переменной или
xx
n
ε≤−
0
.
Вопросы
1.Методы нулевого порядка
2. Методы первого порядка
3.Методы второго порядка
.
4.Градиентный метод
Ф КазНПУ 703-12-11. Учебно-методический комплекс дисциплины для обучающегося. Издание третье.
66
x
()(
)
(
)
()(
[
()(
()(
)
x
x
()()()(
)
()()()(
)
(
)
()()(
)
[
]
(
)
(
)
(
(
)
(
x
Δ
(
)
k
Тема. Методы переменной метрики
Методы переменной метрики называют также квазиньютоновскими или градиентными с большим шагом.
В этих методах в процессе поиска осуществляется
аппроксимация матрицы вторых частных производных или обратной
к ней. Причем для этого используются только первые производные.
1+k
Очередное приближение
формуле:
+1
где матрица
представляет собой аппроксимацию
Для квадратичной целевой функции (или квадратичной
аппроксимации целевой функции) имеем:
()
где
2
Если вместо
k
xη , которую иногда называют матрицей направлений
k
() ()()
kk
xHxf =∇
.
kk
k
−
T
подставить в формулу
в этих методах находится по
kk
k
121−
kk
)
∇=
1
2
]
xfxH
.
T
kkk
kk
xfxxSxx ∇⋅η⋅λ−=⋅λ+=
, (1)
2
) ()
xxxfxxxxxfxfxf −⋅∇⋅−+−⋅∇+≈
kk
,
1+k
и
продифференцировать, то получим
++ 11
++ 11
k
1−
xH
Умножив на
+ 1
При этом, если
постоянная матрица.
Уравнение (2) можно рассматривать как систему n линейных
уравнений с
оценить для того, чтобы аппроксимировать
заданных значениях
Для решения этих линейных уравнений могут быть использованы
различные методы, каждый из которых приводит к различным
методам переменной метрики.
В большой группе методов матрица
n неизвестными параметрами, которые необходимо
, получаем
1
xf
,
−
1
xf
квадратичная функция, то
)
xf∇
и
+
на более ранних этапах поиска.
xH аппроксимируется с
kkkkk
xxxHxfxf −⋅+∇=∇
,
kkkkk
xxxHxfxf −⋅=∇−∇
.
kkkkk
xfxfxHxx ∇−∇⋅=−
. (2)
1−
)
xH
или
11+−k
()
k
= –
xH
при
HxH
помощью информации, полученной на предыдущем
Ф КазНПУ 703-12-11. Учебно-методический комплекс дисциплины для обучающегося. Издание третье.
-м шаге:
67
(
)
(
(
)
H
x
(
)
(
)
()(
)
[
]
ω
ω
x
k
+
− 1
где
Вообще
а
k
– матрица, аппроксимирующая )(
η
k
kk
xη=η .
- масштабный (постоянный) множитель, в большинстве случаев
ω
1
1
xH ηΔ+η⋅ω=η⋅ω≈
k
представляет собой определяемую матрицу,
ηΔ
+
−
kkk
)
, (3)
k
1
xH
на предыдущем шаге.
равный единице.
k
Выбор
метрики. Для обеспечения сходимости метода матрица
по существу и определяет метод переменной
ηΔ
1+
k
должна
η⋅ω
быть положительно определенной и удовлетворять уравнению (2) в
1−
том случае, когда она заменяет
()
1+k
На
вычислить
-м шаге мы знаем
1+ηk
так, чтобы удовлетворялось соотношение (2).
.
k
,
k
xf∇ ,
1+∇k
xf и
k
и желаем
η
Из выражения (2) с учетом (3)
k
k
+ 1
1
+
1
kk
k
k
+
gxfxfx Δη⋅ω=∇−∇⋅η⋅ω=Δ
.
k
+11
так как
+1
kkk
. Тогда уравнение
ηΔ+η=η
k
=Δ⋅ηΔ
надо разрешить относительно
=Δ⋅η
1
ηΔ
kk
xg Δ⋅
(4)
kk
k
k
.
k
gxg Δ⋅η−Δ⋅
(5)
Прямой подстановкой результата можно показать, что уравнение
(5) имеет следующее решение:
где
и y – произвольные вектора размерности n.
z
Если для
двух направлений
1
k
⋅
=ηΔ
ω
выбирается специальная линейная комбинация
1=ω
k
Δ
и
k
yx
⋅Δ
gy
Δ⋅
gΔ⋅η :
Tk
k
k
−
kT
k
k
Δ⋅
Tk
zg
⋅Δ⋅η
, (6)
kT
gz
k
gxzy Δ⋅η−Δ== ,
то получают метод Бройдена.
Если же берется
то матрицу
1+ηk
вычисляют с помощью алгоритма Дэвидона-
Флетчера-Пауэлла.
68
Ф КазНПУ 703-12-11. Учебно-методический комплекс дисциплины для обучающегося. Издание третье.
k
,
xy Δ= ,
k
k
gz Δ⋅η=
x
Δ
(
)
S
[
xxx
()(
)
x
()(
)
()()(
)
(
)
()(
)
Так
и
z
y
– произвольные векторы, то оказываются
допустимыми и другие возможности.
Если в этих алгоритмах шаги
результате минимизации функции
k
строятся последовательно в
xf
в направлении
k
, то все
методы, с помощью которых вычисляют симметрическую матрицу
1+ηk
, удовлетворяющую соотношению (4), дают направления,
являющиеся взаимно сопряженными (в случае квадратичной целевой
функции).
Метод Бройдена.
Бройден показал, что если
k
оказывается симметрической
ηΔ
матрицей с рангом равным единице и должно удовлетворяться
соотношение
k
+1
то единственным возможным выбором
k
[]
k
=ηΔ
k
k
[]
k
k
kk
xg Δ=Δ⋅η
,
k
является соотношение:
ηΔ
T
kk
k
T
ggx
Δ⋅Δ⋅η−Δ
k
]
gxgx
Δ⋅η−Δ⋅Δ⋅η−Δ
, (7)
k
где
+1
kkk
−=Δ
,
+1
kkk
xfxfg ∇−∇=Δ
.
Алгоритм метода:
0
1. Задается начальное приближение
0
определенная матрица
(например, единичная).
η
и некоторая положительно
2. Вычисляется
+1
kk
k
kk
xfxxx ∇⋅η⋅λ−=
,
так, что
k
minarg .
λ
kkk
xfxxf ∇⋅η⋅λ−=λ
3. Находится очередное приближение матрицы
+1
k
где
находится по формуле (7).
ηΔ
4. Проверяется критерий останова, например,
kkk
,
ηΔ+η=η
+1k
xf .
ε≤∇
Если целевая функция является квадратичной, то направления поиска
kkk
xfxS ∇⋅η−= на последующих итерациях оказываются
Ф КазНПУ 703-12-11. Учебно-методический комплекс дисциплины для обучающегося. Издание третье.
69
()(
)
η
Δ
сопряженными и для определения минимума достаточно сделать n
шагов.
В случае минимизации неквадратичной функции возможны
нежелательные явления:
1+ηk
1) Матрица
может перестать быть положительно определенной. В
этом случае необходимо обеспечить ее положительную
определенность каким-либо способом.
k
2) Вычисляемая величина
ηΔ вследствие ошибок округления может
стать неограниченной.
3) Если
k
k
kk
xfxx ∇⋅η⋅λ−=Δ на текущем шаге случайно совпадает с
направлением поиска на предыдущем шаге, то матрица
становится сингулярной или неопределенной.
Чтобы избежать этих явлений, обычно обновляют алгоритм после
1+ηk
n шагов, считая
)1( +n
-ю итерацию начальной.
Метод Дэвидона-Флетчера-Пауэлла.
В этом алгоритме матрица
случае, матрица
перевычисляется таким образом, чтобы для
η
квадратичной функции после
121−
−
() ()
70
[]
∇=
Ф КазНПУ 703-12-11. Учебно-методический комплекс дисциплины для обучающегося. Издание третье.
kk
xfxH
.
имеет ранг 2 . Как и в предыдущем
n шагов она совпала с матрицей