Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Методы оптимизации. Учебное пособие-3
.pdf
5.4. Метод сопряженных градиентов
ж
и
ц
ш
ч
747
1
16
p
74741
16
351621
16
ж
и
ц
ш
ж
и
ц
ш
ч
g
12
49327
2
ж
и
ц
ш
g()()1a
4
7
,,(,)
747447351621
31
ж
и
ц
ш
ж
и
ц
ш
()2
00
xx
*()
(,)»=231
f f*(,)»=-31 14
f xfxx() (, )=
12
i
2
f xfxx xxxxxx() (, )==+++-
12 1
2
12 2
2
12
72 510
f xfxx xxxx xx() (, )==-+-+
12 1
2
12 2
2
12
33 42
f xfxx xxxxx() (, )==+++
12 1
2
12 2
2
2
4175
f xfxx xxxxxx() (, )==-+--
12 1
2
12 2
2
12
54 5
f xfxx xxxx x() (, )==++-
12 1
2
12 2
2
1
44 617
f xfxx xxxxxx() (, )==-++-
12 1
2
12 2
2
12
22 33
f xfxx xxxx x() (, )==+++
12 1
2
12 2
2
2
10 310
f xfxx xxxxxx() (, )==-++-
12 1
2
12 2212
26
Шаг 1.
()
1
=-
з
()
()
Минимизируем
()1
fx() ,
,(,) ,
ч
з
-
з
+--=-
77
4 392aaa=--
и получаем, что
()
2
x
=
з
ч
()1
,
4
з
.
ч
--
з
=
,
,
()1
=
, откуда получим
=
16
ч
.
, то есть требуемая точность достигнута.
Следовательно, получим
,
.
Контрольные задания
1. Минимизировать функции
методом со-
пряженных градиентов, заканчивая вычисления при
k
()
¶
fx
()
¶
x
Ј
00
.
,
:
а)
б)
в)
г)
д)
е)
ж)
з)
;
;
;
;
;
;
;
;
101
5. Численные методы минимизации функции нескольких переменных
f xfxx xx xx() (, )==+++
12 122212
f xfxx xxxx() (, )==++
12 1212 2
2
()k
= 0
xR
kn()
О
f x()
x
k()
f xfxrxh
kk
() () (,)
()
=+
li
(,)
()
0
rx h
k
k
=-
()
f xk()
xh
kk
()
()
1
2
k
()
()
x
k()+1
f xk()
xxHx fx
kk kk() () () ()
()()
+-
=- ЧС
11
kk
()
1
2
СС
и)
к)
;
.
2. Показать, что при обновлении метода сопряженных градиентов на каждом шаге (если
,
) он пере-
ходит в метод наискорейшего спуска.
5.5. Метод Ньютона
Основными преимуществами этого метода по сравнению
с градиентными методами являются более высокая скорость
сходимости, сохранение работоспособности при овражном характере минимизируемой функции.
Пусть известно приближение
ция
дважды непрерывно дифференцируема на n,
то в окрестности точки
где
, через
обозначена следующая квадратичная
функция:
kk
f xfxfxh hH
() ()(( ), ),
() () ()
=+С+
справедливо разложение
, причем
. Если целевая функ-
m
a®=0
2
h
,
.
Предположим, что матрица Гессе
определенная. В качестве очередной точки
ку глобального минимума квадратичной функции
причем
kk kk
() () () () ()+-
102
f xfxHxfxfx
11
()() ()(),()
=- Ч
положительно
выберем точ-
, (5.9)
:
.
5.5. Метод Ньютона
yR
n
О, y № 0
->1
0
f xfx
kk k
()()
() ()+<1
f xfx
kk k
()()
() ()
=
kk kk
=-=- ЧС
+-() () () ()
()()
11
f xk()
x
k()
f x()
f xfx
()()
() ()+
-<
1
0
kkk
() () ()
() ()
() () () ()
С=Сfx hfxh
kk kkk
f xfx
kk kk
()()
() ()+<1
k()
f xk()
x
k()
() ()
С<fx h
kk k
0
() ()
С<fx h
kk
0
x
k()+1
x
k()
f x()
n
x
*
f x()
*
x
*
x
()0
()xk
xxHx fx
kk kk() () () ()
()()
+-
=- ЧС
11
x
*
Поскольку для любого
то
, причем
справедливо
, то есть вектор
определяет направление убывания
направление убывания и целевой функции
в точке
, а также
:
. (5.10)
Действительно,
при этом
ния
в точке
:
, то есть
,
— направление убыва-
.
Неравенство (5.10) будет справедливо лишь для точки
близкой к
.
Таким образом, формула (5.9) может быть использована для
организации итерационного процесса (при некоторых ограничениях, обеспечивающих ее сходимость).
,
,
Теорема 5.6. Пусть функция
ференцируема на
матрица Гессе
окрестность точки
из этой окрестности последовательность
по формуле (5.9):
сходится к
.
дважды непрерывно диф-
,
— стационарная точка функции
не вырожденная. Тогда существует такая
, что для любого начального приближения
, построенная
,
,
103
,
5. Численные методы минимизации функции нескольких переменных
xUx
() *
()
0
О
()xk
x
*
*
0
x
()0
f x()
x
()0
k-1
()
()
x
()0
i
3
СЈ
()
e
3
3
0>
x
*
x
k()
f xk()
()
f fx
**
()=
Таким образом, для любого
тельность
(5.9), каждая предельная точка
получим последова-
которой удов-
летворяет условию
Итак, если начальное приближение
близким к точке минимума функции
.
выбрано достаточно
, то последователь-
ность, построенная по методу Ньютона (5.9), будет сходиться
к этой точке. Однако, не зная положения точки минимума, такой выбор
практически осуществить невозможно.
Анализ метода Ньютона
Приведем схему анализа метода Ньютона:
1. В общем случае процесс вычисления на каждой итерации
матрицы вторых производных
и ее обращения требу-
ет значительных вычислительных затрат, что резко снижает эффективность применения метода Ньютона.
2. Сходимость процесса гарантируется, только если началь-
ная точка
достаточно близка к точке экстремума.
3. Условие окончания итерационной процедуры метода Ньютона — выполнение требования на точность решения задачи
минимизации:
4. Выбор решения. В качестве приближения для
мается последняя вычисленная точка
приближенно определяет величину
104
()
¶
fx
()
¶
x
k
e
Ј
fxk()
,
,
, или
.
прини-
. Тогда значение
.
5.5. Метод Ньютона
xx
()=+
xRО
xc
()0
0=>
f x()
x
()
x
()
1
1
/
ўў
=+
-
fx x
1232
1
x
()1
xx fx fx
() () () ()
(( )) ()
10 01 0
=-
ўў ў
=
-
+=
c
cc
23
x
()2
xx fx fx
() () () ()
(( )) ()
21 11 1
=-
ўў ў
=
-
=
3
33 69
1()
x
()0
1<
xx
k()
min
®=0
1
x
kk()
()=-1
1
®Ґ
xc
()0
1=>
()xk
Пример 5.5
Найти точку минимума целевой функции
.
Решение
Шаг 0. Выберем начальное приближение
Вычислим первую и вторую производные функции
ў
()
=
f x
1
ўў
()
=
f x
/
232
+
Шаг 1. По формуле (5.9) вычислим
,
2
x
+
:
()
1
Шаг 2. Вычислим
232
+
+
()
1
:
c
2
cc
=-
()
1
-cc
/
33232
--+-
cc
11(( ))
/
c
32
+-
c
(( ))
.
f
()
2
1
,
.
:
.
.
В итоге при соответствующем выборе начального прибли-
жения
— при
— при
— при
:
()0
x
()0
x
()0
x
Таким образом, в данном примере использование метода
Ньютона при выборе начального приближения
водит к построению последовательности
от точки минимума.
=
>
;
k()
x
.
;
при-
, удаляющейся
105
5. Численные методы минимизации функции нескольких переменных
f xfxx xxe
xx
() (, )==++
+
12 1
2
2
2
2
12
xRО
2
x()(. ,. )
0
03012259 01629096=-
i
5
()0
002622655 002296005
..
..
0 39319151 0 62867835
ж
и
ц
ш
ч
-10
()
()
-
ж
и
ц
0 39319151 0053404226
..
..
шш
ч
x
()1
xxHx fx
() () () ()
()()
10 10 0
=- ЧС =
-
-
..
0 39319151 0053404226
ж
и
ц
ш
ґ
--
fx()(. ,. )
()166
7910 7910
xx
*()
(. ,. )»=--
1
03127641 01563821
Пример 5.6
Найти точку минимума функции
,
,
методом Ньютона, выбрав в качестве начального приближения
k
()
¶
fx
, с точностью
()
¶
x
-
10
Ј
,
Решение
Шаг 0. Начальное приближение x
(0)
= (–0.3012259,
–0.1629096), тогда
()0
=
()
з
0 62867835022329787
Найдем обратную матрицу
-
10
()
()
=
з
-
0053404226 0 22329787
Шаг 1. По формуле (5.9) вычислим
:
,
:
(. ,. )
03012259 01629096
--
з
-
.
00534042 226 0 22329787.
ч
.
нута.
Следовательно, получим
106
, то есть требуемая точность достиг-
.
.
5.5. Метод Ньютона
()xk
x
*
()xk
xx Hx fx
kkkkk() () () () ()
()()
+-
=- С
11
a
()k
> 0
gg
kk k() () ()
()min()aa
a=>0
gf
kk
()
()
-
f x()
n
22
ЈЈ
n
,
()xk
xxHx fx
kk kk() () () ()
()()
+-
=- ЧС
11
x
*
x
()0
xx Hx fx
kkkk() () () () ()
()()
+-
=- ЧС
110
a
()k
> 0
gg
kk k() () ()
n()aa
a=>0
gf
()
()
Метод Ньютона — Рафсона — это модифицированный ме-
тод Ньютона, позволяющий устранить его недостаток, как возможность несходимости последовательности
ке
.
В методе Ньютона — Рафсона последовательность
(5.9) к точ-
стро-
ится по формуле
В качестве величины шага спуска
,
. (5.11)
выбирают решение
задачи одномерной минимизации
kk
() () () ()
() ()
aa=- ЧС
xHxfx
Теорема 5.7. Пусть функция
ференцируема на
, существуют такие числа
1
,
. (5.12)
дважды непрерывно диф-
, что вы-
полняется неравенство:
ssHxsMs
где
— матрица Гессе. Тогда последовательность
(, ())
для
,
строенная по формулам (5.11), (5.12),
сходится к точке минимума
го приближения
.
независимо от выбора начально-
,
,
В качестве другой модификации метода Ньютона можно
применять следующую итерационную схему:
, по-
где
— решение задачи одномерной минимизации:
()mi
,
kk k() () () ()
() ()
aa=- ЧС
,
xHxfx
-10
, (5.13)
.
107
5. Численные методы минимизации функции нескольких переменных
()0
()0
x
()0
xR
n()0
О
xR
n()0
О
f xfxx() (, )=
12
f xfxx xxxxxx() (, )==+++-
12 1
2
12 2
2
12
72 510
f xfxx xxxx xx() (, )==-+-+
12 1
2
12 2
2
12
33 42
f xfxx xxxxx() (, )==+++
12 1
2
12 2
2
2
4175
f xfxx xxxxxx() (, )==-+--
12 1
2
12 2
2
12
54 5
f xfxx xxxx x() (, )==++-
12 1
2
12 2
2
1
44 617
f xfxx xxxxxx() (, )==-++-
12 1
2
12 2
2
12
22 33
f xfxx xxxx x() (, )==+++
12 1
2
12 2
2
2
10 310
f xfxx xxxxxx() (, )==-++-
12 1
2
12 2212
26
f xfxx xx xx() (, )==+++
12 122212
f xfxx xxxx() (, )==++
12 1212 2
2
В этом случае для построения направления спуска используется один раз вычисленная и обращенная матрица вторых
производных
. Если матрица
положительно опре-
деленная, то итерационный процесс (5.13) является модификацией градиентного спуска и сходится независимо от выбора
начального приближения
.
Контрольные задания
1. Показать, что точка минимума квадратичной функции
может быть найдена с помощью одной итерации метода
Ньютона из произвольного начального приближения
.
2. Используя результат задания 1, показать, что для нахождения точки минимума квадратичной функции достаточно одной итерации метода Ньютона — Рафсона при произвольном начальном приближении
3. Минимизировать функции
.
с помощью од-
ной итерации метода Ньютона:
а)
б)
в)
г)
д)
е)
ж)
з)
и)
к)
108
;
;
;
;
;
;
;
;
;
.
5.5. Метод Ньютона
f xx xxxxxx()=+++-+-
12223
242
234
222
234
222
xR
()04
О
xx
12
1
2
1
2
xR
()02
О
i
4. Минимизировать функцию
методом Ньютона, используя произволь-
ное начальное приближение
5. Минимизировать функцию
f xx
.
122
2
1
методом Ньютона — Рафсона, выбрав произвольное начальное приближение
k
()
¶
fx
ности решения
()
¶
x
, используя критерий точ-
-
5
10
Ј
,
.
x()=+++ -
109
f x()
XR
n
М
f x()
xxxx
n
= (, , ..., )
12
f xcxcxcx
nn
() ... min=+ ++ ®
11 22
ax ax ax b
11
22
+++=
+=
... ,
,
..................................
ll ln n11 22
+=
ll
ax axb
... ,
++ Ј
,
nm
+Ј
xx x
n12
00 0іі і,,...,
6. Линейное программирование
6.1. Постановка задачи линейного программирования
ассматривается задача оптимизации целевой функции
на допустимом множестве
Р
ция
жество
, линейны относительно переменных
при ограничениях
и система ограничений, определяющих мно-
, причем функ-
:
В условии задачи линейного программирования могут содержаться неравенства и противоположного, чем в (6.2), знака, однако такие неравенства легко сводятся к виду (6.2) умножением на
110
11 1122
ax ax ax b
++
21 1222
...
.........
++
llnn l() ()
+++
11 111
...ax ax ax b
.............................
ax ax ax b
++
mm mn
11 22
...
.
nn
nn
..............
.
(6.1)
,
(6.2)
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]