lectures / MetSunTaOpt_Rozdil_2012_4
.pdf
Метод найшвидшого спуску.
Алгоритм
Почати з точки
xi i 0
|
|
|
|
Прийняти di g xi |
||||
|
|
|
|
|||||
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
Знайти значення i, |
||||
|
|
|
|
що мінімізує функцію |
||||
|
|
|
|
f xi di |
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Прийняти i i 1 |
|
|
Прийняти |
|||||
|
|
xi 1 |
|
xi |
i di |
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Ні |
|
Точка xi 1 |
|||||
|
|
|
|
|||||
|
|
|
|
- точка оптимуму? |
||||
|
|
|
|
|
|
|
|
Так |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
||||
|
|
|
|
Прийняти x* xi 1 |
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Стоп |
|||
Теслюк В.М. Розділ 5: Градієнтні методи. Методи першого порядку 11
Метод найшвидшого спуску.
Приклад 5.4
Теслюк В.М. Розділ 5: Градієнтні методи. Методи першого порядку 12
Метод найшвидшого спуску.
Приклад
Теслюк В.М. Розділ 5: Градієнтні методи. Методи першого порядку 13
Метод найшвидшого спуску.
Висновок
Алгоритм характеризується низькою сходимістю при розв’язанні практичних задач, оскільки значення градієнта, в області, наближається до нуля.
Тому цей метод досить часто використовується на початкових етапах пошуку оптимуму.
14
Метод сряжених градієнтів
(Флетчера-Рівса)
Загальний підхід
X |
( K 1) |
X |
( K ) |
|
( K ) |
S(X |
( K ) |
) |
||
|
|
|
|
|
, |
|||||
|
|
K 1 |
|
|
|
|
|
|
|
|
S ( K ) g ( K ) (i) s(i), |
S (0) |
g (0) , |
|
|
||||||
|
|
i 0 |
|
|
|
|
|
|
|
|
g ( K ) f ( X ( K ) ) , |
(i) ,i 1,2,3...K 1 . |
|
|
|||||||
Запропонував Флетчер і Рівс
S ( K ) g ( K ) [|| g ( K ) ||2 / || g ( K 1) ||2 ]S ( K 1) .
Теслюк В.М. Розділ 5: Градієнтні методи. Методи першого порядку 15
Блок-схема програмної реалізації методу Флетчера-Рівса
|
|
|
|
|
Почати з точки |
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
xi i 1 |
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
Покласти di gi |
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
Знайти значення i, |
|
|
|
|
|
||||||||||
|
|
|
що мінімізує функцію |
|
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|||||||||||
|
|
|
|
|
f xi di |
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Покласти |
|
|
|
|
|
|
|||||||
|
|
|
|
|
xi 1 xi |
|
i di |
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Стоп |
Так |
|
Точка xi 1 |
|
|
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|||||||||
|
|
|
|
- точка мінімуму? |
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
Ні |
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Так |
|
|
|
|
|
|
|
|
i n ? |
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
i 1 |
||||||||
|
|
|
|
|
|
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
Ні |
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Покласти |
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
g 2 |
|
|
|
|
|
|
|
|
|
|
d |
|
|
g |
|
|
|
|
i 1 |
|
d |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
i 1 |
|
|
i 1 |
|
gi2 |
|
i |
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Покласти |
i i 1 |
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Теслюк В.М. Розділ 5: Градієнтні методи. Методи першого порядку 16
Метод Флетчера-Рівса.
Приклад 5.5
Теслюк В.М. Розділ 5: Градієнтні методи. Методи першого порядку 17
Метод Полака-Риб’єра
X ( K 1) X (K ) ( K ) S (K ) |
, |
||
S(X ( K ) ) f (X ( K ) ) ( K ) S(X ( K 1) ) , |
|
||
|
g( X ( K ) )T g( X ( K ) ) |
, |
|
|| g( X ( K 1) ) ||T |
|
||
|
|
||
g(X ( K ) ) g(X ( K ) ) g(X (K 1) ) .
Теслюк В.М. Розділ 5: Градієнтні методи. Методи першого порядку |
18 |
|
Висновки
Цей метод є одним з найефективніших серед градієнтних методів і, відповідно, найчастіше використовується для розв’язання оптимізаційних задач.
19
Методи другого порядку
До методів другого порядку відносять методи, які в процесі пошуку оптимуму використовують інформацію про цільову функцію, її першу та другу похідні, а саме:
|
f |
|
f x1, x2 ,..., xn , |
|
|
|
|
|
||||||||
1. |
x |
|
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
f x , |
f x ,..., |
f x |
|
||||||||
|
|
|
|
|
|
|||||||||||
2. |
f x |
|
, |
|||||||||||||
|
|
|
|
|
|
x1 |
x2 |
xn |
|
|
||||||
|
|
|
|
|
|
|
|
|||||||||
Теслюк В.М. Розділ 5: Градієнтні методи. Методи другого порядку |
20 |
|