lectures / MetSunTaOpt_Rozdil_2012_4
.pdf
Розділ 5. Градієнтні методи
До методів першого порядку відносяться алгоритми, в яких в процесі пошуку окрім інформації про саму функцію використовується інформація про похідні першого порядку. До групи таких методів належать різні
градієнтні методи. |
|
|
|
|
|
|
|
|
|
|
|||||
|
f |
|
f x1, x2 ,..., xn , |
|
|
|
|
||||||||
1. |
x |
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
f x , |
f x ,..., |
f x |
||||||||
|
|
|
|
|
|||||||||||
2. |
f x |
. |
|||||||||||||
|
|
|
|
|
|
x1 |
x2 |
xn |
|
||||||
|
|
|
|
|
|
|
|||||||||
Теслюк В.М. Розділ 5: Градієнтні методи. Методи першого порядку |
1 |
|
Градієнтні методи
1.Метод градієнтного спуску.
2.Метод найшвидшого спуску.
3.Метод спряжених градієнтів (Флетчера-Рівса).
4.Метод Полока-Риб’єра.
Теслюк В.М. Розділ 5: Градієнтні методи. Методи першого порядку |
2 |
|
Загальна характеристика градієнтних методів
x (k 1) x (k ) (k ) s(x (k ) ) ,
Теслюк В.М. Розділ 5: Градієнтні методи. Методи першого порядку |
3 |
|
Метод градієнтного спуску
x(k 1) x(k ) f (x(k ) ) ,
- заданий додатній коефіцієнт;
f (x(k ) ) - градієнт ЦФ.
Теслюк В.М. Розділ 5: Градієнтні методи. Методи першого порядку |
4 |
|
Метод градієнтного спуску.
Алгоритм
Теслюк В.М. Розділ 5: Градієнтні методи. Методи першого порядку |
5 |
|
Метод градієнтного спуску.
Приклади 5.1 та 5.2
→
Теслюк В.М. Розділ 5: Градієнтні методи. Методи першого порядку |
6 |
|
Метод градієнтного спуску.
Приклад 5.3
f (x) 8x12 4x1 x2 |
5x22 |
x (0) |
[10,10]T |
|
|
|
|
|
|
|
|||||||||
f |
|
|
|
f |
|
|
|
|
|
(1) |
|
(0) |
|
|
(0) |
|
(0) |
|
|
|
|
16x1 4x2 |
|
|
10x2 4x1 |
x |
x |
|
f (x |
) |
|||||||||
x |
|
|
|
|
|
|
|
|
|||||||||||
1 |
|
x |
2 |
|
|
|
|
||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
k |
|
x1(k ) |
|
|
|
x (k ) |
|
|
f (x (k ) ) |
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
-1.2403 |
|
|
1.1118 |
|
|
24.2300 |
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
2 |
|
0.1441 |
|
|
0.1447 |
|
|
|
0.3540 |
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
3 |
|
-0.0181 |
|
|
0.0309 |
|
|
|
0.0052 |
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
4 |
|
0.0021 |
|
|
0.0021 |
|
|
|
0.0000 |
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Теслюк В.М. Розділ 5: Градієнтні методи. Методи першого порядку |
7 |
|
Недоліки методу
Метод має два недоліки.
1. Виникає необхідність вибору хорошого значення .
2.Метод має повільну збіжність до точки мінімуму внаслідок малоf в околі цієї точки.
Теслюк В.М. Розділ 5: Градієнтні методи. Методи першого порядку |
8 |
|
Метод найшвидшого спуску
(метод Коші)
У цьому методі відсутній перший недолік.
f ' ( X K 1 )2 || f ' ( X K 1 ) ||
Теслюк В.М. Розділ 5: Градієнтні методи. Методи першого порядку |
9 |
|
Особливості розв’язання задачі від величини кроку
При великому значенні λ траєкторія спуску буде являти собою коливальний процес, а при дуже великих λ процес може розходитися. При виборі малих λ траєкторія спуску буде плавною, але і процес буде сходитися дуже повільно.
Теслюк В.М. Розділ 5: Градієнтні методи. Методи першого порядку 10