lectures / MetSunTaOpt_Rozdil_2012_4
.pdf
Методи другого порядку
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
f |
|
|
|
|
|
|
f |
|
|
|
|
|||||
|
|
|
x |
, |
x |
|||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
x1 x1 |
x1 x2 |
||||||||||||||||
3. 2 f |
|
H |
|
. |
||||||||||||||||
x |
|
|||||||||||||||||||
|
|
|
|
f |
|
x |
|
|
|
f |
|
x |
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
, |
|
|
|
|
|
|
|
|
|
|
|
|
x x |
|
x x |
|||||||||||||||
|
|
|
|
|
|
|
||||||||||||||
|
|
|
2 |
1 |
|
2 |
2 |
|||||||||||||
|
|
|
|
|
|
|||||||||||||||
Називають матрицею Гессе
Теслюк В.М. Розділ 5: Градієнтні методи. Методи другого порядку |
21 |
|
Метод Ньютона
f (x) f (x (k ) ) f (x (k ) )T x 1/ 2 xT (2) f (x (k ) ) x O( x (2) )
~ |
(k ) |
) |
f (x |
(k ) |
) f (x |
(k ) |
) |
T |
x 1/ 2 x |
T |
|
(2) |
f (x |
(k ) |
) x |
|||||
f (x; x |
|
|
|
|
|
|
|
|
||||||||||||
~ |
|
(k ) |
) f (x |
(k ) |
) x |
(2) |
f (x |
(k ) |
) x 0 |
|
|
|
|
|||||||
f (x; x |
|
|
|
|
|
|
|
|
|
|
||||||||||
x ( 2) f (x( k ) ) 1 f (x( k ) ) |
|
|
|
|
|
|
|
|
|
|
||||||||||
x(k 1) |
x(k ) (2) f (x(k ) ) 1 f (x(k ) ) |
|||||||||||||||||||
Теслюк В.М. Розділ 5: Градієнтні методи. Методи другого порядку |
22 |
|
Метод Ньютона
f (x) |
|
f (xk ) |
|
f |
(xk ) x |
|
1 |
|
x2 f |
(xk ) |
( x3 ) |
|||||||
|
|
|
||||||||||||||||
|
|
|
||||||||||||||||
|
|
|
|
|
|
|
|
2 |
|
|
|
|
||||||
xk 1 xk x |
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
f (xk ) x |
|
f (xk ) |
|
0 |
|
x |
|
|
|
f (xk ) |
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
f (xk ) |
|
|
|||||||||||
|
|
|
|
|
|
|
|
f |
|
|
|
|
k |
) |
|
|
|
|
xk 1 |
xk |
|
|
|
(x |
|
|
, k 0,1,... |
||||||||||
|
f |
|
|
|
|
k |
) |
|
||||||||||
|
|
|
|
|
|
|
|
|
(x |
|
|
|
|
|||||
Відмітимо, що метод Ньютона не завжди монотонно спадає.
Цей недолік усунутий в модифікованому методі Ньютона
Теслюк В.М. Розділ 5: Градієнтні методи. Методи другого порядку |
23 |
|
Метод Ньютона.
Приклад 5.6
f (x) 8x12 |
4x1 x2 |
|
5x22 , x (0) |
[10,10]T , |
|||||
f (x) [16x1 |
4x2 |
,10x2 |
4x1 ]T , |
|
|||||
|
(2) |
|
|
16 |
4 |
|
|
|
|
|
f (x) H |
|
|
|
, |
|
|||
|
|
|
|
|
|||||
|
|
|
|
4 |
10 |
|
|
|
|
|
(1) |
|
T |
|
1 |
|
10 |
4 |
|
T |
|
|||
x |
|
[10,10] |
|
|
|
|
|
|
|
[200,140] |
|
, |
||
|
|
144 |
|
|
||||||||||
|
|
|
|
|
|
4 |
16 |
|
|
|
||||
x (1) |
[10,10]T |
|
|
1 |
|
[1440,1440]T |
[0,0]T |
, |
||||||
144 |
||||||||||||||
|
|
|
|
|
|
|
|
|
|
|||||
що відповідає точному розв’язку оптимізаційної задачі.
Таким чином, задача мінімізації квадратичної функції розв’язується з допомогою однієї ітерації по методу Ньютона (при довільній початковій то
Теслюк В.М. Розділ 5: Градієнтні методи. Методи другого порядку |
24 |
|
Модифікований метод Ньютона
xk 1 xk k [ f (xk )] 1 f (xk )
k - визначається на кожному кроці з умови щоб виконувалась умова
f (x (k 1) ) f (x (k ) )
Теслюк В.М. Розділ 5: Градієнтні методи. Методи другого порядку |
25 |
|
Знаходження оберненої матриці
(1)
A 1 A AA 1 I |
1 0 |
0 |
|
|
I 0 |
1 |
0 |
det A 0 |
|
|
|
0 |
0 |
1 |
|
|
|
|
|
a11 |
a12 |
a13 |
|
|
|
b11 |
b12 |
b13 |
|
|||
|
|
|
|
|
|
|
|
1 |
|
|
|
|
A a21 |
a22 |
a23 |
A |
|
b21 |
b22 |
b23 |
|||||
a |
31 |
a |
32 |
a |
33 |
|
|
|
b |
b |
b |
|
|
|
|
|
|
|
31 |
32 |
33 |
|
|||
Теслюк В.М. Розділ 5: Градієнтні методи. Методи другого порядку |
26 |
|
Знаходження оберненої матриці
(2)
b11 |
b12 |
b13 |
a11 |
a12 |
a13 |
|
|
A 1 A b21 |
b22 |
b23 |
a21 |
a22 |
a23 |
|
|
|
|
|
|
|
|
|
|
b31 |
b32 |
b33 |
a31 |
a32 |
a33 |
|
|
|
|
|
|
|
|
|
|
b11a11 b12a21 b13a31
b21a11 b22a21 b23a31
b a b a b a
31 11 32 21 33 31
b11a12 b12a22 b13a32 b21a12 b22a22 b23a32 b31a12 b32a22 b33a32
b11a13 b12a23 b21a13 b22a23 b31a13 b32a23
b13a33 |
|
1 |
b23a33 |
|
0 |
|
|
|
b33a33 |
|
0 |
|
|
|
0 0
1 0
0 1
b11a11 |
b12a21 |
b13a31 |
1 |
b11 |
(a22a33 |
a32a23 ) / det A |
b11a12 |
b12a22 |
b13a32 |
0 |
b12 |
(a32a13 |
a12a33 ) / det A |
b11a13 |
b12a23 |
b13a33 |
0 |
b13 |
(a12a23 |
a22a13 ) / det A |
det A a11(a22a33 a32a23 ) a21(a12a33 a13a32 ) a31(a12a23 a13a22 )
Теслюк В.М. Розділ 5: Градієнтні методи. Методи другого порядку |
27 |
|
Метод Ньютона.
Алгоритм
Теслюк В.М. Розділ 5: Градієнтні методи. Методи другого порядку |
28 |
|
Метод Ньютона.
Приклад 5.7
Теслюк В.М. Розділ 5: Градієнтні методи. Методи другого порядку |
29 |
|
Висновки
У випадках, коли обчислення перших і других похідних не пов’язано з суттєвими труднощами, виявляється надійним і ефективним. Однак, при використанні модифікованого методу Ньютона на кожній ітерації виникає необхідність побудови і розв’язку лінійного
рівняння, яке містить елементиf (x) |
матриці Гессе |
. |
2 |
|
|
Теслюк В.М. Розділ 5: Градієнтні методи. Методи другого порядку |
30 |
|