2.1.2. Метод наискорейшего спуска
Итерационная формула метода имеет вид:
На каждой итерации вычисляется оптимальное значение шага tk:
tk = arg min { ƒ( xk – t*grad ƒ(xk)) : t > 0 }
Т.е. на каждом шаге используется дополнительная процедура одномерной минимизации (поиска точки локального минимума функции одного аргумента).
Характерная черта метода: градиенты функции в соседних точках ортогональны.
Графическая интерпретация:
В начальной точке проводим касательную к линии уровня и делаем шаг оптимальной величины в направлении перпендикуляра к касательной в данной точке. Получив новую точку, повторяем действия и так далее.
Испытание метода
b=0
|
x0 |
(3 , 8) |
(3, 10) |
(10, 20) | |||
|
a |
0.1 |
1 |
0.1 |
1 |
0.1 |
1 |
|
k* |
2 |
4 |
3 |
4 |
1 |
3 |
|
xk* |
(0.000; 0.000) |
(0.000; 0.000) |
(0.000; 0.000) |
(0.000; 0.000) |
(0.000; 0.000) |
(0.000; 0.000) |
|
f(xk*) |
8.100 |
81.000 |
8.100 |
81.000 |
8.100 |
81.000 |
b=3
При а=0.1 происходит колебание координат (x,y) относительно точки минимума в пределах (2.65 ; 2.95) и (0.63 ; 0.75) соответственно.
Итерационный процесс для x0 = (3,10), a =0.1, b=3
|
шаг x1 x2 f 1 2.732433 0.668926 0.02514763 2 2.835986 0.711017 0.02628119 3 2.654681 0.638200 0.03080861 4 2.952306 0.759909 0.03335143 5 2.691258 0.652561 0.02721985 6 2.908598 0.741336 0.03027346 7 2.656590 0.638945 0.03057450 8 2.950504 0.759139 0.03321722 9 2.689673 0.651935 0.02733838 10 2.910908 0.742311 0.03042599 11 2.658094 0.639533 0.03039377 12 2.949048 0.758517 0.03310919 13 2.688397 0.651432 0.02743617 14 2.912742 0.743086 0.03054793 15 2.659326 0.640014 0.03024838 16 2.947834 0.757998 0.03301937 17 2.687336 0.651013 0.02751897 18 2.914246 0.743722 0.03064855 19 2.660360 0.640418 0.03012802 20 2.946798 0.757555 0.03294294 |
При а=1 происходит колебание координат (x,y) относительно точки минимума в пределах (2.53 ; 2.60) и (0.58 ; 0.62) соответственно.
Итерационный процесс для x0=(3,8), a=1, b=3:
|
шаг x1 x2 f 1 2.732475 0.668943 0.20536462 2 2.527115 0.589396 0.17068453 3 2.606050 0.619360 0.17124034 4 2.529027 0.590113 0.17046878 5 2.603553 0.618401 0.17094708 6 2.530544 0.590682 0.17030645 7 2.601591 0.617647 0.17072841 8 2.531779 0.591146 0.17017981 9 2.600005 0.617039 0.17055912 10 2.532808 0.591532 0.17007831 11 2.598693 0.616535 0.17042430 12 2.533677 0.591859 0.16999519 13 2.597590 0.616112 0.17031452 14 2.534422 0.592138 0.16992598 15 2.596649 0.615752 0.17022353 16 2.535067 0.592381 0.16986753 17 2.595837 0.615441 0.17014700 18 2.535631 0.592593 0.16981759 19 2.595131 0.615170 0.17008187 20 2.536127 0.592779 0.16977451 |
2.1.3. Mетод Ньютона с одномерной минимизацией