; 2.4 в результате получим линейку взаимно сопряженных направлений:
и если выполнить n+1 последовательных шагов, то в результате этой работы с гарантией
получим точку |
. |
|
2.5 На k-той итерации в результате вычеркиваем из текущей линейки направлений |
и |
|
в конец дописываем 
, переходим к k+1 итерации.
Метод имеет суперлинейную скорость сходимости, для сложных функций бесконечношаговый и после n-итераций начинает работу заново (для положительно определенной матрицы Гессе)
20. Градиентные методы:с постоянным шагом,с дроблением шага.
Градиентный метод с постоянным шагом
- длина шагов (постоянная)
Рассмотрим:
(1) 
, то метод сходится
(2)если 
, то процесс расходится
(3)если 
, то процесс зацикливается
Градиентный метод c дроблением шага
на каждой итерации проверяем: 
каждое следующее значение функции меньше либо равно предыдущему:
Алгоритм:
1. |
Выбираем начальную точку , задаем |
2. |
Работаем по формуле (1) и проверяем выполнение условия (2): если условие |
|
выполняется, то повторяем шаг. Если условие не выполняется, то уменьшаем , чтобы |
|
оно выполнялось и снова повторяем шаг. |
Если ′( ) является функцией, удовлетворяющей условию Лифшица, т.е. существует
действительное число R, когда выполняется 
для всех 
,
тогда 
Если М – является оценкой сверху максимального собственного значения матрицы 
, то
.