3.6. Овражный метод
•Суть: модификация градиентного метода, использующая память о предыдущем направлении. Пример — метод сопряжённых градиентов:
xk+1 = xk − αk f(xk)+ βk(xk − xk−1).
•Идея: учитывать геометрию “оврага” (вытянутых уровней функции) для ускорения сходимости.
•Сходимость: быстрее линейной, иногда сверхлинейная.
•Для квадратичной функции: сходится за n шагов (в n-мерном пространстве).
•Тип: метод первого порядка, двухшаговый, локальный.
3.7.Симплекс-метод (метод Нелдера–Мида)
•Суть: минимизация без вычисления производных; работает с набором точек, образующих симплекс.
•Операции: отражение, растяжение, сжатие симплекса.
•Преимущества: подходит для негладких и разрывных функций.
•Недостатки: сходимость не гарантирована теоретически.
•Тип: нулевой порядок, многошаговый, нелокальный.
4. Ответы на вопросы классификации
2.1 Классификация по порядку и количеству шагов
|
Метод |
Порядок |
Шагов |
|
|
|
|
|
|
|
Наискорейшего спуска |
Первый |
Одношаговый |
|
|
|
|
|
|
|
С дроблением шага |
Первый |
Одношаговый |
|
|
|
|
|
|
|
Ньютона |
Второй |
Одношаговый |
|
|
|
|
|
|
|
С убыванием длины шага |
Первый |
Одношаговый |
|
|
|
|
|
|
|
Квазиньютоновы |
Второй (аппрокс.) Двухшаговый |
|
|
|
|
|
|
|
|
Овражный |
Первый |
Двухшаговый |
|
|
|
|
|
|
|
|
|
|
|
2.2 Сходимость для квадратичной функции
Метод |
Кол-во шагов до минимума |
|
|
Наискорейшего спуска |
n шагов |
|
|
С дроблением шага |
n шагов |
|
|
Ньютона |
1 шаг |
|
|
3