Расширенный конспект по методам минимизации функций

1. Общая классификация методов минимизации

Методы минимизации функций можно классифицировать по следующим критериям:

2. Классификация основных методов

3. Подробное описание методов

3.1.Метод наискорейшего спуска

•Суть: движение вдоль антиградиента функции в направлении наибыстрейшего убывания.

•Формула: xk+1 = xk − αk f(xk) , где αk = argminα f(xk − α f(xk)) .

1

•Сходимость: линейная; сильно зависит от числа обусловленности матрицы Гессе.

•Для квадратичной функции: не сходится за один шаг, требует n шагов (в n-мерном пространстве).

•Тип: метод первого порядка, одношаговый, локальный.

3.2.Метод с дроблением шага

•Суть: шаг αk выбирается адаптивно — уменьшается до тех пор, пока не выполнено условие уменьшения функции:

f(xk − αk f(xk)) < f(xk) − cαk f(xk) 2.

•Преимущества: автоматическая стабилизация сходимости.

•Сходимость: линейная, гарантируется для сильно выпуклых функций.

•Для квадратичной функции: не сходится за один шаг.

•Тип: первый порядок, одношаговый, локальный.

3.3.Метод с убыванием длины шага

•Суть: шаг αk заранее уменьшается по закону: αk = k+1c .

•Преимущества: обеспечивает сходимость даже при плохом начальном приближении.

•Недостатки: медленная сходимость.

•Для квадратичной функции: требует n и более шагов.

•Тип: первый порядок, одношаговый, локальный.

3.4.Метод Ньютона

•Суть: использует вторую производную для учёта кривизны поверхности функции:

xk+1 = xk − [ 2f(xk)]−1 f(xk).

•Преимущества: очень высокая скорость сходимости (квадратичная).

•Недостатки: вычислительно затратен (нужно обращать матрицу Гессе).

•Для квадратичной функции: сходится за один шаг (если начальная точка не слишком далека от минимума).

•Тип: второй порядок, одношаговый, локальный.

3.5.Квазиньютоновы методы

•Суть: аппроксимируют обратную матрицу Гессе, обновляя её итерационно:

Bk+1 = Bk + Bk, xk+1 = xk − Bk f(xk).

•Преимущества: избегают прямого вычисления H−1 , приближаясь к методу Ньютона.

•Сходимость: сверхлинейная.

•Для квадратичной функции: сходятся за n шагов (при идеальной аппроксимации Гессе).

•Тип: второй порядок (приближённо), двухшаговый (зависит от текущего и предыдущего приближения), локальный.

2