3. Метод Ньютона-Рафсона

Усовершенствованием метода Ньютона является использование процедуры определения шага при использовании Ньютоновского напрвавления:

Такой метод называется методом Ньютона-Рафсона и сходится независимо от выбора начальной точки с квадратичной скоростью.

4. Метод Марквардта

Альтернативой методу Ньютона является метод Марквардта, который основан на введении в квадратичную модель дополнительного члена для учета членов разложения Тейлора более высоких порядков. Итерационная формула метода Марквардта выглядит следующим образом:

,

Где ,k=0,1,2,… последовательность положительных чисел таких, что матрицаположительно определена. Как правило, числоназначается на порядок больше, чем самый большой элемент матрицы, а в ряде стандартных программ полагается.

Алгоритм метода Марквардта выглядит следующим образом:

1. Задать,,- предельное число итераций,.

2. 

3. Вычислить

4. Проверить условия остановки. Если хотя бы одно условие остановки выполняется, то оптимум найден

5. Вычислить

6. Вычислить

7. Вычислить

8. Вычислить

9. Вычислить

10. Проверить выполнение условия :

    1. Если условие выполняется, то перейти к шагу 11

    2. Если условие не выполняется, то перейти к шагу 12

11. , , переход к шагу 3.

12. , переход к шагу 6.

В окрестностях точки оптимума метод Марквардта обладает скоростью сходимости близкой к квадратичной.

4. Методы переменной метрики (квазиньютоновские методы)

   1. Соотношение секущих

Предположим, что матрица Гессе неизвестна, тогда можно использовать ее аппроксимацию Н^(k). Тогда квадратичная модель функции имеет вид:

.

.

Получаем следующую формулу расчета направления:

.

Тогда итерационная формула имеет вид:

.

При условии, что получаем:

.

Или

Обозначим и. Тогда соотношение секущих (квазиньютоновское условие) для оптимизации функции многих переменных имеет вид:

Для обеспечения сходимости метода матрица должна быть симметричной и положительно определенной.

Способы пересчета H^(k+1)породили ряд методов, которые называются квазиньютоновскими методами или методами переменной метрики.

Наиболее эффективными из этих методов являются метод BFGSиDFP.

2. Метод bfgs

В методе BFGSиспользуется следующая формула пересчета матрицы:

Эта формула гарантирует симметричность и положительную определенность матрицы на каждом шаге алгоритма. Формула называется формулой BFGS- Бройдена-Флетчера-Гольдфарба-Шанно.

На первой итерации матрица выбирается единичной матрицей.

3. Метод dfp

В методе DFPвычисляется не аппроксимацияматрицы, а сразу аппроксимацияматрицы, а формулаDFP(Давидона-Флетчера-Пауэлла) имеет вид:

.

Формула DFPпри аналитическом вычислении шага поискаобеспечивает сходимость метода для квадратичных функций не более чем зашагов. Для неквадратичных функций сходимость метода зависит от точности решения задачи вычисления шага поиска.

Методы BFGSиDFPобладают сверхлинейной скоростью сходимости близкой к квадратичной.