14. Метод мюллера

1. Идея метода Мюллера

Метод Мюллера — это итерационный численный метод поиска корня уравнения f(x)=0

который является развитием метода секущих.

Метод секущих использует 2 точки → аппроксимация функцией прямой

Метод Мюллера использует 3 точки → аппроксимация функцией параболы

Основная идея:

2. Разделённые разности

Метод Мюллера удобно формулировать через разделённые разности, которые являются дискретными аналогами производных.

2.2 Разделённые разности второго порядка

Это важный момент: метод Мюллера использует информацию о кривизне, в отличие от секущих.

3. Интерполяционная парабола

Парабола, проходящая через три точки, может быть записана в форме Ньютона:

Обозначим:

​

Тогда коэффициенты параболы:

4. Нахождение следующего приближения

5. Выбор знаменателя (Алгоритм 2)

Очень важный момент метода Мюллера.

Чтобы избежать потери точности из-за вычитания близких чисел, выбирают знак так, чтобы модуль знаменателя был максимальным:

Это:

уменьшает численные ошибки

улучшает устойчивость метода

6. Алгоритм метода Мюллера (Алгоритм 1)

8. Сходимость метода Мюллера

Порядок сходимости:

p≈1.84

9. Преимущества и недостатки

Преимущества

Быстрее метода секущих

Не требует вычисления производных

Может находить комплексные корни

Хорошо работает для негладких функций

Недостатки

Нужно решать квадратное уравнение

Возможен переход в комплексную область

Требует трёх начальных приближений

Более сложен в реализации, чем секущие

10. Связь с оптимизацией

В задачах оптимизации метод Мюллера применяется:

для поиска стационарных точек через решение f′(x)=0

как производно-независимый метод

в одномерной оптимизации с сложной формой функции

Фактически:

метод Мюллера — это параболический метод поиска корня, занимающий промежуточное место между секущими и Ньютоном.

14. Обратная параболическая интерполяция

Суперлинейный но меньше квадратичного

Важные моменты для экзамена

Отличие от Мюллера: строим параболу x = P(y), а не y = P(x)

Точка пересечения с осью y=0 → новое приближение

Используется интерполяционный полином Лагранжа через 3 точки

Вторые разности и дискриминант не нужны

Метод можно визуализировать как «обратная парабола», пересекающая ось y=0

14. Градиентный спуск

Линейная сходимость

Для гладкой функции f(x) с липшицевой непрерывной градиентной функцией (т.е. градиент не меняется слишком резко) и выпуклой функции метод градиентного спуска сходится линейно:

Это означает, что ошибка уменьшается примерно пропорционально предыдущей ошибке — медленно по сравнению с методами второго порядка (Ньютон).

Порядок сходимости:

p=1(линейная сходимость)p = 1

Ускорение с помощью метода с моментумом

Если применить модификацию с моментумом, или использовать адаптивный шаг (адаптивный градиент), сходимость может стать суперлинейной, но строго квадратичной она не будет, пока не используем методы второго порядка.

Метод градиентного спуска (Gradient Descent)

Метод градиентного спуска — это базовый численный метод оптимизации, предназначенный для нахождения локальных минимумов функции. Он применяется как в одномерном, так и в многомерном случае.

14. Метод наискорейшего спуска.

14. Демпфированный одномерный ньютон

14. Метод ньютона многомерный

14. Левенберг Марквардт

14. Нестеров Немировский

14. Барзилай Борвейн 1

15. Барзилай Борвейн 2

14. СОПРЯЖЕННЫХ ГРАДИЕНТОВ

25.

26.

27.

6. Интуитивная картинка (как сказать устно)

Коэффициент bk​ определяет, какую часть предыдущего направления стоит сохранить при построении нового направления спуска. Геометрически он отвечает за сопряжённость направлений с учётом кривизны функции и позволяет избежать зигзагообразного движения, характерного для градиентного спуска.

7. Одно предложение для экзамена ⭐

Геометрически коэффициент bk​ определяет степень сохранения предыдущего направления поиска и обеспечивает сопряжённость направлений с учётом кривизны функции, что позволяет методу эффективно двигаться вдоль овражных направлений без вычисления матрицы Гессе.

СРАВНЕНИЕ МЕТОДОВ

Метод	Формула βk	Геометрический смысл βk	Сходимость	Особенности / Применение
Флетчера–Ривса (FR)		Пропорция новых и старых градиентов → учитывает «длину» градиента; корректирует направление поиска в сторону уменьшения функции	Теоретическая глобальная сходимость для выпуклых функций, квадратичная на локальной области	Простой, но может давать малые βk, что иногда замедляет сходимость на негладких функциях
Полака–Рибьера (PR)		Использует изменение градиента → учитывает «поворот» поверхности, более адаптивное направление	Сходимость лучше FR на сильно искривлённых функциях; локальная квадратичная	Часто быстрее FR на Rosenbrock и Himmelblau, может давать отрицательные β → иногда используется βk+ = max(0, βk)
Хестенес–Штифель (HS)		Комбинирует старое направление (p_k) и изменение градиента → геометрически учитывает изгиб траектории	Локальная квадратичная, иногда быстрее FR/PR	Хорошо работает на сильно искривлённых функциях, но требует хранить p_k; может быть нестабилен без рестартов
Дай–Юан (DY)		Использует старое направление p_k для масштабирования нового шага, более «агрессивный» метод	Локальная квадратичная, глобальная сходимость при правильных рестартах	Сильный, иногда лучше HS; может быть слишком большим β → нужен контроль, иначе шаги становятся слишком длинными

28. Армихо

28. DFP

28. BFGS

СРАВНЕНИЕ С ДПФ

28. L-BFGS

28. Метод Доверительных областей

СРАВНЕНИЕ МЕТОДОВ (ПРОВЕРИТЬ)

Одномерная оптимизация:

Метод	Тип задачи	Производные	Порядок сходимости	Число точек	Устойчивость	Комментарий
Дихотомия	минимум	нет	линейная	2	⭐⭐⭐⭐⭐	самый надёжный, но медленный
Трёхточечное деление	минимум	нет	линейная	3	⭐⭐⭐⭐	улучшение дихотомии
Золотое сечение	минимум	нет	линейная (оптимальная)	2	⭐⭐⭐⭐⭐	оптимальный без знания числа шагов
Фибоначчи	минимум	нет	линейная	2	⭐⭐⭐⭐⭐	оптимальный при фиксированном числе шагов
Ньютона	корень / минимум	1–2 производные	квадратичная	1	⭐⭐	очень быстрый, но неустойчив
Секущих	корень	нет	≈1.618	2	⭐⭐⭐	компромисс между скоростью и устойчивостью
Мюллера	корень	нет	>1.618	3	⭐⭐	может сходиться к комплексным корням
Обратная параболическая интерполяция	минимум	нет	сверхлинейная	3	⭐⭐⭐	основа метода Брента