3. Краткое описание и сравнение

🔹 Дихотомия

Делит отрезок пополам

Требует унимодальности

Очень устойчива

Медленная

Используется как базовый эталон надёжности

🔹 Трёхточечное деление

Проверяются 3 точки

Быстрее дихотомии

Всё ещё линейная сходимость

Улучшение дихотомии без усложнения

🔹 Золотое сечение

Использует постоянное отношение:​

Минимизирует число вычислений функции

Не требует знания числа шагов

Самый популярный метод без производных

🔹 Фибоначчи

Похож на золотое сечение

Требует заранее знать число итераций

Немного эффективнее золотого сечения

Используется в теории оптимальности

🔹 Метод Ньютона

Использует первую и вторую производные

Квадратичная сходимость

Может расходиться

Самый быстрый при хорошем начальном приближении

🔹 Метод секущих

Аппроксимирует производную разностью

Не требует вычисления производной

Сверхлинейная сходимость

Компромисс между скоростью и устойчивостью

🔹 Метод Мюллера

Интерполяция параболой

Использует 3 точки

Может находить комплексные корни

Мощный, но нестабильный

🔹 Обратная параболическая интерполяция

Интерполируется x(f), а не f(x)

Быстрая сходимость

Может быть неустойчивой

Основной компонент метода Брента

ПРО СХОДИМОСТИ

1. Линейная сходимость (p=1)

Определение: Ошибка уменьшается в постоянное число раз на каждой итерации:

text

|e_{k+1}| ≈ C * |e_k|, где 0 < C < 1

Пример: Метод дихотомии, золотого сечения, Фибоначчи

Дихотомия: C = 0.5 (интервал сокращается вдвое)

Золотое сечение: C ≈ 0.618

Каждая итерация дает фиксированный процент улучшения

Графически:

text

Итерация: 1 2 3 4 5

Ошибка: 1 → 0.5 → 0.25 → 0.125 → 0.0625

(каждый шаг: ×0.5)

2. Сверхлинейная сходимость (1 < p < 2)

Определение: Скорость лучше линейной, но хуже квадратичной:

text

|e_{k+1}| ≈ C * |e_k|^p, где 1 < p < 2

Примеры:

Метод секущих: p ≈ 1.618 (золотое сечение!)

Метод Мюллера: p ≈ 1.84

Метод обратной квадратичной интерполяции: p ≈ 1.839

Особенность: С каждой итерацией скорость увеличивается (C не постоянна)

Графически:

text

Итерация: 1 2 3 4

Ошибка: 1 → 0.3 → 0.05 → 0.0005

(ускорение с каждой итерацией)

3. Квадратичная сходимость (p=2)

Определение: Число верных знаков удваивается на каждой итерации:

text

|e_{k+1}| ≈ C * |e_k|²

Пример: Метод Ньютона (вблизи корня)

Ключевое свойство: Если в ошибке k верных знаков, то на следующей итерации будет ~2k верных знаков.

Пример для корня x=1.41421356 (√2):

text

Итерация 0: x₀ = 1.0 (0 верных знаков)

Итерация 1: x₁ = 1.5 (1 верный знак: "1.")

Итерация 2: x₂ = 1.41666667 (3 верных знака: "1.41")

Итерация 3: x₃ = 1.41421569 (6 верных знаков: "1.41421")

Итерация 4: x₄ = 1.41421356 (9 верных знаков)

МНОГОМЕРНАЯ ОПТИМИЗАЦИЯ

Сводная таблица

Метод	Тип	Требует гессиан	Порядок сходимости	Память	Надежность	Особенности
Градиентный спуск	1-го порядка	Нет	Линейная	O(n)	Высокая	Базовый метод
Наискорейший спуск	1-го порядка	Нет	Линейная	O(n)	Высокая	С линейным поиском
Ньютона	2-го порядка	Да (явно)	Квадратичная	O(n²)	Низкая	Локальный, быстрый
Левенберга-Марквардта	2-го порядка	Да/Нет	Сверхлинейная	O(n²)	Средняя	Для задач МНК
Нестерова-Немировского	1-го порядка	Нет	Ускоренная	O(n)	Высокая	Оптимальный градиентный
Барзилая-Борвейна 1	Квази-Ньютон	Нет	Сверхлинейная	O(n)	Средняя	Простой квази-Ньютон
Барзилая-Борвейна 2	Квази-Ньютон	Нет	Сверхлинейная	O(n)	Средняя	Модификация BB1
Флетчера-Ривса	Сопряжённые градиенты	Нет	Линейная/сверхл.	O(n)	Средняя	Для квадратичных
Полака-Рибьера	Сопряжённые градиенты	Нет	Линейная/сверхл.	O(n)	Средняя	Улучшение FR
Хестенеса-Штифеля	Сопряжённые градиенты	Нет	Линейная	O(n)	Средняя	Теоретически точный
Дая-Юана	Сопряжённые градиенты	Нет	Сверхлинейная	O(n)	Средняя	Надежный CG
Армихо	Линейный поиск	Нет	-	O(n)	Высокая	Критерий для шага
DFP	Квази-Ньютон	Нет	Сверхлинейная	O(n²)	Средняя	Первый квази-Ньютон
BFGS	Квази-Ньютон	Нет	Сверхлинейная	O(n²)	Высокая	Самый популярный
L-BFGS	Квази-Ньютон	Нет	Сверхлинейная	O(m·n)	Высокая	Экономная память
Доверительных областей	2-го порядка	Да/Нет	Квадратичная	O(n²)	Высокая	Самый надежный