Метод ньютона, метод секущих Метод Ньютона
Минимизацию функции f (x) можно свести к задаче поиска нуля функции g(x) = f r(x).
x∗ : g(x∗) = 0.
Необходимо убедиться в том, что это действительно минимум, например, проверить
f rr(x∗) > 0.
Напишем уравнение касательной в точке x0: - ряд тейлора при разложении g(x) в точке х0
y = g(x0) + g’(x0)(x − x0).
Найдем пересечение касательной с нулем:
0 = g(x0) + g’(x0)(x1 − x0),
отсюда:
Если найдем пересечение касательной с нулем построенной точке х1, затем х2, то можем построить последовательность {xn} → x∗ : g(x∗) = 0, если x0 ∈ Br(x∗). приближение в некоторой окрестности.
Алгоритм 1: Метод Ньютона
Рассмотрим оптимизацию функции
f (x) = x2 − 10 cos(0.3πx) − 20
на интервале [−2; 7]. Начальную точку возьмем x0 = 1.3. Пример его работы показан на рисунке 1.
Преимущества и недостатки метода Ньютона:
1
.
Быстрая
(квадратичная) сходимость
к
стационарной
точке
x∗:
|x∗ − xn| ≤ α|x∗ − xn—1|2, где α – некоторая положительная константа. Расстояние от точки экстремума до новой найденной точки меньше чем расстояние до предыдущей найденной точки в квадрате.
2. Необходимость вычисления второй производной минимизируемой функции.
3. Сложность задания начального приближения x0 в малой окрестности искомого минимума x∗.
Если выбрать начальную точку неудачно, то можно получить решение, не сходящееся к минимуму, как показано на рисунке 2.
Метод секущих
Метод
секущих
предлагает
заменить
вторую
производную
в
ньютоновской
формуле
её
линейной
аппроксимацией
Тем
самым
Можно показать, что xk+1 – точка пересечения с осью абсцисс секущей прямой, проходящей через точки xk и xk—1.
А
лгоритм
2: Метод
секущих
Рассмотрим поиск минимума функции
f (x) = x2 − 10 cos(0.3πx) − 20
на интервале [−2; 5]. Пример работы метода секущих показан на рисунке 3.
Преимущества и недостатки метода секущих:
1. В отличие от метода Ньютона, метод секущих гарантирует сходимость точек xk к стационарной точке x∗.
2. Сходимость метода достигается ценой потери быстродействия. Как правило, метод дихотомии оказывается эффективнее метода секущих.
Вопросы для самопроверки
1. Почему метод секущих медленнее метода Ньютона?
2. Почему метод дихотомии часто оказывается быстрее метода секущих?
Метод Мюллера
Метод Мюллера основан на методе секущих, когда используются не две, а три опорные точки, и строятся секущие параболы. В качестве следующего приближения берется точка пересечения параболы и оси x. Перед тем, как дать описание этого метода, введем понятие разделенных разностей.
Разделенные
разности
первого
порядка:
если разность в знаменателе стремится
к нулю то разделение к первой производной.
Разделенные
разности
второго
порядка:
если
разность в знаменателе стремится к нулю
то разделение ко втрой производной.
Парабола через три точки может быть записана с помощью разделенных разностей:
Где
Точки пересечения параболы с осью абсцисс:
Алгоритм 1: Метод Мюллера
Алгоритм 2: Выбор знаменателя в методе Мюллера
Рассмотрим оптимизацию функции f(x) = x2 − 10 cos(0.3pix) − 20 на интервале [−2; 5]. Пример работы метода Мюллера показан на рисунке 1.
Преимущества и недостатки метода Мюллера:
1. Сходимость метода больше, чем у метода секущих, но меньше, чем у метода Ньютона.
2. Необходимо решать квадратное уравнение и искать квадратный корень.
3. Приближение xk+1 может быть комплексным числом, даже если все предыдущие приближения были вещественными.
Метод обратной параболической интерполяции
Аппроксимируем параболой не функцию y = g(x), а функцию x = g−1(y).
Тогда точка пересечения приближенной параболы P (y) c осью абсцисс дает искомую точку xk+1. Будем искать параболическую аппроксимации функции g−1(y) с помощью интерполяционного полинома Лагранжа.
В первом случае - Мюллер, во втором Лагранж.
Полином Лагранжа для x = (f ‘ )−1(y) записывается в виде:
На очередной итерации находим точку по формуле x(n+1) = P (0):
То есть просто подставили ноль вместо у в первой формуле.
В остальном – метод полностью аналогичен методу Мюллера. Рассмотрим оптимизацию функции
f(x) = x2 − 10 cos(0.3pix) − 20
на интервале [−2; 1]. Пример работы метода обратной параболической интерполяции показан на рисунке 2.
Сошлось примерно за столько же итераций, за сколько и метод мюллера.
Преимущества и недостатки метода обратной параболической интерполяции:
1. Метод ищет только вещественные корни полинома P (y). Находим только 1 корень.
2. Сходимость метода больше, чем у метода секущих, но меньше, чем у метода Ньютона.
3. Если функция недостаточно гладкая или начальные точки выбраны неудачно, метод может не сойтись.
Метод Брента-Деккера
Метод Брента-Деккера объединяет в себе методы дихотомии, секущих и обратной параболической интерполяции для наискорейшего поиска стационарной точки.
Алгоритм 3: Метод Брента-Деккера
Условия достаточности изменения b для данной точности betta:
1. Если на предыдущем шаге использовался метод дихотомии, критерий достаточного изменения b:
2. Если на предыдущем шаге использовался один из методов интерполяции, критерий достаточного изменения b:
Вопросы для самопроверки
1. Почему в методе Брента-Деккера используется обратная, а не прямая интерполяция параболами?
2. Можно ли использовать методы параболической интерполяции в случае функций векторного переменного? Если да, то как?