![](/user_photo/2706_HbeT2.jpg)
- •Метод Ньютона
- •Материал из Википедии — свободной энциклопедии
- •[Править] Описание метода [править] Обоснование
- •[Править] Геометрическая интерпретация
- •[Править] Алгоритм
- •[Править] Пример
- •[Править] Условия применения
- •[Править] Контрпримеры
- •[Править] Ограничения
- •[Править] Историческая справка
- •[Править] Обобщения и модификации
- •[Править] Метод одной касательной
- •[Править] Многомерный случай
- •[Править] Применительно к задачам оптимизации
- •[Править] Метод Ньютона — Рафсона
- •[Править] Применительно к задачам о наименьших квадратах
- •[Править] Метод Гаусса — Ньютона
- •[Править] Обобщение на комплексную плоскость
[Править] Обобщения и модификации
Иллюстрация последовательных приближений метода одной касательной, применённого к функции f(x) = ex − 2 с начальным приближением в точке x0 = 1,8.
[Править] Метод одной касательной
В целях уменьшения числа обращений к значениям производной функции применяют так называемый метод одной касательной.
Формула итераций этого метода имеет вид
Суть метода заключается в том, чтобы
вычислять производную лишь один раз, в
точке начального приближения
,
а затем использовать это значение на
каждой последующей итерации:
.
При таком выборе
в
точке
выполнено
равенство
и если отрезок, на котором предполагается
наличие корня
и
выбрано начальное приближение
,
достаточно мал, а производная
непрерывна,
то значение
будет
не сильно отличаться от
и,
следовательно, график
пройдёт
почти горизонтально, пересекая прямую
,
что в свою очередь обеспечит быструю
сходимость
последовательности
точек приближений к корню.
Этот метод можно также рассматривать,
как модернизацию метода
хорд (секущих), где число
следует
выбрать равным
.
[Править] Многомерный случай
Обобщим полученный результат на многомерный случай. Пускай необходимо найти решение системы:
Выбирая некоторое начальное значение
,
последовательные приближения
находят
путём решения систем
уравнений:
,
где
.
[Править] Применительно к задачам оптимизации
Пускай необходимо найти минимум
функции
многих переменных
.
Эта задача равносильна задаче нахождения
нуля градиента
.
Применим изложенный выше метод Ньютона:
,
где
—
гессиан
функции
.
В более удобном итеративном виде это выражение выглядит так:
Следует отметить, что в случае квадратичной функции метод Ньютона находит экстремум за одну итерацию.
Нахождение матрицы Гессе связано с большими вычислительными затратами, и зачастую не представляется возможным. В таких случаях альтернативой могут служить квазиньютоновские методы, в которых приближение матрицы Гессе строится в процессе накопления информации о кривизне функции.
[Править] Метод Ньютона — Рафсона
Метод Ньютона-Рафсона является улучшением метода Ньютона нахождения экстремума, описанного выше. Основное отличие заключается в том, что на очередной итерации каким-либо из методов одномерной оптимизации выбирается оптимальный шаг:
,
где
Для оптимизации вычислений применяют
следующее улучшение: вместо того, чтобы
на каждой итерации заново вычислять
гессиан
целевой
функции, ограничиваются начальным
приближением
и
обновляют его лишь раз в
шагов,
либо не обновляют вовсе.
[Править] Применительно к задачам о наименьших квадратах
На практике часто встречаются задачи, в которых требуется произвести настройку свободных параметров объекта или подогнать математическую модель под реальные данные. В этих случаях появляются задачи о наименьших квадратах:
Эти задачи отличаются особым видом градиента и матрицы Гессе:
где
—
матрица
Якоби вектор-функции
,
—
матрица Гессе для её компоненты
.
Тогда очередное направление
определяется
из системы: