Метод секущих

Чтобы избежать вычисления производной, метод Ньютона можно упростить, заменив производную на приближенное значение, вычисленное по двум предыдущим точкам:

/

Итерационный процесс имеет вид:

где   .

Это двухшаговый итерационный процесс, поскольку использует для нахождения последующего приближения два предыдущих.

Порядок сходимости метода секущих ниже, чем у метода касательных и равен в случае однократного корня  .

Эта замечательная величина называется золотым сечением:

Убедимся в этом, считая для удобства, что  .

Таким образом, с точностью до бесконечно малых более высокого порядка

Отбрасывая остаточный член, получаем рекуррентное соотношение, решение которого естественно искать в виде  .

После подстановки имеем:   и 

Для сходимости необходимо, чтобы   было положительным, поэтому  .

Поскольку знание производной не требуется, то при том же объёме вычислений в методе секущих (несмотря на меньший порядок сходимости) можно добиться большей точности, чем в методе касательных.

Отметим, что вблизи корня приходится делить на малое число, и это приводит к потере точности (особенно в случае кратных корней), поэтому, выбрав относительно малое  , выполняют вычисления до выполнения   и продолжают их пока модуль разности соседних приближений убывает.

Как только начнется рост, вычисления прекращают и последнюю итерацию не используют.

Такая процедура определения момента окончания итераций называется приемом Гарвика.

Метод парабол

Рассмотрим трехшаговый метод, в котором приближение   определяется по трем предыдущим точкам   ,   и  .

Для этого заменим, аналогично методу секущих, функцию   интерполяционной параболой проходящей через точки  ,   и .

В форме Ньютона она имеет вид:

Точка  определяется как тот из корней этого полинома, который ближе по модулю к точке  .

Порядок сходимости метода парабол выше, чем у метода секущих, но ниже, чем у метода Ньютона.

Важным отличием от ранее рассмотренных методов, является то обстоятельство, что даже если   вещественна при вещественных   и стартовые приближения выбраны вещественными, метод парабол может привести к комплексному корню исходной задачи. 

Этот метод очень удобен для поиска корней многочленов высокой степени.

Метод простых итераций

Задачу нахождения решений уравнений можно формулировать как задачу нахождения корней:  , или как задачу нахождения неподвижной точки .

Пусть   и   — сжатие:   (в частности, тот факт, что   — сжатие, как легко видеть, означает, что ).

По теореме Банаха существует и единственна неподвижная точка 

Она может быть найдена как предел простой итерационной процедуры

где начальное приближение   — произвольная точка промежутка  .

Если функция   дифференцируема, то удобным критерием сжатия является число  . Действительно, по теореме Лагранжа

Таким образом, если производная меньше единицы, то   является сжатием.

Условие   существенно, ибо если, например,   на [0,1] , то неподвижная точка отсутствует, хотя производная равна нулю. Скорость сходимости зависит от величины  . Чем меньше  , тем быстрее сходимость.

Рассмотрим уравнение:  .

Если в качестве   взять функцию  , то соответствующая итерационная процедура будет иметь вид:  . Как нетрудно убедиться, метод итераций в данном случае расходится при любой начальной точке  , не совпадающей с собственно неподвижной точкой  .

Однако можно в качестве   можно взять, например, функцию  . Соответствующая итерационная процедура имеет вид:  .

Эти итерации сходятся к неподвижной точке для любого начального приближения  :

Действительно, в первом случае  , т.е. для выполнения условия   необходимо чтобы  , но тогда  . Таким образом, отображение   сжатием не является.

Рассмотрим  , неподвижная точка та же самая, ситуация другая. Здесь, хотя формально производная может быть довольно большой (при малых ж), однако уже на следующем шаге она будет меньше 1.

т.е. такой итерационный процесс всегда сходится.

Метод Ньютона представляет собой частный случай метода простых итераций.

Здесь   нетрудно убедиться, что при   существует окрестность корня, в которой   .

то если   корень кратности  , то в его окрестности   и, следовательно, .

Если   — простой корень, то сходимость метода касательных квадратичная (то есть порядок сходимости равен 2).

Поскольку  , то

откуда

Таким образом, сходимость метода Ньютона очень быстрая.