Асимптотическое условие окончания итераций для метода касательных

Применение условия окончания итераций для метода касательных, полученного нами ранее, требует оценки снизу модуля первой производной в указанной окрестности корня. В том случае, когда условия квадратичной сходимости для метода касательных выполняются, можно воспользоваться более простым и приближенным асимптотическим условием окончания итераций. Получим его.

Пусть – последовательность приближений, сходящаяся к точному значению искомого корня, полученная методом касательных, и для нее выполнены все условия квадратичной сходимости. Разложим функцию по формуле Тейлора с остаточным членом в форме Лагранжа:

.

Здесь – некоторая точка междуx и . Подставим в эту формулуи получим

.

Здесь – некоторая точка между точкамии. Из формулы (3.5.5) следует, что, поэтому последняя формула принимает более простой вид

. (3.5.19)

С другой стороны, согласно теореме Лагранжа,

. (3.5.20)

Здесь учтено, что , а– некоторая точка между точкамии. Приравняем правые части формул (3.5.19) и (3.5.20) и, переходя к модулям, получим

. (3.5.21)

Обозначим через иположительные числа такие, что в указанной в условиях квадратичной сходимости окрестности выполняются неравенства

, . (3.5.22)

Из условий квадратичной сходимости следует и их существование. Тогда из формулы (3.5.21) с учетом формулы (3.5.22) получим апостериорную оценку погрешности

. (3.5.23)

И наконец, учитывая, что при , получаемприближенную асимптотическую, оценку погрешности

, (3.5.24)

Из нее получается искомое приближенное, асимптотическое условие окончания итераций

. (3.5.25)

Как только неравенство (3.5.25) будет выполнено, можно закончить вычисления и в качестве приближенного значения корня с погрешностью, не превышающей , выбрать .

Метод Ньютона для нелинейных систем уравнений

Рассмотрим задачу решения системы из n нелинейных уравнений с n неизвестными

(3.5.26)

Здесь – заданные функции. Будем считать, что эта система имеет решения. Обозначим черезискомое точное решение этой системы.Будем искать приближенное решение этой системы с погрешностью, не превышающей заданного положительного числа , то есть любой вектор, удовлетворяющий неравенству

. (3.5.27)

Здесь – некоторая заранее выбранная метрика в метрическом пространстве. Это может быть, например, одна из рассматриваемых метрик в параграфе 3.3. Пусть для определенности

. (3.5.28)

Для вычисления приближенного решения построить последовательность приближений, которая в данном случае будет представлять собой последовательность векторов , сходящуюся к искомому точному решению. Здесьk – номер члена последовательности. Иными словами, для последовательности приближений должно выполняться

. (3.5.29)

Построим последовательность приближений по аналогии с методом касательных. Зададим некоторое начальное приближение , достаточно близкое к искомому корню и обеспечивающее сходимость к нему всей последовательности, а последующие члены последовательности приближений вычислим по рекуррентной формуле. Получим ее так же, как и в методе касательных. Будем считать, что известен k–й член последовательности . В качестве следующего–го члена последовательностивыберем решение линеаризованной системы (3.4.26).

Линеаризуем уравнения системы, используя формулу для полного дифференциала функции многих переменных:

, (3.5.30)

.

Подставив формулу (3.4.30) в формулу (3.4.26), получим линеаризованную систему уравнений

, (3.5.31)

.

Координаты должны удовлетворять этой системе, поэтому для их определения необходимо решить относительносистему вида

, (3.5.32)

.

Но удобнее в начале найти разности . Обозначим

, . (3.5.33)

Тогда система (3.5.32) примет вид

(3.5.34)

Решить линейную систему (3.5.34) относительно можно ранее изученными методами (метод Гаусса, простой итерации). А получив это решение, определим координаты следующего члена последовательности приближений по тривиальным формулам

. (3.5.35)

Для окончания итераций используем условие, аналогичное полученному в предыдущем пункте:

. (3.5.36)

Как только неравенство (3.5.36) будет выполнено, можно закончить вычисления и в качестве приближенного значения корня с погрешностью, не превышающей , выбрать .

Описанный метод построения последовательности приближений получил название метода Ньютона. Условия сходимости последовательности приближений к точному решению для метода Ньютона получены, но их проверка зачастую очень сложна. В большинстве случаев их вообще не проверяют. Поэтому работать часто приходится наугад. Если существует несколько решений исходной системы, то последовательность может сойтись к любому из них. А если решений нет или начальное приближениевыбрано неудачно, то последовательностьможет вообще расходиться. Чтобы убедиться в сходимости полученной последовательностик искомому решениюприходится производить дополнительные теоретические и экспериментальные исследования, пользоваться косвенными признаками. Так, в процессе счетаобычно проверяется условие отличия от нуля определителя матрицы линейной системы. Если определитель близок к нулю, процесс вычисления прерывается и выдается сообщение об ошибке. Иногда в процессе счета также проверяются условия монотонного сближения членов последовательности и уменьшения невязки

, (3.5.37)

. (3.5.38)

Модификации метода Ньютона для нелинейных систем уравнений

Если оценивать качество метода Ньютона только по числу необходимых итераций, то следовало бы сделать вывод о том, что этот метод стоит применять всегда, когда он сходится. На практике для достижения разумной точности решения при выборе достаточно хорошего начального приближения требуется, как правило, 3-5 итераций.

Однако при оценке общей трудоемкости метода следует учитывать, что на каждой итерации требуется выполнение следующей дополнительной работы:

1) вычисление координат вектораf(x).

2) вычисление компонентов матрицы Якоби (x).

3) решение системы линейных алгебраических уравнений (3.5.34).

Существует большое число модификаций метода Ньютона, позволяющих в тех или иных ситуациях снизить его трудоемкость либо избежать необходимости вычисления производных. Рассмотрим кратко некоторые из таких модификаций.

Упрощенный метод Ньютона. Заменим в расчетных формулах метода Ньютона (3.5.34) матрицу (x), зависящую от х, постоянной матрицей A=(х). В результате этого получим расчетные формулы упрощенного метода Ньютона

Aхf(х), (3.5.39)

хх+х. (3.5.40)

Можно показать, что этот метод сходится со скоростью геометрической прогрессии, если начальное приближение хвыбрано достаточно близким к решению хпричем знаменатель прогрессии тем меньше, чем ближехк х

По сравнению с методом Ньютона число итераций, необходимое для достижения заданной точности , существенно возрастает. Тем не менее общие вычислительные затраты могут оказаться меньше, так как вычисление матрицы Якоби производится здесь только один раз.

Использование формул численного дифференцирования

Довольно часто вычисление производных , являющихся элементами матрицы, затруднено или вообще невозможно. В такой ситуации для приближенного вычисления производных можно попытаться использовать формулы численного дифференцирования. Например, можно использовать конечно-разностную аппроксимацию производной:

(х)J= (3.5.41)

Параметры  это конечно-разностные шаги.

Если в расчетных формулах метода Ньютона (3.5.34), (3.5.35) заменить матрицу (x) аппроксимирующей ее матрицей J с элементами J, то получим итерационный метод

Jх= - f(x (3.5.42)

х=xх (3.5.43)

В простейшем варианте этого метода шаги h(j = 1, 2, ...,n) не зависят от k. Отметим, что выбор величины шагов представляет собой не очень простую задачу. С одной стороны, они должны быть достаточно малыми, чтобы матрица J хорошо приближала матрицу (x), с другой стороны, они не могут быть очень малы, так как в этом случае влияние погрешностей вычисления функций на погрешность формулы (3.5.41) численного дифференцирования становится катастрофическим (выполняется вычитание близких приближенных чисел).

Следующие три метода можно рассматривать как варианты метода (3.5.42), (3.5.43), в которых реализованы специальные подходы к вычислению вектора h. Для того чтобы приведенные ниже рассуждения были формально корректными, в формуле (3.4.41) положимJ=(x), если оказалось, что = 0.

Метод ложного положения. Пусть с  фиксированный вектор. Положим h=с - x. Тогда формулы (3.5.41)  (3.5.43) определяют метод ложного положения, обладающий линейной скоростью сходимости в случае, если вектор с и начальное приближение хвыбраны достаточно близко к решению.

Метод секущих. В одном из наиболее популярных своих вариантов метод секущих можно рассматривать как метод (3.5.41)  (3.5.43), где h=х x. Метод секущих является двухшаговым: для вычисления очередного приближения хиспользуют два предыдущих приближения:x и х. Для того чтобы начать вычисления, необходимо задать два начальных приближенияхих. При удачном выборе начальных приближенийхихметод секущих сходится со сверхлинейной скоростью с порядком сходимости=.

Метод Стеффенсена. Вычисления по методу Стеффенсена производят по формулам (3.5.41)  (3.5.43), где h= f(x). Метод не требует вычисления производных и в отличие от метода секущих является одношаговым, он, как и метод Ньютона, обладает свойством квадратичной сходимости. Правда, как и в методе Ньютона, его применение затруднено необходимостью выбора хорошего начального приближения.

По-видимому, для решения нелинейных систем вида (3.5.26) метод Стеффенсена окажется лучшим выбором, чем метод секущих или метод ложного положения.