Метод Ньютона

Следующий из рассматриваемых методов однопараметрической оптимизации является градиентным методом второго порядка. В нем при поиске экстремума целевой функции используется ее первые и вторые производные. Этот метод носит название метода Ньютона.

Метод применим для вогнутой (или выпуклой), функции F(x), что соответствует монотонности ее первой производной f(x).

Известно, что если функция F(x) имеет локальный минимум (или максимум) в точке  , то в этой точке градиент функцииF(x) (вектор ее производных) равен нулю, т.е.

Следовательно, если функция F(x) дифференцируема, то для нахождения ее экстремума нужно решить уравнение

(3.1)

где  .   - корень уравнения (3.1), точка, то есть, координата в которой F'(x)=0, а функция F(x) имеет минимум (или максимум) (рис.9.8).

Рис. 9.8.  Вогнутая функция F(x) и ее производная f(x).

Алгоритм метода Ньютона сводится к линейному представлению функции f(x) и решению уравнения (3.1).

Разложим функцию f(x) в ряд Тейлора:

где h_i=x_i+1-x_i.

Отбросим члены ряда, содержащие  .

В результате имеем:

Если в точке (x_i+1) достигается экстремум функции F(x), то f(x_i+1)=0.

Тогда

Отсюда точка экстремума равна:

(3.2)

Для нахождения экстремума функции F(x) необходимо на каждом шаге итерационного процесса поиска определить первую F1 и вторую F2 производные целевой функции F(x), т.е.

Начальные приближения х рекомендуется выбирать в той точке интервала [a,b], где знаки функции f(x) и ее кривизны f''(x) совпадают, т.е. выполняется условие

(3.3)

где

Словесный алгоритм метода Ньютона:

1. Выбираем начальную точку х. Если  ,то x=a, иначе x=b.

2. Находим приближение корня (x_i+1) по выражению (3.2).

3. Итерационный процесс поиска продолжается до тех пор, пока

(3.4)

На основании (3.2) условие (3.4) можно записать как

В результате условие (3.4) будет иметь вид

В точке экстремума   производная   меняет знак.

Если в точке   функция F(x) имеет минимум, то производная   в окрестности   меняет знак с отрицательного на положительный, т.е.   является возрастающей функцией, значит,   (рис. 9.9 a).

Если в точке   функция F(x) имеет максимум, то производная   в окрестности   меняет знак с положительного на отрицательный, т.е.   является убывающей функцией, значит,   (рис. 9.9 b).

Следовательно, по знаку   можно судить: в точке   максимум или минимум функции F(x).

Рис. 9.9. 

Если функция F(x) не дифференцируема или вычисление ее производных очень сложно, то для определения производных функции F(x) можно воспользоваться приблизительными оценками производных с помощью разностных схем:

Схема алгоритма метода Ньютона представлена на рис. 9.10.

Рис. 9.10.  Схема алгоритма метода Ньютона

На рис.9.10:   - координата точки в которой функция F(x) имеет минимальное (или максимальное) значение, FM - значение, функции F(x) в точке  .

10. Численное решение уравнения модифицированным методом Ньютона. Эффективность данного алгоритма. Привести фрагмент программы, поясняющий данный алгоритм. Модифицированный метод Ньютона

Модификация метода Ньютона заключается в замене производной f’(x_n) в точке x_n в формуле

на производную f’(x₀) в точке x₀, т.е. полагаем f’(x_n)≈f’(x₀). В результате получим

 ( ). (3.23)

Геометрически этот способ означает, что мы заменяем касательные в точках B_n прямыми, параллельными касательной к кривой y=f(x) в точке B₀ (см. рис.3).

Рис.3. Модифицированный метод Ньютона

Здесь не надо вычислять каждый раз производную f’(x_n). Сходимость процесса (3.23) обеспечивается следующей теоремой.

Теорема 6. Пусть на [a,b] задана дважды дифференцируемая функция f(x), причем выполнены след. условия

а) f(a)f(b)<0

б) f’(x) и f’’(x)≠0 и сохраняют знаки на [a,b].

Тогда исходя из начального приближения   удовлетворяющего неравенству

f(x₀)f’’(x₀)>0

можно вычислить модифицированным методом Ньютона единственный корень ξ с любой степенью точности.

Доказательство: Пусть f’(x)>0, f’’(x₀)>0 (см.рис.3) Тогда в качестве x₀ берем точку x₀=b, так как  f(b)f’’(b)>0. Из (3.23) следует, что x_n+1<x_n, то есть последовательность {x_n} является убывающей

b=x₀>x₁>…>x_n>a (3.24)

Покажем теперь, что эта последовательность имеет предел ξ. Пусть x_n-1> ξ. Докажем, что x_n> ξ. Для этого запишем n-ое приближение, полученное по формуле Ньютона (см. формулу (3.17)) и по модифицированной формуле Ньютона (3.23)

и найдем разность

. (3.25)

Из теории выпуклых функций известно, что если f’’(x) и сохраняет знак на [a,b], то f(x)является выпуклой. Для выпуклой функции f(x) производная f’(x) является неубывающей, то есть для  . Поэтому

.  (3.26)

С учетом (3.26) из (11) следует   . Из теоремы 5 сходимости метода Ньютона мы получали  , поэтому  . Отсюда

ξ≤x_n. (3.27)

Таким образом, из (3.24) и (3.27) получили убывающую сходящуюся последовательность

x₀>x₁>…>x_n≥ξ.

Следовательно, для любого сколь угодно малого ε>0 можно указать такое n, что

|x_n-ξ|< ε. Теорема доказана.

Сходимость метода. В отличие от метода Ньютона здесь сходимость уже не будет квадратичной. Действительно, из (3.23) имеем

. (3.28)

Подставляя (3.21) в (3.28), получим

 (3.29)

Здесь появился линейный член относительно (ξ-x_n-1). При | ξ –x_n-1| << 1 вторым слагаемым в правой части (3.29) можно пренебречь, в результате получим

,

где  ,   .

Таким образом, сходимость модифицированного метода Ньютона будет линейной с параметром сходимости  .