3.4. Возможные модификации метода Ньютона

xk +1 = xk −τk

f ′(xk )

<τk ≤1 .

, 0

f ′′(xk )

В простейшем варианте метода τk =τ = const (τ = 1

соответствует исходному

методу Ньютона). Оптимальный набор

параметров τk

может быть найден из

решения задачи минимизации

f (x

)

−τ

′

k

→ min .

ϕ(τ)= f xk

f ′′(xk )

(f ′(xk ))2

, где

~

f ′(xk )

.

τk

=

x

= xk −

(f ′(xk ))

2

+ (f

~

2

f ′′(xk )

′(x ))

функции f (x) . Однако, если вместо унимодальности потребовать, чтобы

f (x)

удовлетворяла на [a, b] условию Липшица

f (x1 ) − f (x2 )

≤ L

x1 − x2

, для всех x1 , x2 [a, b] ,

(3.8)

Пусть функция f (x) удовлетворяет на отрезке [a, b]

условию Липшица (3.8) с

константой L и приближенные значения x ≈ xm ,

f

≈ f (xm ) найдены методом

перебора с разбиением отрезка [a, b] на n частей.

Тогда для погрешности δn

определения минимального значения f справедлива оценка

δn = f (xm )

− f ≤ L

b − a

.

(3.9)

2n

□ Пусть x − точка минимума

f (x) на [a, b] (существование точки минимума

точек

xi = a +

b − a

i , i = 0, ..., n метода перебора найдется такая точка

xl , что

n

xl − x

≤

b − a

. Поэтому, с учетом условия Липшица (3.8) можно записать

2n

b − a

. ■

0 ≤ f (xm ) − f ≤ f (xl ) − f

≤ L

xl − x

≤ L

2n

Если функция f (x) многомодальна,

то погрешность определения

ее точки

минимума может быть значительной, несмотря на то, что сам минимум

f

найден

достаточно точно (рис. 3.5).

y

a x* x1 x2

xm

b

x

a

x

b

X

p0

f (a) − L(x − a),

x [a, x0 ],

(x) =

x [x0 , b].

f (b) + L(x − b),

Y

f(x)

Y

f(x)

Y

f(x)

a

x0*

b X

a x΄1

x˝1 b X

a x΄2 x˝2

b X

Рис. 3.7. Построение ломаных p0 (x),

p1 (x),

p2 (x)

Используя

вспомогательную

функцию

g(x0 , x) ,

определим

аппроксимирующую функцию

p1 (x) = max [p0 (x) , g(x0 , x)],

у которой по сравнению с p0 (x)

исчезла точка минимума

x0 , но появились две

новые точки локального минимума x1′ и x1′′

(рис. 3.7б):

x1′ = x0 −

1 , x1′′ = x0 +

1 , где

1 =

1

[f (x0 ) − p0 ],

(3.11)

2L

с учетом того, что тангенсы углов наклона каждого из звеньев ломаной

p1 (x) к

горизонтальной оси по модулю равны L .

Выберем точку глобального минимума

p функции p (x) , обозначим ее через

1

1

x1 (в данном случае это x1′ или x1′′, пусть, например,

x1

= x1′) и положим

p2 (x) = max[p1 (x) , g(x1 , x)].

У функции

p

2

(x)

по сравнению с

p (x)

вместо

x

появились две новые точки

1

1

локального минимума

′

и

′′

x2

x2 (рис. 3.7в), которые находятся аналогично (3.11)

′

′′

1

(3.12)

x2 = x1

−

2 ,

x2

= x1 +

2 ,

где

2 =

[f (x1

) − p1 ],

2L

′

′′

1

= 2 [f (x1 ) + p1 )].

причем p2 (x2 ) = p2 (x2 ) = p2

Пусть теперь функция pk −1 (x)

построена. Выбрав точку глобального минимума

pk −1 функции pk −1 (x)

и обозначив ее через xk−1 , определим функцию

pk (x) = max [pk −1 (x) , g(xk −1 , x)].

Новые точки локального минимума

′

′′

функции pk

(x) , появившиеся

xk и

xk

взамен xk−1 , а

также значения

pk (x)

в

этих

точках находятся

по формулам,

аналогичным (3.11) и (3.12)

′

′′

1

],

= xk −1 − k ,

k ,

где

k =

2L

[f (xk −1 ) − pk −1

xk

xk = xk −1 +

′

′′

1

= 2 [f (xk −1 ) + pk −1 )].

pk (xk )

= pk (xk ) = pk

Свойства функций pk (x) , вытекающие из их построения.

1.

pk (x) − непрерывная

кусочно-линейная

функция, ее графиком является

ломаная, состоящая из отрезков с угловыми коэффициентами

± L . У функции

pk (x)

существует ровно k +1 локальных минимумов,

точками которых являются

абсциссы вершин ломаной, а сами минимумы равны их ординатам.

2. Для всех x [a, b] и k =1, 2, ... справедливы неравенства pk −1 (x) ≤ pk (x) ≤ f (x) .

Из этих свойств и метода построения функций

pk (x) следует, что с ростом k

ломаные pk (x)

приближаются снизу к графику функции f (x)

вблизи точки ее

глобальный минимум не функции

f (x) , а ломаных pk (x) , что, вообще говоря,

значительно проще, так как точками минимума

pk (x) могут быть только абсциссы

вершин этой ломаной, определяемые

в ходе

построения последовательности

{pk (x)}.

Утверждение. Пусть функция

f (x)

удовлетворяет на отрезке [a, b] условию

1.

lim f (xk ) = f .

k →∞

2.

Если точка глобального минимума функции f (x) на [a, b] единственна, то

lim xk

= x .

k→∞

3. Справедлива оценка точности δk приближения f (xk −1 ) к минимуму

f

0 ≤ δk = f (xk −1 ) − f ≤ f (xk −1 ) − pk −1 = 2L k ,

(3.13)

Шаг 3. Проверка на окончание поиска с помощью условия (3.13). Вычислить

=

1

[f (x ) − p ] и положить δk = 2L

. Если δk

≤ δ

, то поиск завершить, полагая

2L

x ≈ x ,

f

≈ f (x ) , иначе перейти к шагу 4.

Шаг

4. определить

новые

пары

′

p)

и

′′

(x ,

(x , p) , полагая

x′ = x −

,

x′′ = x + , p =

1

[f (x ) + p ] и ввести их в рассмотрение вместо пары

2