Сравнительная таблица достоинств и недостатков градиентного метода и метода Ньютона:

Метод	Достоинства	Недостатки
градиентный метод	1. Глобальная сходимость, т.е. слабые требования на исходные данные, точка х0 может быть далека от х*. 2. Слабые требования к f(x), только f’(x) нужна 3. Относительная простота вычислений	1. Медленная скорость сходимости (геометрическая сходимость, скорость сходимости d = 1).
метод Ньютона	1. Быстрая сходимость (квадратичная)	Локальная сходимость, т.е. начальное приближение должно быть достаточно близко к х*) Жесткие требования на саму функцию (должна быть дважды непрерывнодифференц. Большой объем вычислений, связанный с необходимостью вычисления матрицы вторых производных и ее обращения.

Полезен метод ньютона в случае квадратичной функции (сходится за один шаг).

Число обусловленности локального min.

Пусть - поверхности уровней f(x).

Рассмотрим следующую величину

Очевидно, что у окружности r_=1, а у эллипса r_>1 (увеличивается с увеличением растянутости).

Определение:

Числом обусловленности точки локального min называется

Оно число дает основание для выбора метода.

Определение:

Говорят, что точка локального min плохо обусловлена, если число обусловленности велико, и хорошо обусловлена если оно близко к 1.

Пример.

Пусть f(x) = 1/2 (Ax, x). А - диагональная матрица. Тогда число обусловленности есть отношение max диагонального элемента к min диагональному элементу.

Порядок применения методов.

На первом этапе- методы первого порядка, так как они обеспечивают глобальную сходимость (градиентные методы).

На втором этапе (мало)- методы второго порядка (Ньютона).

Перечисленные методы являются классическими, они редко применяются в чистом виде, но служат базой для других методов. Смысл модификации метода в том, чтобы использовать достоинства обоих методов обходя недостатки.

Существует метод Марквердта- Левенберга

Если   - градиентные методы

 0- метод Ньютона

1.3. Многошаговые ( двухшаговые ) методы.

Метод тяжелого шарика:

Общий вид метода тяжелого шарика:

x_k+1= x_k - f(x_k)+(x_k-x_k-1)

Это разностное уравнение, полученое из ДУ, которое описывает движение шарика, катящегося по некоторой поверхности с постоянным трением.

Введение инерции (x_k-x_k-1) увеличивает скорость сходимости.

Теорема(о скорости сходимости метода тяжелого шарика):

Пусть 0 l I  ²f(x)  L I (сильная выпуклость)

0    1, 0   (1-)/L,

тогда существует с=const такая, что || x_k - x* ||  cq^k ,

Без доказательства

Таким образом, метод сходится не быстрее геометрической прогрессии, как и градиентный метод; показатель геометрической прогрессии тот же, только с корнями, но применение двухшагового метода при плохой обусловленности позволяет уменьшить эту обусловленность.

Модификаций двухшагового метода- метод сопряженных градиентов.

Метод сопряженных градиентов

x_k+1 = x_k - _k f(x_k) + _k (x_k-x_k-1)

Отличается тем, что_k и _k зависят от шага и выбираются следующим образом:

(_k , _k) = argmin f(x_k - _kf(x_k)+_k(x_k-x_k-1))

^{,}

Для квадратичной функции

1. Метод сходится за конечное число шагов, не превосходящее размерности пространства состояний.

2. Градиенты в методе попарно ортогональны (f(x_i), f(x_k))=0, ik

Но в Rⁿ не может существовать более n ортогональных ненулевых векторов , поэтому для некоторого k  n будет f(x_k)=0, то есть точка x_k- точка минимума.

3. Последовательные направления движения p_k=x_k-x_k-1 удовлетворяют соотношению (Ap_i, p_j ) =0 ij

Определение:

Векторы p_i , связанные соотношением (Ap_i, p_j ) =0, называются сопряженными или А- ортогональными.

В методе сопряженных градиентов x_k является точкой минимума квадратичной функции f(x) на подпространстве, порожденном первыми k градиентами. Следовательно никакой метод, использующий только градиенты функции (точнее, в котором шаг делается по линейной комбинации предыдущих градиентов), не может сходиться быстрее, то есть метод сопряженных градиентов является оптимальным по скорости сходимости в классе методов первого порядка.

Модификация Полака-Ривьера

x_k+1= x_k+ _kp_k , где _k = argmin f(x_k+ _kp_k ), >0

p_k= -f(x_k)+_kp_k-1

₀ = 0

Для квадратичной функции последовательность точек x_i , определенная этими формулами, совпадает с последовательностью, полученной методом сопряженных градиентов.

Эту модификацию удобнее применять для произвольных (неквадратичных) функций.

Рекомендуется применять процедуру обновления, т.е. через каждые n-шагов происходит сдвиг в направлении антиградиента.

То есть ₀ = 0, затем _n=0...... _mn=0, следовательно p_k= -f(x_k)+0*p_k-1= -f(x_k)

(сдвиг в направлении антиградиента)

По скорости сходимости n шагов метода сопряженного градиента эквивалентны одному шагу метода Ньютона (для квадратичной функции метод сходится за один шаг).