1.4. Многошаговые ( двухшаговые ) методы.

1.3.1. Метод тяжелого шарика

Общий вид метода тяжелого шарика:

x_k+1= x_k - f(x_k)+(x_k-x_k-1)

Это разностное уравнение, полученное из дифференциального уравнения, которое описывает движение шарика, катящегося по некоторой поверхности с постоянным трением. Введение инерции  (x_k-x_k-1) увеличивает скорость сходимости.

Теорема(о скорости сходимости метода тяжелого шарика):

Пусть 0 l I  ²f(x)  L I (сильная выпуклость)

0    1, 0   2(1+)/L,

тогда существует с=const такая, что || x_k - x* ||  cq^k ,

Без доказательства

Таким образом, метод сходится не быстрее геометрической прогрессии, как и градиентный метод; показатель геометрической прогрессии тот же, только с корнями, т.е. применение двухшагового метода при плохой обусловленности позволяет уменьшить эту обусловленность.

Модификация двухшагового метода- метод сопряженных градиентов.

1.3.2. Метод сопряженных градиентов

x_k+1 = x_k - _k f(x_k) + _k (x_k-x_k-1)

Отличается тем, что î _k è _k зависят от шага и выбираются следующим образом:

(_k , _k) = argmin f(x_k - f(x_k)+(x_k-x_k-1))

^{,}

Для квадратичной функции

1. Метод сходится за конечное число шагов, не превосходящее размерности пространства состояний.

2. Градиенты в методе попарно ортогональны (f(x_i), f(x_k))=0, ik

Но в Rⁿ не может существовать более n ортогональных ненулевых векторов, поэтому для некоторого k  n будет f(x_k)=0, то есть точка x_k- точка минимума.

3. Последовательные направления движения p_k=x_k-x_k-1 удовлетворяют соотношению (Ap_i, p_j ) =0 ij

Определение:

Векторы p_i , связанные соотношением (Ap_i, p_j ) =0, называются сопряженными или А-ортогональными.

В методе сопряженных градиентов x_k является точкой минимума квадратичной функции f(x) на подпространстве, порожденном первыми k градиентами. Следовательно, никакой метод, использующий только градиенты функции (точнее, в котором шаг делается по линейной комбинации предыдущих градиентов), не может сходиться быстрее, то есть метод сопряжённых градиентов является оптимальным по скорости сходимости в классе методов первого порядка.

1.3.3. Модификация Полака-Ривьера

x_k+1= x_k+ _kp_k , где _k = argmin f(x_k+ p_k ), >0

p_k= -f(x_k)+_kp_k-1

₀ = 0

Для квадратичной функции последовательность точек x_i, определённая этими формулами, совпадает с последовательностью, полученной методом сопряжённых градиентов.

Эту модификацию удобнее применять для произвольных (неквадратичных) функций.

Рекомендуется применять процедуру обновления, т.е. через каждые n-шагов происходит сдвиг в направлении антиградиента.

То есть ₀ = 0, затем _n=0,..., _mn=0, следовательно, p_k= -f(x_k)+0*p_k-1= -f(x_k)

(сдвиг в направлении антиградиента).

По скорости сходимости n шагов методы сопряженного градиента эквивалентны одному шагу метода Ньютона (для квадратичной функции метод сходится за один шаг).

1.5. Квазиньютоновские методы

Общая структура: x_k+1 = x_k - _k_kf(x_k)

1. Если H_k =I , то это градиентный метод.

2. Если H_k = (²f(x_k))^-1, то это метод Ньютона.

3. Если H_k = H_k (f(x_i), i=1..k)  (²f(x_k))^-1, т.е. матрица H_k пересчитывается рекурентным способом на основе информации, полученной на k-й итерации.

Достоинство:

Не надо вычислять обратную матрицу вторых производных.

Обозначим p_k = -H_kf(x_k)

y_k= f(x_k+1) -f(x_k),

, A>0

Тогда для квадратичной функции имеем

y_k = A(x_k+1-x_k) = _kAp_k

_k p_k = y_kA^-1,

поэтому матрицу H_k+1 (необязательно для квадратичной функции) выбирают так, чтобы выполнялось так называемое квазиньютоновское условие:

H_k+1y_k= _kp_k (H_k - должна стремиться к (²f(x_k))^-1

Метод Давидона- Флетчера- Пауэлла (ДФП)

Проверим выполнение квазиньютоновского условия:

Для квадратичной функции метод сходится за n шагов, ãäå n – размерность пространства состояний. Скорость сходимости этого метода сверхлинейная (быстрее любой геометрической прогрессии). Сходимость глобальная. Объединяет достоинства градиентных методов и метода Ньютона.

Процедура применения:

На очередном шаге, имея H_k, делаем шаг в направлении p_k. Получаем _k (например, по методу наискорейшего спуска), получаем x_k+1 , вычисляем y_k и пересчитываем H_k+1 для следующего шага.

Недостаток: (по сравнению с методом сопряженных градиентов). Надо хранить и пересчитывать H_k размерности mn.

Метод Бройдена-Флетчера –Шенно.

где

Примечание:

Последовательности x_k, генерируемые каждым вариантом, для квадратичной функции совпадают. Существует много других модификаций приведенных квазиньютоновских методов.