
- •Содержание введение
- •1. Задача безусловной оптимизации
- •Введение
- •1. Задача безусловной оптимизации
- •2. Градиентные методы
- •2.1. Общие соображения и определения.
- •2.2. Эвристические соображения, приводящие к градиентным методам.
- •2.3. Градиентный метод с постоянным шагом.
- •2.4. Один пример исследования сходимости.
- •2.5. Теорема об условной сходимости градиентного метода с постоянным шагом.
- •2.6. Замечания о сходимости.
- •2.7. Теорема о линейной сходимости градиентного метода с постоянным шагом.
- •2.8. Об оптимальном выборе шага.
- •2.9. Градиентный метод с дроблением шага.
- •2.10. Метод наискорейшего спуска.
- •3. Метод ньютона
- •3.1. Эвристические соображения, приводящие к методу Ньютона безусловной оптимизации.
- •3.2. Теорема о локальной сверхлинейной сходимости метода Ньютона.
- •3.3. Обсуждение метода Ньютона.
- •3.4. Теорема о квадратичной сходимости метода Ньютона.
- •3.5. Продолжение обсуждения метода Ньютона.
- •3.6. Методы Ньютона с регулировкой шага.
- •3.7. Метод Левенберга — Маркардта.
- •3.8. Еще один недостаток метода Ньютона. Модифицированный метод Ньютона.
- •3.9. Метод секущих.
- •Заключение
- •Литература
3.4. Теорема о квадратичной сходимости метода Ньютона.
Пусть f C2 и, более того, f удовлетворяет условию Липшица с константой L. Пусть f сильно выпукла с константой . Пусть Vx* — окрестность решения задачи (1), состоящая из точек x Rm таких, что
|
Тогда для x0 Vx* метод Ньютона квадратично сходится:
|
где q = L||f (x0)||/22 < 1.
Д о к а з а т е л ь с т в о. По теореме 2.9 и 2.10 в условиях нашей теоремы решение x* задачи (1) существует и единственно. Воспользуемся аналогом формулыНьютона — Лейбница для функции f :
f (xn + h) f (xn) = |
|
1 0 |
f (xn + sh)h ds. |
Вычитая из обеих частей этого равенства f (xn)h = 01f (xn)h dsи учитывая, что f удовлетворяет условию Липшица, получаем (ср.).
||f (xn + h) f (xn) f (xn)h|| |
|
|
1 0 |
[f (xn + sh) f (xn)]h ds |
|
|
|
Положим в полученной оценке h = [f (xn)]1f (xn):
||f (xn + h) f (xn) + f (xn)[f (xn)]1f (xn)|| = || f (xn+1)||
|
(10) |
Поскольку f сильно выпукла, f (xn) и поэтому (см. пред. задачу) ||[f (xn)]1|| 1. Продолжая неравенство (10), получаем
|
(11) |
С помощью (11) индукцией по n легко доказывается неравенство
|
(12) |
Наконец, в силу сильной выпуклости f, так как x* — решение задачи (1) и, следовательно, f (x*) = Q,
0 f(x*) f(xn) (f (xn), x* xn) + ||xn x*|| 2, |
или
(f (xn), xn x*) || xn x*|| 2. |
Но тогда
||xn x*|| 2 (f (x*), xn x*) ||f (x*)|| · ||xn x*||, |
откуда ||f (x*)|| || xn x*||. Тогда из (12) следует нужное неравенство.