14. Условия сходимости метода Ньютона.

Перейдем к изложению метода второго порядка, использующего вторые частные производные минимизируемой функции . Этот метод является прямым обобщением метода Ньютона для отыскания решения систем уравнений , где . Возьмем линейную аппроксимацию функции в окрестности точки и перепишем уравнение в следующем виде:

Отбрасывая последний член в этом разложении, получим линейную систему уравнений относительно нового приближения . Таким образом, метод Ньютона отыскания решения системы уравнений описывается следующей формулой:

Рассмотрим теперь случай, когда является градиентом некоторой функции . Формула метода Ньютона для решения уравнения выглядит так:

В этом случае метод Ньютона может интерпритировать как поиск точки минимума квадратичной аппроксимации функции в окрестности точки .

Лемма1. Пусть дважды непрерывно дифференцируемая функция. Если -сильно выпуклая функция с константой , то выполняется следующее неравенство:

Доказательство.

Пользуясь Теоремой о среднем, получим следующие формулы для конечных приращений функции :

, где

Воспользуемся условием сильной выпуклости

Заменяя на , получим: .Следовательно, .

Поделив на и устремив к нулю, будем иметь .

Положим и, используя неравенство Коши-Буняковского, получим для любого . Это означает, что . Лемма доказана.

Пусть последовательность получена с помощью метода Ньютона и точка - глобальный минимум функции . Нижеследующая теорема устанавливает условия квадратичной скорости сходимости метода.

Теорема 1. Пусть дважды непрерывно дифференцируемая функция сильно выпукла (с константой ), а вторая производная удовлетворяет условию Липшица , для любых , и . Тогда и метод Ньютона имеет квадратичную скорость сходимости .

Доказательство.

Воспользуемся следующей формулой конечных приращений: . Подставим вместо производную функции и, применяя неравенство Коши-Буняковского, получим . Тогда для и имеем . Применяя лемму 1, получим . Итерируя это неравенство по , приходим к неравенству , . Остается показать, что . Из определения 1 (п.6.3) сильной выпуклости имеем . Тогда при подстановке , учитывая равенство , получим , откуда и следует требуемое неравенство.

15. Условие сходимости метода штрафных функций.

Метод штрафных функций применяется для решения задач условной оптимизации и относится к методам последовательной безусловной минимизации. Основная идея метода заключается в сведении исходной задачи:

(1) (2) к последовательности задач оптимизации

(3), где некоторая вспомогательная функция, которая подбирается так, чтобы с ростом номера она мало отличалась от исходной функции на множестве и быстро возрастала на множестве . Быстрый рост вне приводит к тому , что при больших нижняя грань этой функции на будет достигаться в точках, близких к множеству , и решения задачи (3) будет приближаться при определенных условиях к решению исходной задачи (1)-(2). При этом имеется достаточно большой произвол в выборе функций . Это позволяет подобрать наиболее удобный вид минимизируемой функции и применять более простые методы безусловной оптимизации.

Опр. 1 Функция называется штрафной функцией множества , если для любых , и

Из этого определения видно, что при больших за нарушение условия приходится платить большой штраф, в то время как при этот штраф стремится к нулю с ростом (рис.1).

Рис.1 Штрафные функции

Для любого множества Q можно указать сколь угодно много штрафных функций. Пусть и .Теперь множество допустимых решений представимо в виде: , и штрафными функциями являются, например, следующие:

Пусть штрафная функция уже выбрана. Положим и будем считать, что , для всех . (4)

Тогда, для каждого k можно постараться найти решение задачи (3) и получить последовательность оптимальных решений. К сожалению, нижняя грань в (4) может достигаться не при всех k. Поэтому зададимся последовательностью такой, что и при и с помощью какого-либо метода безусловной оптимизации найдем точки , удовлетворяющие условию . (5)

Другими словами, вместо точного решения будем искать приближенное решение с погрешностью, не превышающей . Отметим, что, вообще говоря, может не принадлежать Q. Дальнейшее изложение уже не зависит от того, каким именно методом найдена точка . Поэтому ограничимся предположением о существовании такого метода и перейдем к исследованию сходимости метода штрафных функций.

Пусть штрафные функции задаются с помощью вспомогательных функций равенствами и такова, что

а) определены и непрерывны для всех ;

б) положительны, монотонно возрастают по и для ;

с) сходится к 0 равномерно при в области . Тогда следующая теорема дает достаточные условия сходимости метода штрафных функций.

Теорема 1. Пусть функция f, g определены и непрерывны на , , штрафные функции удовлетворяют условиям a), b), c) и последовательность определяется соотношениями (5) (п.8.1). Тогда

1) и ; 2) если принадлежит множеству L предельных точек последовательности , то и ; 3) если множество ограничено для некоторого то и при .

Доказательство.

1) По определению существует последовательность , , для которой при . Тогда для любого найдутся номера , , такие, что , при , . Учитывая и условие с), можно считать, что при , . Из этих неравенств и условий теоремы имеем .

Следовательно, . Заметим, что при справедливо неравенство .Покажем, что отсюда следует неравенство Предположим, что верно обратное неравенство. Тогда существует последовательность , для которой для всех s больших некоторого . Из условия b) имеем при . Противоречие.

2) Пусть . Тогда существует последовательность сходящаяся к . Функция непрерывна и, как доказано раннее, . Поэтому .

Следовательно, . Из условий теоремы имеем , а из определения верхнего предела следует обратное неравенство . Поэтому .

3) Докажем, что из установленного неравенства следует при . Предположим, что существует такое, что для любого найдется номер , для которого . Рассмотрим подпоследовательность . Из условия следует, что существует номер такой, что для любого справедливо . Так как множество компактно, то без ограничения общности можно считать, что подпоследовательность сходится к точке . Из непрерывности функции получим и следовательно, . Учитывая компактность множества , с помощью неравенства треугольника легко доказать, что для любых точек справедливо неравенство .Следовательно, функция непрерывна. Тогда .Поэтому справедливо неравенство . В то же время выше доказано, что . Получаем противоречие. Показано, что из неравенства следует при . Аналогичным образом можно показать, что из неравенства следует . ч.т.д.

Заметим, что метод штрафных функций в некотором смысле близок к методу множителей Лагранжа. В самом деле, при составлении функции Лагранжа ограничения задачи заносятся в целевую функцию с неизвестными множителями, что можно рассматривать как штраф за нарушение соответствующих ограничений. Достоинством метода множителей Лагранжа является то, что в нем отсутствуют неограниченно растущие коэффициенты типа штрафных коэффициентов. В то же время метод множителей Лагранжа предполагает существование седловой точки, а метод штрафных функций может использоваться для более широких классов задач и является более универсальным.