Лекция 7

Тема 3.1.

Градиентные методы

Численное решение задач безусловной минимизации функций многих переменных, как правило, значительно сложнее, чем решение задач минимизации функций одного переменного. В самом деле, с ростом числа переменных возрастают объемы вычислений и усложняются конструкции вычислительных алгоритмов, а также более сложным становится анализ поведения целевой фунции.

Методы численного решения задач многомерной безусловной минимизации многочисленны и разнообразны. Условно их можно разделить на три больших класса в зависимости от информации, используемой при реализации метода.

1.Методы нулевого порядка, или прямого поиска, стратегия которых основана на использовании информации только о свойствах целевой функции.

2.Методы первого порядка, в которых при построении итерационной процедуры наряду с информацией о целевой функции используется информация о значениях первых производных этой функции.

3.Методы второго порядка, в которых наряду с информацией о значениях целевой функции и ее производных первого порядка используется информация о вторых производных функции.

Методы первого и второго порядков хорошо разработаны. Для большинства из них имеется строгое обоснование, проведено аналитическое исследование их свойств, доказана сходимость, получены оценки скорости сходимости для некоторых классов целевых функций.

3.1.1Условия оптимальности функции многих переменных

Пусть f ( x) – скалярная функция векторного аргумента размерности

xk : xi xi* для i k . А для функции одной переменной необходимое условие экстремума уже получено.

Теорема: (необходимое условие экстремума I порядка)

Для того чтобы в точке x* функция f ( x1 , x2 ,...,xn ) имела безусловный локальный экстремум, необходимо, чтобы все ее частные производные обращались в точке x* в нуль:

исследовать поведение f ( x) в окрестности точки x* . Для этого разложим

f ( x) ) в стационарной точке x* :

2

Проверка знакоопределенности матриц может быть осуществлена, например, с помощью критерия Сильвестра. Согласно этому критерию, необходимым и достаточным условием положительной определенности

2)при a 0,b 0 (стационарная точка типа «седло») экстремума нет, гиперболический параболоид;

3)при a 0,b 0 экстремума нет, гиперболический параболоид;

4

наискорейшего возрастания функции и ортогонален линии уровня, значит антиградиент функции f ( x) в точке xk , gradf ( xk ), направлен в сторону наискорейшего убывания функции f ( x). Выбирая в (3.1.) в

качестве pk антиградиент, приходим к итерационному процессу вида

Градиентные методы делятся по выбору k : метод дробления шага, метод наискорейшего спуска и т.д.

Градиентные методы достаточно просты в реализации, но плохо работают (медленно сходятся), если матрица Гессе (матрица вторых производных минимизируемой функции) f ( x) плохо обусловлена. Это соответствует сложной топографической структуре функции f ( x) – наличие «оврагов» и «хребтов». Возникает «эффект оврагов». Возможные пути преодоления этого – способы «исправления» поверхности f ( x), например, изменение масштабов независимых переменных целевой функции, некоторые эвристические схемы, которые идейно близки к релаксационным методам, метод покоординатного спуска.

Другой путь – использование вторых производных минимизируемой функции f ( x) для построения методов, которые не «реагируют» на овражную структуру функции f ( x).

Это методы второго порядка, которые требуют наименьшего числа шагов (итераций), но содержат громоздкие вычисления f ( x) для сложной функции.

Методы второго порядка – прямое обобщение известного метода Ньютона отыскания корня уравнения ( x) 0 ( – скалярная функция скалярного аргумента). Метод Ньютона отыскания корня уравнения строится на разложении функции в ряд Тейлора в окрестности некоторой точки xk . Отбрасывая малые высшего порядка, получим линейное уравнение

относительно неизвестной величины x : x x ( xk ) . Рекуррентная

k k ( xk )

формула метода Ньютона отыскания корня уравнения

6

Такой поиск корня уравнения также называют методом касательных. Геометрическая иллюстрация этого метода приведена на рис. 3.1.1.

Рис. 3.1.1.

Этот метод распространяется на ( x) – n- мерную вектор-функцию векторного аргумента x той же размерности, а затем на вектор-функцию( x) f ( x) – градиент некоторой скалярной величины f ( x).

Таким образом, метод Ньютона (как метод второго порядка) интерпретируется как последовательный поиск точек минимума квадратичных аппроксимирующих функций.

Геометрическая иллюстрация метода Ньютона приведена на рис. 3.1.2

7

Рис. 3.1.2.

Этот метод более эффективен по сравнению с градиентными методами, т.к. квадратичная функция локально точнее аппроксимирует минимизируемую функцию, чем линейная. Сходимость методов Ньютона

зависит от удачного выбора начального приближения x0 , это не тривиальная задача, следовательно, разрабатываются модификации метода, например, метод Ньютона-Рафсона (независимость от x0 ).

Трудности применения метода Ньютона:

1)вычисление матрицы f ( x),

2)нарушение в процессе счета положительной определенности этой матрицы.

Поэтому существуют различные модификации метода Ньютона.

К методам первого порядка, но с более высокой скоростью сходимости, относят метод сопряженных направлений, частным случаем которого является метод сопряженных градиентов, метод двойственных направлений, основная идея которого состоит в построении процесса спуска, обладающего сверхлинейной скоростью сходимости и не требующего при

этом вычисления f ( x).

Кроме этого, существуют еще методы псевдообратных операторов, метод минимизации вдоль собственных векторов матрицы, близкой к матрице Гессе, итеративные стохастические методы, использующие аналог функции Ляпунова, стохастические квазиградиентные методы, метод локальных вариаций.

8