8.4.Некоторые результаты и выводы
Высокая скорость локальной сходимости метода Ньютона, а также возможность контроля достаточных условий оптимальности, на основе используемых в методе вторых производных, позволяют считать этот метод эталонным.
Однако наряду с важными достоинствами метод имеет и существенные недостатки.
Так,
метод может работать плохо или совсем
отказать, если квадратичные приближения
функции будут неверно её описывать вне
малых окрестностей опорных точек
.
Другим недостатком метода Ньютона является необходимость решения на каждой итерации системы линейных уравнений
,
(8.3.8)
что всегда лучше прямого оценивания направления с обращением матрицы Гессе
.
(8.3.9)
Решение
системы (8.3.8) размерности
любым вариантом метода Гаусса требует
порядка
машинных операций, что при большом
влечёт чрезмерное число операций с
плавающей точкой (флопов). Это заставляет
решать системы (8.3.8) приближёнными
методами, например, методом
сопряжённых градиентов
(Бертсекасс,1987).
Если
матрица
положительно определена, то система
(8.3.8) разрешима единственным образом.
При этом косинус угла между градиентом
и вектором
отличается от нуля не менее чем на
величину, обратную числу обусловленности
матрицы
.
Таким образом, если все матрицы положительно определены, а их числа обусловленности ограниченны сверху, то можно утверждать, что применение ньютоновских направлений с регулировкой шага даёт глобально сходящийся алгоритм.
Когда
матрица
не положительно определена, квадратичное
приближение функции может не иметь ни
конечной точки минимума, ни иной
стационарной точки. Тогда целесообразны
модификации метода с регуляризованной
матрицей
,
типа рассмотренных выше модификаций 3
- 7 (идея Левенберга,1944), и решение на
каждой итерации системы линейных
уравнений (8.3.8) методом
сопряжённых градиентов.
10. Методы штрафных и барьерных функций
10.1.Методы преобразования
Назовем методом преобразования любой способ сведение задачи условной минимизации
(10.1.1)
к одной или
нескольким задачам
безусловной минимизации вспомогательных
функций.
В задачах математического программирования этот подход применяется с 1955 г., при этом общий вид вспомогательной функции
,
(10.1.2)
где
- вектор управляющих параметров, а
- вещественная функция, “штрафующее
воздействие” которой регулируется
(управляется) вектором
.
Точку
безусловного локального минимума
по
будем обозначать
.
Применение
методов
преобразования
состоит в задании функции
и правила оценки
так, чтобы точки
существовали, их можно было оценить
одним из алгоритмов минимизации без
ограничений и
при
.
Такие методы часто называют методами
последовательной безусловной минимизации
(МПБМ).
МПБМ распадаются на два класса. Первый класс составляют методы барьерных функций, также называемые методами внутренней точки. Для этих методов характерен поиск решения внутри допустимой области . Второй класс составляют методы штрафных функций или, иначе, методы внешней точки, использующие недопустимые точки.