Градиентные методы поиска
Этот
метод первого порядка, который использует
информацию о производной функции
.
Значения
или критерия идентификации должны быть
дифференцируемы на
(во всем n
– мерном пространстве), т.е. иметь
градиент в любой точке этого пространства.
Алгоритм метода – выражение (30):
(30)
Т.к.
– го приближения формируется на основании
точных
приближений и поправки – второе
слагаемое в (30)
– скаляр, показывающий величину
шага(длину) перемещений из точки
в точку
;
– градиент, указывающий направление
от точки
приближения к точке
–
го приближения. Т.к. значение (-1), то
направление осуществляется вдоль
антиградиента.
Точка
начального приближения
задается
методом приближения к оси.
a)
– простейший градиентный метод;
б)
– метод наискорейшего спуска;
в)
–градиентный метод с дроблением шага.
Неравенство – условие спуска.
Задаются
величины
,
обычно
.
Проверка выполнения условия спуска.
Если выполняется,
не меняют. Если не выполняется, то шаг
дробят до выполнения условия.
Особенности: градиентные методы эффективные с точки зрения скорости сходимости, на начальных этапах оптимизационной процедуры, когда критерий идентификации хорошо аппроксимирует линейную зависимость. В окрестности точки минимума, где градиент близок к нулю, данный метод требует множество итераций для уточнения окрестности точки минимума.
Градиентный
метод для произвольной функции
сходится к множеству стационарных
точек, а не к точке минимума. Стационарной
является точка, удовлетворяющая нулевому
градиенту, т.е. градиент
равен
нулевому вектору.
Метод сопряженных направлений
Метод
сопряженных направлений – это метод,
использующий процедуру формирования
точек, в которых
определяется оптимальным образом, а
вектор
– система
сопряженных направлений (векторов).
Один из способов формирования системы сопряженных направлений следующий:
(первое
сопряженное направление – антиградиент);
Если
критерий идентификации
- квадратичная функция вида:
.
где – неизвестный вектор;
– неизвестная
квадратичная симметричная матрица, то
сопряженный вектор удовлетворяет
следующим условиям:
и
тогда
– скалярная
величина.
Если функция является квадратичной, то алгоритм сопряженных направлений является конечношаговым и достигает точки минимума любой точки начального приближения.
Если функция отлична от квадратичной, то формирование сопряженных направлений осуществляется по тем же формулам, но:
.
Особенности: метод сопряженных градиентов сходится к точке минимума для любой функции .
Метод Ньютона
Используются
как первые, так и вторые производные
функции
.
Первая производная представляется
градиентом, вторые – матрицей ИССЭ
(квадратичной
,
симметричной матрицей, составленной
из вторых частных производных):
.
Алгоритм:
Метод является самым «быстрым» – наибольшая скорость сходимости к точке минимума.
Недостатки:
трудоемкость вычисления обратной матрицы
метод Ньютона не из каждой точки начального приближения сходится в точке минимума. Метод не относится к методу спуска. Поэтому часто используется модифицируемый метод:
На каждом шаге параметр подбирается таким образом, что выполняется условие спуска. В этом случае модифицируемый метод Ньютона становится не критичным к выбору точки начального приближения.