5.3.2. Метод сопряженных градиентов
Метод предназначен для решения задачи (5.1) и принадлежит классу методов первого порядка. Метод представляет собой модификацию метода наискорейшего спуска (подъема) и автоматически учитывает особенности целевой функции, ускоряя сходимость.
Описание алгоритма
Шаг
0. Выбирается точка начального
приближения
,
параметр длины шага
,
точность решения
и вычисляется начальное направление
поиска
.
Шаг
k. На k-м
шаге находится минимум (максимум) целевой
функции
на прямой, проведенной из точки
по направлению
.
Найденная точка минимума (максимума)
определяет очередное k-е
приближение
,
после чего определяется направление
поиска
. (5.4)
Формула (5.4) может быть переписана в эквивалентном виде
.
Алгоритм
завершает свою работу, как только
выполнится условие
;
в качестве решения принимается значение
последнего полученного приближения
.
5.3.3. Метод Ньютона
Метод
предназначен для решения задачи (5.1) и
принадлежит классу методов второго
порядка. В основе метода лежит разложение
Тейлора целевой функции
и то, что в точке экстремума
градиент функции равен нулю, то есть
.
Действительно, пусть некоторая точка лежит достаточно близко к точке искомого экстремума . Рассмотрим i-ю компоненту градиента целевой функции и разложим ее в точке по формуле Тейлора с точностью до производных первого порядка:
. (5.5)
Формулу
(5.5) перепишем в матричной форме, учитывая
при этом, что
:
, (5.6)
где
матрица
Гессе целевой функции в точке
.
Предположим,
что матрица Гессе
невырождена. Тогда она имеет обратную
матрицу
.
Умножая обе части уравнения (5.6) на
слева, получим
,
откуда
. (5.7)
Формула (5.7) определяет алгоритм метода Ньютона: пересчет приближений на k-й итерации выполняется в соответствии с формулой
. (5.8)
Алгоритм заканчивает свою работу, как только выполнится условие
,
где
заданная
точность решения; в качестве решения
принимается значение последнего
полученного приближения
.
5.3.4. Метод Ньютона-Рафсона
Метод является методом первого порядка и предназначен для решения систем n нелинейных уравнений c n неизвестными:
(5.9)
В частности, этот метод может быть применен при поиске стационарных точек целевой функции задачи (5.1), когда необходимо решить систему уравнений из условия .
Пусть
точка
есть решение системы (5.9), а точка
расположена вблизи
.
Разлагая функцию
в точке
по формуле Тейлора, имеем
, (5.10)
откуда
(по условию
)
вытекает
, (5.11)
где
матрица
Якоби вектор-функции
.
Предположим, что матрица Якоби
невырождена. Тогда она имеет обратную
матрицу
.
Умножая обе части уравнения (5.11) на
слева, получим
,
откуда
. (5.12)
Формула (5.12) определяет алгоритм метода Ньютона-Рафсона: пересчет приближений на k-й итерации выполняется в соответствии с формулой
. (5.13)
В
случае одной переменной, когда система
(5.9) вырождается в единственное уравнение
,
формула (5.13) принимает вид
, (5.14)
где
значение
производной функции
в точке
.
На рис. 5.2 показана схема реализации метода Ньютона-Рафсона при поиске решения уравнения .
Рис. 5.2
Замечание 5.1. Сходимость численных методов, как правило, сильно зависит от начального приближения.
Замечание 5.2. Методы Ньютона и Ньютона-Рафсона требуют большого объема вычислений (надо на каждом шаге вычислять и обращать матрицы Гессе и Якоби).
Замечание 5.3. При использовании методов обязательно следует учитывать возможность наличия многих экстремумов у целевой функции (свойство мультимодальности).