7. Градиентные методы

7.1.Градиентный метод

7.1.1.Итерационная схема метода

Определение. Метод минимизации непрерывно дифференцируемой функции , направление спуска которого определяется антиградиентом

(7.1.1)

называется градиентным методом.

Градиентному методу соответствует следующая итерационная схема:

(7.1.2)

Рассмотрим три основные модификации метода, определяемые выбором шага .

7.1.2.Основные модификации метода

Модификация 1. .

Тогда длина шага поиска

. (7.1.3)

Неудачный выбор может привести к случаю, когда итерационная схема (7.1.2) генерирует последовательность точек , не сходящихся к стационарной точке .

Следовательно, априорный выбор не рационален и следует более осторожно выбирать , например, в соответствии с условием

. (7.1.4)

Однако при увеличении всегда наступит момент, когда и условие (7.1.4) не выполнится и, следовательно, необходимо уменьшить . Вместе с тем, априорный выбор настолько малого, что выполнение условия (7.1.4) гарантируется для всех , невозможен. Это соображение приводит к мысли, что должно соответственно изменяться в процессе поиска, но это противоречит идее выбора .

Модификация 2. , .

Длина шага поиска

. (7.1.5)

Ясно, что эта модификация приведёт только в - окрестность точки .

Модификация 3. , .

Длина шага поиска

(7.1.6)

уменьшается пропорционально модулю значения функции по мере приближения к точке минимума, но сам выбор такого лишь немногим лучше двух предыдущих.

7.2.Оптимальный градиентный метод

7.2.1.Итерационная схема метода

Недостатки рассмотренных выше модификаций градиентного метода частично устраняются при использовании оптимального градиентного метода или, иначе, метода наискорейшего спуска Коши (Cauchy,1845,1847), которому соответствует итерационная схема:

(7.2.1)

Отметим, что понятие оптимальности здесь обусловлено выбором точки , лежащей на прямой и являющейся на этой прямой точкой минимума или оптимума функции.

Движение к точке минимума функции в оптимальном градиентном методе производится зигзагообразно, причем последовательные направления поиска, например, и , при точном определении и являются ортогональными или

. (7.2.2)

Этот результат легко объяснить, если учесть, что вектор , поскольку точка была определена путём минимизации функции .