40.3 Градиентные методы поиска экстремума целевой функции: общая схема градиентного спуска

Градиентом многомерной функции называют вектор, который аналитически выражается геометрической суммой частных производных по отдельным координатам:

(1)

При достижении функцией экстремума (максимума или минимума)

(2)

Градиент скалярной функции в некоторой точке направлен в сторону наискорейшего возрастания функции и ортогонален линии уровня (поверхности постоянного значения , проходящей через точку ). Вектор противоположный градиенту , антиградиент, направлен в сторону наискорейшего убывания функции .

Необходимые условия экстремума (2) в общем случае представляют собой систему нелинейных алгебраических уравнений, решение кот. аналитическими методами часто связано с большими трудностями. Существо градиентных методов поиска экстремума заключается в следующем:

Выбирая в качестве направления спуска антиградиент функции в точке x_k, мы приходим к процессу вида

(3)

Или в общем виде

(4)

Все процессы, в которых направление движения на каждом шаге совпадает с антиградиентом (градиентом) функции, называют градиентными методами и отличаются друг от друга способом выбора шага .При выполнении соответствующего условия сходимости оказывается, что для любого начального выбора

(5)

Где - оптимальное значение.

Наиболее распространены три способа выбора шага: с постоянным шагом, с дроблением шага и метод наискорейшего спуска.

Методы с постоянным шагом.

Рассмотрим процесс (3). Первая проблема – это выбор шага . Достаточно малый шаг обеспечит убывание функции, т. е. выполнение (6), но может привести к неприемлемо большому количеству итераций, необходимых для достижения точки минимума. С другой стороны, слишком большой шаг может вызвать неожиданный рост функции (невыполнение условия (6)) либо привести к колебаниям около точки минимума.

Для примера рассмотрим задачу минимизации функции где a - некоторое положительное число. Тогда формула (3) примет вид .

Очевидно, что при постоянном шаге соответствующий процесс будет сходиться, если 0< < и расходиться, для > .Если принять = ,то Процесс будет расходящимся, но при этом значения аргумента (а, значит, и функции) повторяются. Расходимость такого рода обычно называют зацикливанием.

Градиентные методы с дроблением шага.

В методе градиентного спуска с дроблением шага величина выбирается так, чтобы было выполнено следующее неравенство:

(7)

Где произвольно выбранная постоянная (одна и та же для всех итераций). Очевидно, что требование (7) на выбор шага более жесткое, чем условие (6), но имеет тот же смысл: функция должна убывать от итерации к итерации. Процесс (2) с выбором шага, удовлетворяющего неравенству (7), протекает следующим образом. Выбираем число ,одно и то же для всех итераций. На итерации проверяем выполнение неравенств (7) при . Если оно выполнено, полагаем и переходим к следующей итерации. Если нет, то шаг дробим до тех пор, пока оно не выполнится.

Метод наискорейшего спуска.

Методы спуска с переменным шагом являются более экономичными. Процесс, на каждой итерации которого шаг выбирается из условия минимума функции в направлении движения, т. е.

(8) называют методом наискорейшего спуска. В этом варианте градиентного спуска на каждой итерации требуется решать задачу одномерной минимизации (8). Разумеется, этот способ выбора сложнее, чем рассмотренные ранее.

В этом методе в отличие от обычного градиентного спуска направление движения из точки касается линии уровня в точке . Последовательность точек зигзагообразно приближается к точке минимума , причем звенья этого зигзага ортогональны между собой.

Практически при реализации схемы (3) итерации прекращаются, если для всех выполнены условия типа: Где - некоторое число, характеризующее точность нахождения минимума.