4.4. Градиентный метод

Для поиска экстремума непрерывной дифференциальной нелинейной функции широкое применение имеет градиентный метод. Существуют различные его модификации. Рассмотрим суть градиентного метода.

Г радиент – это вектор, указывающий направление в пространстве переменных, в котором функция возрастает быстрее всего. Пусть в точке 1 функция имеет значение F₁. Предположим, что мы нашли градиент grad F₁, в котором функция возрастает быстрее всего, значит в обратном направлении она быстрее всего убывает. Пройдем немного в обратном направлении и придем во вторую точку, в которой F₃ > F₁ . Если затем во второй точке определить новый градиент и опять сделать шаг в обратном направлении, то пойдем в третью точку, в которой F₃ > F₂. Двигаясь таким образом мы можем попасть в минимум целевой функции.

Итак, под градиентными методами понимают методы, в которых направления движения к точке оптимума функции определяются направлением градиента этой функции. Использование градиентных методов для решения задач нелинейного программирования в общем случае позволяет найти точку локального экстремума. Глобальный минимум можно найти для выпускных функций и выпуклых ОДР.

Рассмотрим простейший случай, когда имеет функцию от двух переменных: – это выпуклая поверхность, которая имеет минимальное значение .

Пересечем ее двумя плоскостями F₁ = C₁ и F₂ = C₂ и получим в пересечении замкнутые линии равного значения целевой функции, они называются линиями одного уравнения или изолиниями. Спроектируем их на плоскость X₁0X₂. При любых значениях х₁ и х₂ целевая функция на изолинии имеет одно и то же значение.

Г радиент всегда изолинии в точке его определения.

grad F = G - вектор, компоненты которого: ; ;

← интерпространство

При n > 2 мы имеем многомерное пространство. Для иллюстрации будем представлять двумерное пространство.

Зададимся начальными значениями и найдем значение и в точке, определяемой этими координатами. Затем нам нужно двигаться по прямой в обратном направлении . Для этого воспользуемся параметрическими условиями прямой, проходящей через начальную точку , т.е. определять координаты новой точки I и , которая находится ближе к F^*.

Из высшей математики параметрические уравнения прямой:

,

где а и b – компоненты вектора направления,

t - параметр или шаг движения по прямой.

Вместо а и b подставляем компоненты вектора направления G c обратным знаком и получаем:

.

При t = 0 имеем начальную точку, при t > 0 приходим в точку I с координатами и .

Важнейшая задача, которую нужно решать - это выбор шага t. Если выберем маленький шаг, то будем медленно приближаться к минимуму, не рискуя проскочить его.

1 -2-3-4-5-6 – траектория движения к оптимуму в случае малых шагов. Если функция вытянута и много переменных, то будим делать много шагов, и процесс будет медленно сходиться.

Надо применять более “смелую“ стратегию, которой обладает метод наискорейшего спуска.