2.4.1Градиентные методы

Рассмотрим функцию n переменных f(x₁,x₂,...,x_n)=f(X).

Градиент - вектор компонентов , обозначаемый обычно .

В методе покоординатного спуска осуществляется поиск минимума по фиксированным направлениям. Кажется разумным попытаться модифицировать этот метод таким образом, чтобы на каждом шаге поиск точки оптимума производился вдоль «наилучшего» направления. При этом известно, что направление градиента является направлением наискорейшего возрастания функции. Следовательно, противоположное направление является направлением наискорейшего убывания функции (направление проекции градиента в любой точке перпендикулярно линии постоянного уровня целевой функции, рис. 2.9).

Рис. 2.34 Проекция градиента.

Если задана начальная точка b₁, то переход в точку b₂ производится по направлению противоположному направлению градиента (в точке b₁), которое можно вычислить аналитически или численно. Задача состоит в определении частных производных и формировании вектора смещений по осям (X)=x₁, x₂,..., x_n пропорционально их величине, b₂= b₁+(X). Повторяя данную процедуру, можно придти в точку минимума по кратчайшему пути (рис.2.10).

2.5 Рис. 2.35 Градиентный метод. Оптимизация с ограничениями.

Общая задача оптимизации с ограничениями является очень сложной и до сих пор не имеет общего решения (решена для частных случаев).

Для многих задач характерны линейные ограничения, которые формируют выпуклую допустимую область изменения управляемых. Область называется выпуклой, если отрезок прямой, соединяющий любые две ее точки, принадлежит этой области. Область, показанная на рис.2.10.а - выпуклая, а на рис.2.10.б - невыпуклая.

Для выпуклых (вогнутых) целевых функций существует единственное опти­мальное решение. При выпуклой допустимой области изменения управляемых переменных единственность оптимального решения сохраняется и его можно найти.

При невыпуклой допустимой области даже выпуклая целевая функция, имеющая одну точку минимума при отсутствии ограничений, может стать многоэкстремальной (точки А и В на рис. 2.10.б), что существенно осложняет решение оптимизационной задачи.

Рис. 2.36 Выпуклая и невыпуклая допустимая области

Метод штрафных функций. Основная идея метода штрафных функций состоит в пре­образовании задачи минимизации функции F(X) с соответствующими ограничениями, нало­женными на X, в задачу поиска минимума без ограничений функции F(X)+P(X).

Функция P(Х) является штрафной. Необходимо, чтобы при нарушении ограничений она «штрафовала» функцию F(X), то есть увеличивала ее значение. В этом случае минимум F(X) +P(X) будет находиться внутри области ограничений.

Функцию P(Х) можно представить различным образом, например:

,

где r - по­ложительное число, - нарушение ограничения по i -й переменной.

Если X принимает только допустимые значения, для которых P(X)=0, то функция Z принимает значения, равные соответствующим значениям F (истиной целевой функции данной задачи). Но если X принимает значения, которые не являются допустимыми, значения функции Z и, следовательно, значения функции F становятся очень велики.

Рис. 2.37 B - минимум функции F(x_i) без ограничений, A - то же, с ограничениями

Влияние функции P(X) состоит в создании «гребня с крутым краем» вдоль каждой границы области ог­раничений (рис. 2.11). Если поиск минимума функции Z без ограничений начинается из допустимой точки, то этот минимум будет достигаться внутри допустимой области для задачи с ограничениями. Таким образом, можно сделать точку минимума функции Z без ограничений точкой минимума функции F с ограничениями.

Формально метод штрафных функций решает все проблемы, однако при практической его реализации встречаются серьезные трудности: медленная сходимость, ненадежность и грубость результатов. При этом, для ряда задач оптимизации в силу характерных особенностей целевой функции и ограничений можно реализовать поиск оптимального решения без выхода за границу допускаемой области. Для задач такого типа (очень распространенных) были разработаны специальные методы оптимизации.