Лекция 19 Поисковые методы оптимизации

Для решения большинства задач нелинейного программирования, заданных в общей форме (см. лекцию 18), используются поисковые методы оптимизации. Эти методы позволяют, отправляясь от некоторого начального значения и двигаясь в направлении градиента целевой функции, получить последовательно значения, которые находятся все ближе к искомой точке экстремума (максимума или минимума).

1. Непосредственные градиентные методы

Математически, градиент целевой функции Q в точке

выражается в виде формулы ,

(19.1)

где e_i – орты осей переменных x_i.

При сложных моделях частные производные в (19.1) не могут быть определены аналитически. Поэтому производится их приближенное вычисление: придавая всем x_i поочередно приращения , вычисляют соответствующие приращения .

1.1. Поиск решения задачи оптимизации градиентным методом

Решение производится следующим образом, графически изображенным на рис.19.1.

Рис. 19.1. Поиск оптимума градиентным методом

В исходной точке А определяется градиент gradQ и делается шаг в направлении градиента. В новой точке В, которая получена после первого шага, снова определяется градиент, делается шаг в его направлении и т.д. до экстремума (максимума или минимума) или до границы области допустимых решений.

1.2. Метод поиска наискорейшего спуска (подъема)

Для ускорения поиска оптимума по градиенту применяется метод наискорейшего спуска (подъема), иллюстрация которого приведена на рис.19.2.

Рис. 19.2. Метод наискорейшего спуска (подъема)

По этому методу в исходной точке А производится вычисление градиента. После этого осуществляется движение по прямой линии, совпадающей с направлением градиента Q. Движение по этой прямой идет до точки Б, в которой прекращается возрастание (убывание) целевой функции Q. В этой точке снова определяется градиент, и движение идет по направлению этого нового градиента и т.д., пока не достигнуты экстремум Q или граница допустимой области.

2. Поиск по способу «оврагов»

Этот метод применяется в случаях, когда поверхность целевой функции имеет сложную «овражную» форму. Геометрическая иллюстрация этого метода показана на рис. 19.3.

Рис. 19.3. Движение по оврагу

Из исходной точки А₀ осуществляется движение по градиенту Q до точки В₀, где целевая функция начинает мало меняться (приращение за один шаг меньше малой величины ). Затем в стороне от А₀ выбирается другая исходная точка А₁ и из нее осуществляется движение по градиенту Q до точки В₁, где Q начинает мало меняться. После этого делается по прямой В₀В₁ шаг по «оврагу» до точки А₂ и т.д.

3. Метод зигзагообразного поиска

Этот метод применяется, когда движение по градиенту целевой функции Q натыкается на границу ограничений и возникает проблема дальнейшего поиска экстремума в допустимой области (см. рис. 19.4).

Рис. 19.4. Метод зигзагообразного поиска вдоль границы ограничений

По этому методу после того, как пересекается граница допустимой области, производится возвращение в допустимую область путем движения в направлении вектора , представляющего собой сумму градиентов нарушенных ограничений R_j.

(19.2)

Как только текущая точка поиска снова окажется в допустимой области, движение по сменяется на движение по направлению градиента Q.