Глава 12. Методы безусловной оптимизации

12.1. Постановка задачи

Задачей многомерной безусловной оптимизации функции нескольких переменных будем называть задачу, в которой требуется найти

, (12.1)

при отсутствии ограничений на ,

где – вектор управляемых переменных,

– скалярная целевая функция.

Определение12.1. Решением или точкой минимума задачи безусловной оптимизации будем называть такой вектор , что для всех , и писать

, (12.2)

Определение12.2. Вектор называется направлением спуска функции в точке , если существует такое , что для всех .

Сущность рассматриваемых в данном разделе методов решения задачи (12.1) состоит в построении последовательности точек , принадлежащих , монотонно уменьшающих значения функции . Такие методы называют методами спуска.

Алгоритм метода спуска

Начальный этап. Задать – начальную точку, -параметр окончания счета, положить .

Основной этап.

1. В точке проверить условие окончания счета; если оно выполняется, то положить и остановиться.

2. В точке выбрать направление спуска .

3. Положить , где – длина шага вдоль направления , положить и перейти к шагу 1.

Различные методы спуска отличаются друг от друга способом выбора направления спуска и шага вдоль этого направления . Естественно, что трудоемкость вычисления величины следует согласовывать с трудоемкостью определения направления спуска .

Методы решения задач безусловной оптимизации можно разделить на группы в зависимости от уровня используемой в методе информации о целевой функции, например:

1. методы нулевого порядка, или прямого поиска, основанные на вычислении только значений функции;

2. градиентные методы, в которых используются значения функции и ее градиента, т.е. вектора, компонентами которого являются частные производные первого порядка;

3. методы второго порядка, в которых используются первые и вторые производные функции , т.е. значения , , и , где - матрица Гессе, элементами которой являются частные производные второго порядка функции ;

4. методы оптимизации квадратичных функций.

2. Первые три группы методов различаются требуемой степенью гладкости целевой функции (разрывная, непрерывная, непрерывно-дифференцируемая, дважды непрерывно-дифференцируемая), тогда как вид самой функции не оговаривается, четвертая группа ориентирована на оптимизацию функции определенного вида.

2. . Методы нулевого порядка (прямого поиска)

Для реализации методов прямого поиска требуются только значения целевой функции и не требуются значения ее производных (т.е. степень гладкости – нулевая). Очевидно, что методы прямого поиска можно применять для решения тех задач (12.1), в которых является гладкой и даже дважды гладкой, например, в тех случаях, когда вычисление производных затруднительно.

Методы прямого поиска можно разделить на эвристические и теоретические. Эвристические методы реализуют процедуры поиска с помощью интуитивных представлений, тогда как теоретические методы основаны на соответствующей математической теории.

К эвристическим методам относятся, например, метод поиска по симплексу ( - метод), метод Нелдера-Мида (метод деформируемого многогранника), метод Хука-Дживса. В данном разделе будет рассмотрен метод Хука-Дживса. К теоретическим методам нулевого порядка можно отнести, например, метод покоординатного спуска и его различные модификации, рассматриваемые в данном разделе, метод сопряженных направлений Пауэлла, который будет рассмотрен в разделе 12.4, и другие. К числу положительных свойств методов прямого поиска следует отнести относительную простоту вычислительных процедур, легкую машинную реализацию. С другой стороны, реализация методов нулевого порядка требует более значительных временных затрат по сравнению с методами высших порядков.