Решение задач многомерной оптимизации методом конфигураций (метод хука-дживса)

Градиентные методы медленно сходятся, когда поверхности уровня целевой функции сильно вытянуты. Это свойство известно в литературе как эффект «оврагов» или эффект «гребней».

Суть эффекта состоит в том, что небольшое изменение одних переменных приводит к резкому изменению значения целевой функции. Эта группа переменных характеризует «склон оврага». По другим же переменным, задающим направление «дна оврага», целевая функция изменяется незначительно.

Обычно траектория градиентного метода характеризуется быстрым спуском на «дно оврага» и затем медленным зигзагообразным движением по «дну оврага» к точке минимума. Метод конфигураций позволяет значительно ускорить процедуру поиска минимума целевой функции.

Поиск начинают из некоторой произвольно выбранной точки (рис.1) и ведут шагамипо каждой независимой переменной. Подследует понимать радиус вектор этой точки, а подтакже вектор, все составляющие которого, кроме, равны нулю.

Сначала проверяется точка . Если целевая функция в этой точке имеет меньшее значение, чем в точке, то эта точка называется временной вершиной и обозначается через. Если целевая функция в точкеимеет большее значение, то проверяется точка. Может оказаться, что обе точки будут непригодными, т.е. целевая функция будет иметь большее значение, чем в начальной точке. В этом случае временной вершиной будет являться сама точка.

Рис.1-Графическое представление процесса поиска

Двойной индекс временной вершины означает, что ведется 1-ый этап поиска и первые шаги выполнялись по 1-ой независимой переменной.

Далее аналогичным образом выполняются пробные шаги по второй независимой переменной .

В общем случае для временной вершины , полученной продвижением из временной вершиныможно записать:

В результате 1-го этапа поиска по всем независимым переменным будут последовательно найдены вершины . Временную вершинуназывают второй базовой точкой и обозначают через.

Дальнейшая процедура поиска основывается на следующей гипотезе. Считается, что для скорейшего продвижения к точке минимума из новой базисной точки нужно продвигаться в том же направлении, что и на предыдущем участке. Опираясь на эту гипотезу, отказываются от выполнения пробных шагов в районе базовой точки, а сразу продвигаются в направлении векторана двойную его длину (отсчет ведется от точки). В результате такого продвижения получаем вершину.

Двойной индекс означает:

2 - ведется второй этап поиска;

0 - изменению не подвергается ни одна из независимых переменных.

В районе временной вершины аналогичным образом выполняют пробные шаги по всем независимым переменным. Временную вершинуназывают третьей базовой точкой и обозначают.

Далее также в районе точки отказываются от выполнения пробных шагов, а сразу, продвигаются в направлении векторана двойную его длину. В результате получаем точку.

Пусть в результате выполнения пробных шагов в районе временной вершины оказалось, что. Это приводит к изменению направления движения к оптимуму, и в результате движения по этому направлению получаем временную вершину.

Пусть в результате выполнения пробных шагов в районе временной вершины , оказалось, что. Кроме того, пусть. Тогда временная вершинаназывается 5-ой базисной точкой и обозначается.

Далее аналогичным образом продвигаемся в направлении вектора на двойную его длину и получаем временную вершину.

В результате выполнения пробных шагов в районе временной вершины оказалось, что, кроме того. В этом случае считают, чтосовпадает с базовой точкой. На этом первый цикл поиска заканчивается.

Второй цикл поиска начинается из базовой точки , причем сначала в районе базовой точкивыполняются пробные шаги той же длины, что и на предыдущем цикле вычислений. Если все они будут неудачными, то размер шага по каждой независимой переменной уменьшается в несколько раз и процедура вычислений повторяется. Поиск прекращается, как только размер шага по каждой переменной не будет превышать некоторой достаточно малой величины.