Для повышения эффективности метода используется возможность растяжения и сжатия симплекса. При этом в выражении (4.23) Нелдер и Мид рекомендуют использовать α = 3 (растяжение) и α = 1,5 (сжатие), как показано на рис. 4.9.

4.2.2. Градиентные методы. Метод наискорейшего спуска. Градиентные методы основаны на использовании градиента целевой функции и носят итеративный характер, так как составляющие градиента оказываются нелинейными функциями управляемых переменных. Во всех методах итерационная процедура

ния к точке xk ; αk – параметр, характеризующий длину шага. Различные методы

отличаются способом определения S k и αk на каждой итерации. Обычно αk находится из условия обеспечения экстремального значения функции F(x) в рас-

сматриваемом направлении S k , для чего используются алгоритмы одномерного поиска.

Далее везде предполагается, что F(x), F(x) и 2 F(x) существуют и

непрерывны.

В методе наискорейшего спуска направление движения при поиске минимума F(x) задается вектором антиградиента – F(x) функции F(x) в рассматри-

ваемой точке, т.е. итерационная процедура поиска реализуется в соответствии с выражением xk +1 = xk − αk F(xk ), где αk – параметр, характеризующий длину шага.

Предполагается, что компоненты градиента могут быть записаны в аналитическом виде или с достаточно высокой точностью вычислены при помощи численных методов.

Выбор величины шага αk осуществляется путем решения задачи минимизации F(x) в направлении − F(x) с помощью одного из методов одномерного по-

иска. Если компоненты вектора градиента заданы аналитически, то значение αk , при котором достигается экстремум функции, может быть найдено из условия

F(xk +1)T F(xk ) = 0. Преимущество метода в том, что при переходе от шага к

68

Последовательность точек x0 , x1 , x2 … сходится к точке минимума x* , при этом F(x0 ) > F(x1 ) > F(x2 ) … .Чем ближе линии уровня к окружности, тем луч-

ше сходится метод наискорейшего спуска. Метод медленно сходится в тех случаях, когда линии уровня сильно вытянуты и имеют так называемый овражный ха-

поиска.

Работа алгоритма завершается, когда норма вектора градиента F(xk ) или норма вектора xk+1 − xk становится достаточно малой. (Норма произвольного

n

вектора а определяется выражением a = aT a = ∑ai2 .)

i=1

Скорость сходимости метода при решении некоторых задач является недопустимо низкой. Это связано с тем, что изменения переменных непосредственно зависят от величины градиента, которая стремится к нулю в окрестности точки минимума. Поэтому метод наискорейшего спуска эффективен при поиске на

значительных расстояниях от точки минимума x* и плохо работает в окре-

стности этой точки, он часто используется при реализации градиентных методов в качестве начальной процедуры.

В алгоритме MATLAB одномерный поиск происходит путем вычисления F в нескольких точках и использования полиномиальной интерполяции.

Градиент функции в точке x0 будет F(x0 )Т =[8,6].

1-й шаг. Движение осуществляется из точки x0 вдоль вектора F(x0 ) в новую точку x1:

70

Начало

Задать

Рис. 4.11. Блок-схема алгоритма метода наискорейшего спуска

Величину шага α0 найдем из условия:

71

Составляющие вектора F(x2 ) определяются следующими значениями:F(x2 )Т = [0,32; 0,24]. Для нахождения точки экстремума следует сделать ещё один шаг, в результате которого истинная точка экстремума определится коорди-

натами x* = [3, 3], Fmax = 45.

В общем случае процедура поиска продолжается до тех пор, пока все составляющие вектора градиента не станут достаточно малыми, т.е.

где ε – точность решения задачи.

Графическая интерпретация процесса решения примера 45 приведена на рис. 4.12.

Следует обратить внимание на то, что очередная точка лежит на направлении вектора градиента и каждое последующее направление перпендикулярно предыдущему.

72

Пример 4.6. Найти точку минимума F(x) = x1 − 4x1x2 + 4x12 + 3x22 , если x0 =[0,0].

1-й шаг. Определяем направление движения S 0 из начальной точки x0 .

F(x)T = g(x)T = ∂F , ∂F =[1− 4x2 +8x1;−4x1 + 6x2 ], тогда S0 = -g0 = [-1, 0].∂x1 ∂x2

2-й шаг. Координаты очередной точки х1 представим следующим образом:

74