1017

f(x1)

Комплексный поиск Бокса

Для реализации метода комплексного поиска Бокса используется следующий алгоритм:

1. Строится многогранник с 2n вершинами (комплекс), для чего выбирается 2n точек из пространства E n по формуле

нальная матрица псевдослучайных чисел, равномерно распределенных на интервале 0,1 .

2. Целевая функция вычисляется в каждой вершине, и вершина, в которой f (x) имеет наихудшее значение, заменяется новой вершиной, находя-

щейся на прямой, проходящей через наихудшую вершину и центр тяжести оставшихся точек.

Координаты центра тяжести можно определить по формуле

где j – номер координаты вектора xi; i – номер точки;

h – номер удаляемой точки.

61

Координаты новой точки определяются по формуле

где 1 – коэффициент отражения (например, 1,3 ).

3. Если значение f (x) в найденной новой вершине остается наихуд-

шим, то она заменяется другой, расположенной на расстоянии, равном половине расстояния от новой вершины до центра тяжести. (Если нарушается ограничение li xi ui , то новая вершина также передвигается на половину

расстояния к центру тяжести.)

4.Поиск продолжается до тех пор, пока многогранник не будет стянут

вцентр тяжести (в пределах заданной точности).

Пример 16.

Строим многогранник с 4-мя вершинами, для чего выбираем 4 точки из области определения функции по формуле (4.2).

x11(0) l1 r11 u1 l1 0 0,1 20 0 2. Аналогично

x12(0) 0 0,8 20 0 16; x13(0) 0 0,7 20 0 14;

x14(0) 0 0,5 20 0 10. Аналогично

x22(0) 6 0,2 80 6 20,8; x23(0) 6 0,3 80 6 28,2;

x24(0) 6 0,4 80 6 35,6.

Вычисляем в каждой полученной вершине значение функции и выби-

раем наихудшее.

f (2; 72,6) 289,69; f (16; 20,8) 1628,16; f (14; 28,2) 1210,81; f (10; 35,6) 604,84.

62

(наихудшее) значение; поэтому заменяем ее другой, расположенной на прямой, проходящей через нее и центр тяжести оставшихся точек.

Координаты центра тяжести рассчитаем по формуле (4.3):

xc1 13 (2 14 10) 8,6667; xc2 13 (72,6 28,2 35,6) 45,4667.

Координаты новой точки определяем по формуле (4.4), приняв 1,1: x21(1) 8,6667 1,1 (8,6667 16) 0,6;

x22(1) 45,4667 1,1 (45,4667 20,8) 77,88.

Как видим, ограничение li xi ui не нарушается; поэтому продолжим

вычисления с новой точкой.

Процесс заканчивается при выполнении условия

f (x(k 1) ) f (x(k ) ) .

Повторяющийся случайный поиск

Метод случайного поиска представляет собой выбор наилучшего направления минимизации из многих возможных, получаемых случайным путем, и переход к новой точке с минимальным значением функции в этом направлении.

Алгоритм метода.

1.Задается начальная точка x(0) .

2.Строится случайная траектория из последовательности шагов по формуле

z(k ) – вектор «предыстории», учитывающий среднее направление поиска на предыдущих шагах:

z(k 1) z(k ) 1 x(k 1) x(k ) s(k ) ;

63

3. Вектор x(k 1) будет принят или отвергнут в зависимости от того, вы-

Пример 17.

Выполнить минимизацию функции

f (x) 6x12 0,25(x2 40)2

методом повторяющегося случайного поиска. Точность вычислений

0,001.

Решение.

64

2

и т.д., процесс заканчивается, если выполняется условие

f (x(k 1) ) f (x(k ) ) .

Методы первого порядка

Рассмотрим методы поиска, в которых наряду со значениями функции

Вектор f (x(k ) ) или grad f x ортогонален линиям уровня f (x) c const ; его направление совпадает с направлением наибольшего возрастания функции f (x) в заданной точке. Следовательно, векторgrad f (x) , противоположный градиенту и называемый антиградиентом,

направлен в сторону наискорейшего убывания функции (наискорейшего спуска). В точке минимума функции grad f (x) 0 .

Метод градиентного спуска Идея метода градиентного спуска состоит в следующем. Выбираем не-

которую начальную точку и вычисляем в ней градиент рассматриваемой функции. Делаемшаг внаправлении антиградиента. Врезультатеприходим в точку, значение функции в которой обычно меньше первоначального. Если это условие не выполнено, т.е. значение функции не изменилось либо даже возросло, то нужно уменьшить шаг. В новой точке процедуру повторяем: вычисляем градиент и снова делаем шаг в обратном к нему направлении. Процесс продолжается до получения наименьшего значения целевой

65

функции. Момент окончания поиска наступит тогда, когда движение из полученной точки с любым шагом приведет к возрастанию целевой функции.

Определим итерационный процесс:

Поскольку один шаг в направлении наискорейшего спуска в общем случаенеприводитвточкуминимума f (x) , формула(4.5) должнаприменяться

многократно до тех пор, пока не будет достигнут минимум. В точке минимума f x(k) .

Процедура поиска может закончиться в стационарной точке (в которойf x(k ) 0 ) различноготипа. Поэтомуиногдаследуетопределять, является

ли данная точка точкой локального минимума (т.е. решением) или седловой точкой. Если это седловая точка, то необходимо выйти из нее, применив ка- кой-либо метод нулевого порядка, после чего минимизация может опять

является положительно-определенной, то имеем точку минимума, иначе стационарная точка является седловой.

Критерий окончания поиска основывают:

a) на значении f (x) (когда уменьшение функции не происходит ни в одном направлении);

b) на значении f x(k ) (когда вектор f x(k ) близок к 0):

66

Важным вопросом является выбор величины шага (k ) . Обычно используется один из следующих способов выбора вектора (k ) :

1)(k) const;

2)(k ) 0 при k ;

3)целевая функция минимизируется по :

min f x(k ) s(k ) .

Для этого значение может быть вычислено из уравнения

каким-либо численным методом.

Теорема сходимости градиентного метода минимизации.

Если f (x) – выпуклая функция, имеющая производные до третьего по-

рядка, то метод наискорейшего спуска сходится из любого начального приближения.

При использовании градиентного спуска в задачах оптимизации основной объем расчетов приходится обычно на вычисление градиента целевой функции в каждой точке траектории спуска. Поэтому целесообразно уменьшить количество таких точек без ущерба для самого уравнения. Это дости-

гаетсявметоденаискорейшегоградиентногоспуска(рис. 8) следующимоб-

разом. После определения в начальной точке направления, противоположного градиенту целевой функции, делают не один шаг, а несколько, продолжая двигаться в этом направлении, пока целевая функция убывает, таким образом достигая минимума по направлению в некоторой точке. В этой точке снова определяют направление спуска (с помощью антиградиента) и ищут новую точку минимума целевой функции и т.д. В этом методе спуск происходит гораздо более крупными шагами, и градиент вычисляется в меньшем числе точек.

Рис. 8. Иллюстрация метода наискорейшего градиентного спуска

67

нут на 90-й итерации.

68

Пример 19.

Решить задачу из примера 18 методом наискорейшего градиентного спуска.

Решение.

Используя условия примера 18, имеем

Далееиспользуемужевыбранноена1-мшагенаправление, т.е. небудем пересчитывать градиент для точек x(k 1) на последующих итерациях до тех

Следовательно, x(3) отбрасываеминаходимградиентвточке x(2) и, подставив его значение в итерационную формулу, определяем следующее направление минимизации.

Процесс продолжается до достижения требуемой точности решения. В табл. 17 представлено 4 шага оптимизации:

Таблица 1 7

69

Сравнивая табл. 16 и 17, можно увидеть, что в методе наискорейшего градиентного спуска процесс минимизации происходит гораздо более крупными шагами и градиент вычисляется в меньшем числе точек.

Метод сопряженного градиента Флетчера – Ривса

Пусть Qn n – положительно-определенная матрица; тогда, если для век-

торов s(k ) s1(k ) , ..., sn(k ) и s(k 1) s(k 1) , ..., sn(k 1) выполняется равенство s(k ) Q (s(k 1) )T 0 , то векторы s(k ) и s(k 1) называются сопряженными по

направлению.

Известно, что использование сопряженных направлений на каждом шаге минимизации приводит к хорошему результату. При этом в качестве матрицы Q при вычислении сопряженных направлений применяется мат-

рица Гёссе 2 f .

Известен следующий алгоритм метода сопряженного градиента Флетчера – Ривса для минимизации функции (рис. 9):

1)задается точка x(0) ;

2)вычисляется s(0) f (x(0) ) ;

3)наk-мшагеспомощьюодномерногопоискавнаправлении s(k ) находится минимум функции f (x) , что определяет точку x(k 1) ;

4)вычисляются f (x(k 1) ) и f (x(k 1) ) ;

5)направление поиска s(k ) определяется по формуле

величина.

Замечание. Выбор величины шага (k ) , как и в других градиентных методах, возможен одним из следующих способов: 1) (k ) const; 2) (k ) 0

при k ; 3) целевая функция минимизируется по : min f x(k ) s(k ) .

70