Алгоритм метода наискорейшего спуска:
1.
Выбор вектора начальных приближений
и вычисление значения целевой функции
в этой точке (
).
Выбор
величины шага.
2. Вычисление нормированного вектора-градиента в этой точке.
3. Определение направления поиска по формуле
4.
Поиск любым методом одномерного поиска
точки
,
в которой функция имеет минимальное
значение (
).
5. Если выполняется условие:
,
то поиск прекращается и выводят полученные результаты. В противном случае выполняют этап 6.
6.
За новое начальное приближение принимают
найденную на этапе 4 точку (
=
,
=
)
и расчеты повторяют с пункта 2.
Выделить особенность метода: если первый же шаг из очередной начальной точки неудачен (функция возрастает), то, как правило, уменьшают шаг, т.е. h(k+1) = h(k) /z, где z > 1 . Условие окончания поиска при этом может быть записано в виде ½h(k)½ < e .
Пример: Оптимизируемая функция
f(x1,x2) = 4*(x1 - 4)2 + (x2 - 5)2 .
Начальная точка x1 = 1, x2 = 1, h = 1, e = 0.1 .
|
№ |
x1 |
x2 |
g1норм |
g2норм |
f(x1,x2) |
|
0 |
1 |
1 |
-0.9487 |
-0.3162 |
52.0000 |
|
11 |
1.9487 |
1.3162 |
- " - |
- " - |
30.4018 |
|
12 |
2.8974 |
1.6324 |
- " - |
- " - |
16.2036 |
|
13 |
3.8460 |
1.9487 |
- " - |
- " - |
9.4053 |
|
14 |
4.7947 |
2.2649 |
- " - |
- " - |
10.0071 |
|
2 |
3.8460 |
1.9487 |
-0.1979 |
-0.9802 |
9.4053 |
|
21 |
4.0439 |
2.9289 |
- " - |
- " - |
4.2972 |
|
22 |
4.2418 |
3.9091 |
- " - |
- " - |
1.4239 |
|
23 |
4.4397 |
4.8893 |
- " - |
- " - |
0.7856 |
|
24 |
4.6376 |
5.8695 |
- " - |
- " - |
2.3822 |
|
3 |
4.4397 |
4.8893 |
0.9980 |
-0.0628 |
0.7856 |
|
31 |
3.4417 |
4.9521 |
- " - |
- " - |
1.2491 |
То есть в данном случае необходимо уменьшать величину шага.
Симплексный метод
Симплексом в пространстве n переменных называется выпуклый многогранник, имеющий n+1 вершину. В первоначальном симплексном методе использовался правильный симплекс, т.е. симплекс, все ребра которого равны между собой (например, правильный треугольник).
Идея симплексного метода: выбирается начальный симплекс и в его вершинах рассчитываются значения функции. Из этих значений находится "наихудшая" точка, которую необходимо отбросить. Для этого через центр противолежащей грани строится новая вершина симплекса, симметричная отбрасываемой. При этом получается новый симплекс, причем значения целевой функции во всех вершинах (кроме полученной новой) уже известны. Среди этих вершин снова ищется вершина с "наихудшим" значением, которая также отражается и т.д.
Условием окончания расчетов в этом методе служит ситуация, которая называется "зацикливанием". Эта ситуация возникает тогда, когда значение целевой функции в только что полученной новой вершине снова становится "наихудшим". При этом отображая эту вершину через центр противолежащей грани, снова попадают на отброшенную на предыдущем шаге вершину и т.д.
В простом симплексном методе обнаружение зацикливания является признаком того, что находятся в районе экстремума. Обычно при этом (чтобы получить более точные результаты) уменьшают размер симплекса.