3.4.2.1. Метод покоординатного спуска

Сущность метода. Поиск экстремума ведется в направлении осей координат, т.е. в процессе поиска изменяется только одна координата. Таким образом многомерная задача сводится к одномерной (рис. 3.5).

Х₂

М₀

М₂

М₁

Х₁

Рис. 3.5. Метод покоординатного спуска

(М_1,2 – новые точки приближения к экстремуму)

Алгоритм метода. Первый цикл:

1 шаг. x₁ = var, х₂ = х₂⁰, х₃ = х₃⁰ , , х_n = х_n⁰ .

Ищем экстремум функции f (х₁). Положим, экстремум функции в точке х₁¹.

2 шаг. x₁ = х₁¹, x₂ = var, х₃ = х₃⁰ , , х_n = х_n⁰.

Экстремум f (х₂) равен х₂¹.



n шаг. x₁ = х₁¹, x₂ = х₂¹, x₃ = х₃¹ , , x_n = var.

В результате n шагов найдена новая точка приближения к экстремуму М₁(х₁¹, х₂¹, , х _n¹). Далее проверяем критерий окончания счета (3.15): если grad f (M₁ )    – решение найдено, в противном случае выполняем еще один цикл.

Пример 3.8. f (x₁, x₂ ) = 4 x₁² - 10 x₂² +10 x₁ x₂ - 26 x₁, M₀ = (0, 0),  = 0,1 .

Решение

1. x₁ = var, х₂ = 0, f (x₁)= 4 x₁² – 26 x₁ .

Любым известным методом находим экстремум:  , x₁¹ = 3,25.

2. x₁ = 3,25, х₂ =var, f (x₂)= -10 x₂² + 32,5 x₂ - 42,25.

x₂¹ = 1,625. M₁ = (3,25; 1,625)

3. Проверка критерия окончания счета:

( f / x₁ )² + ( f / x)² = 16,25.

M₁

Как видим, grad f (M₁)  0,1, следовательно, требуется выполнить еще хотя бы один цикл.

3.4.2.2. Метод наискорейшего спуска

Поиск экстремума ведется шагами в направлении градиента (max) или антиградиента (min). На каждом шаге в направлении градиента (антиградиента) движение осуществляется до тех пор, пока функция возрастает (убывает).

Этот метод имеет лучшую сходимость, чем предыдущий.

Допустим, требуется найти минимум функции.

Алгоритм метода:

1. Находим

grad f (M₀) = ( f / x ,  f / x₂ , ,  f / x_n ) .

M₀ (3.16)

Введем обозначения:  f / x₁ = a₁, ,  f / x_n = a_n , тогда

M₀ M₀

grad f (M₀) = (a₁, a₂, , a_n).

2. Делаем шаг в направлении антиградиента. Выражения для нахождения координат новой точки приближения к экстремуму выглядят следующим образом:

x₁¹ = x₁⁰ -  ¹ a₁,

x₂¹ = x₂⁰ - ¹ a₂, (3.17)



x_n¹ = x_n⁰ - ¹ a_n .

 ¹ – величина шага в направлении антиградиента при 1-й итерации.

3. Находим величину шага.

В направлении антиградиента движемся до тех пор, пока функция убывает. Следовательно, шаг выбирается из условия минимума функции f ( ¹). Для этого в функцию f (х₁, х₂ ,, х _n) подставляем выражения для координат новой точки: x₁¹, x₂¹, , x_n¹ . В результате получим функцию одной переменной f (¹). Минимум f (¹) находим любым известным методом поиска экстремума функции одной переменной. Полученное значение ¹ подставляем в формулы (3.17) для x₁¹, x₂¹, , x_n¹. В результате получаем точку М₁ .

4. Проверяем критерий окончания счета.

Если f (M₁) – f (M₀) , то решение в точке М₁ , иначе – требуется сделать еще шаг.

Пример 3.9. f (x₁, x₂) = x₁² – 7x₁+ x₂² – 4 x₂ - x₁ x₂ + 35, M₀ = (1, 1),  = 0,5.

Требуется найти минимум f (x₁, x₂).

Решение

1.  f / x₁ = 2 x₁ - 7 - x₂, a₁ = 21 - 7 - 1 = -6 .

f / x₂ = 2x₂ - 4 - x₁ , a₂ = 21 - 4 - 1 = -3 .

2. x₁¹ = x₁⁰ - ¹ a₁ = 1 + 6 ¹,

x₂¹ = x₂⁰ - ¹ a₂ = 1 + 3 ¹.

3. f (x₁, x₂) = f(¹) =  = 27(¹)² - 45¹ + 35.

Находим минимум f (¹), при ¹ = 5/6.

x₁¹ = 1 + 6 ¹ = 6 ,

x₂¹ = 1 + 3 ¹ = 3,5 .

M₁ = (6; 3,5).

4. f (M₁) – f (M₀) = 16,75  ,

следовательно, нужен еще шаг.