3.4.2.1. Метод покоординатного спуска

Сущность метода.

Поиск экстремума ведется в направлении осей координат, т.е. в процессе поиска изменяется только одна координата. Таким образом, многомерная задача сводится к одномерной (рис. 3.6).

Рис. 3.6. Метод покоординатного спуска

(– новые точки приближения к экстремуму)

Алгоритм метода.

Первый цикл:

1 шаг. x₁ = var, х₂ = х₂⁰, х₃ = х₃⁰,х_n = х_n⁰.

Ищем экстремум функции f(х₁). Положим, экстремум функции в точке х₁¹.

2 шаг. x₁ = х₁¹, x₂ = var, х₃ = х₃⁰,х_n = х_n⁰.

Экстремум f(х₂) равен х₂¹.



n шаг. x₁ = х₁¹, x₂ = х₂¹, x₃ = х₃¹,x_n = var.

В результате выполнения n шагов найдена новая точка приближения к экстремуму .

Далее проверяем критерий окончания счета (3.15):

если – решение найдено, в противном случае выполняем еще один цикл.

Пример 1.

f(x₁, x₂)= 4x₁² – 10x₂² +10x₁ x₂ – 26x₁

= (0, 0),  = 0,1.

Решение

1. x₁ = var, х₂ = 0, f(x₁)= 4x₁² – 26x₁.

Любым известным методом находим экстремум: x₁¹ = 3,25.

2. x₁ = 3,25, х₂ = var, f(x₂)= –10x₂² + 32,5x₂ – 42,25.

x₂¹ = 1,625

= (3,2; 1,625)

3. Проверка критерия окончания счета:

Как видим, , следовательно, требуется выполнить еще хотя бы один цикл.

Пример 2.

f(x₁, x₂)= 5x₁² + 5x₂² – 4x₁ x₂ – x₁ – x₂

= (1, 1),  = 0,01.

Решение.

1. x₁ = var, х₂ = 1 f(x₁)= 5x₁² – 5x₁ + 4.

Любым известным методом находим экстремум:

2. x₁ = 0,5, х₂ = var, f(x₂)=0,75 – 3 x₂ + 5x₂².

x₂¹ = 0,3б

= (0,5; 0,3).

3. Проверка критерия окончания счета:

2,8 > ε = 0,01.

Видим, , следовательно, требуется выполнить еще хотя бы один цикл.

3.4.2.2. Метод наискорейшего спуска

Поиск экстремума ведется шагами в направлении градиента (max) или антиградиента (min). На каждом шаге в направлении градиента (антиградиента) движение осуществляется до тех пор, пока функция возрастает (убывает).

Этот метод имеет лучшую сходимость, чем предыдущий.

Допустим, требуется найти минимум функции.

Алгоритм метода.

1. Находим

. (3.16)

Введем обозначения:

тогда

2. Делаем шаг в направлении антиградиента. Выражения для нахождения координат новой точки приближения к экстремуму выглядят следующим образом:

(3.17)

где ¹ – величина шага в направлении антиградиента при 1-ой итерации.

3. Нахождение величины шага.

В направлении антиградиента движемся до тех пор, пока функция убывает. Следовательно, шаг выбирается из условия минимума функции f(¹).

Для этого в функцию f(х₁, х₂х_n) подставляем выражения для координат новой точки (3.17).

В результате получим функцию одной переменной f(¹). Минимум f(¹) находим любым известным методом поиска экстремума функции одной переменной.

4. Полученное значение ¹ подставляется в формулы (3.17). В результате получаем точку X₁ = (x₁¹,,x_n¹).

5. Проверка критерия окончания счета.

Если , то решение в точке, иначе – требуется сделать еще шаг.

Пример 1.

f(x₁, x₂) = x₁² – 7x₁ + x₂² – 4x₂ – x₁x₂ + 35, = (1, 1), = 0,5.

Требуется найти минимум f(x₁, x₂).

Решение.

1. = 2x₁ – 7 – x₂, a₁ = 21 –7 –1 = –6.

= 2x₂ – 4 – x₁, a₂ = 21 –4 –1 = –3.

2. x₁¹ = x₁⁰ – ¹ a₁ = 1 + 6¹

x₂¹ = x₂⁰ – ¹ a₂ = 1 + 3¹

3. f(x₁, x₂)= f(¹) =  = 27(¹)² – 45¹ + 35.

Находим минимум f(¹): ₁¹ = 5/6.

x₁¹ = 1 + 6¹ = 6,

x₂¹ = 1 + 3¹ = 3,5.

(6; 3,5)

4. , следовательно, нужен еще шаг.

Пример 2.

Найти безусловный экстремум методом наискорейшего спуска

F(x₁,x₂) = 5x₁² – 4x₁x₂ + 5x₂² – x₁ – x₂;

Х₀ (1;1);

ε = 0,01.

Тип экстремума минимум f(x₁, x₂).

Решение

1. = 10x₁ – 4x₂, – 1, a₁ = 101 – 41 – 1= 5,

= –4x₁ +10x₁ – 1, a₂ = –41 + 101 – 1 = 5.

2. x₁¹ = x₁⁰ – ¹ a₁ = 1 – 5¹

x₂¹ = x₂⁰ – ¹ a₂ = 1 – 5¹

3. f(x₁, x₂)= f(¹) = 50 – 300¹

Находим минимум f(¹): ¹ = 1/6.

x₁¹ = 1 – 5¹ = 1/6,

x₂¹ = 1 – 5¹ = 1/6.

Х₁ (1/6; 1/6).

4. f(Х₁) – f(Х₀)= 4,167 > ε, следовательно, нужен еще шаг.