1.5.3. Яружні методи (Метод Гельфанда)

Ідея методу Гельфанда

Друга евристична схема, запропонована И.М. Гельфандом, полягає в наступному.

Нехай х₀ і  — дві довільні близькі точки. З х₀ роблять звичайний градієнтний спуск із постійним кроком і після декількох ітерацій з малим кроком  потрапимо в точку u₀. Аналогічно робимо для точки , одержуючи точку . Дві точки u, лежать в околиці «дна яру». З'єднуючи їх прямою, робимо «великий крок»  в отриманому напрямку, переміщаючись «уздовж дна яру» (крок  називають яружним кроком). У результаті одержуємо точку х₁. У її околиці вибираємо точку й повторюємо процедуру.

х₀

Рис. 9.

Схема алгоритму яружного методу 1

Алгоритм яружного методу 1.

Крок 1.

Уводяться

х₀ — початкове наближення,

₁ і ₂ — точність розв’язання,

 — крок для градієнтного спуску,

 — початкове значення для яружного кроку.

Із точки х₀ здійснюється градієнтний спуск з постійним кроком  на дно яру. В результаті виходить точка u₀. Покладається k=0.

Крок 2.

В околиці х_к береться точка і з неї здійснюється градієнтний спуск. В результаті отримується точка .

Крок 3.

Нова точка х_к+1 визначається в такий спосіб. По формулі

або

обчислюється точка x'_k+1. З неї здійснюється градієнтний спуск і ми одержуємо точку . Якщо , то приймаємо і .

В іншому разі зменшуємо яружний крок (наприклад в 2 рази λ=λ/2) і повторюємо крок 3.

Крок 4.

Якщо і , то приймаємо:

і пошук мінімуму на цьому закінчується, інакше к=к+1 і переходимо до кроку 2.

Рис. 10.

Схема алгоритму яружного методу 1

Ідея модифікованого методу Гельфанда

Нехай х₀ і х₁ — дві довільні близькі точки. Як і в попередньому алгоритмі, з кожної точки здійснимо градієнтні спуски з постійним кроком . Одержимо точки u₀ і u₁, що лежать в околиці «дна яру». З'єднуючи їх прямою, робимо «великий крок»  в отриманому напрямку. В результаті одержимо точку х₂. Із цієї точки здійснимо градієнтний спуск і одержимо точку u₂. Далі, для того щоб здійснити «яружний крок», беремо передостанню точку u₁. З'єднуючи прямою точки u₂ і u₁, робимо крок  в отриманому напрямку й визначаємо х₃. Далі аналогічним образом обчислюються х₄, х₅,

x⁽¹⁾

Рис. 11.

Схема алгоритму яружного методу 1

Алгоритм яружного методу 2

Крок 1.

Задаються:

х₀ — початкове наближення,

₁, ₂ — точність розв’язання,

 — крок для градієнтного спуску,

 — початкове значення для яружного кроку.

Із точки х₀ здійснюється градієнтний спуск із постійним кроком  на «дно яру». В результаті виходить точка .

В околиці х₀ береться точка х₁, з якої теж здійснюється градієнтний спуск на «дно яру». В результаті виходить точка . Покладається к=1. Якщо , то приймаємо , . Якщо , то , .

Крок 2.

Нова точка х_к+1 визначається в такий спосіб. По формулі:

обчислюється точка . З неї здійснюється градієнтний спуск і ми одержуємо точку . Якщо , то приймаємо , .

Інакше зменшуємо яружний крок λ (наприклад в 2 рази λ=λ/2) і повторюємо крок 2.

Крок 3.

Якщо і , то приймаємо:

і пошук мінімуму на цьому закінчується, інакше k=k+1 і переходимо до кроку 2.

Рис. 12.

Схема алгоритму яружного методу 2