Варіанти алгоритму градієнтного методу
1.1 Градієнтний пошук одночасно по всіх координатах.
1.2 Покоординатний градієнтний пошук.
1.3 Покоординатний пошук, що починається зі змінної з максимальною похідною.
2. Алгоритм вибору величини кроку.
2.1
,
де
-
значення критерію оптимізації;
K-номер кроку пошуку.
2.2
де
-
критерій оптимізації
обрахований в точці
.
2.3
, де
-
критерій оптимізації; К-номер кроку
пошуку.
2.4
2.5
К - номер кроку пошуку, j
– номер змінної.
3.
,
p-точка, у якій обчислюється
похідна.
4. Алгоритм із адаптивним кроком.
вибирається згідно пункту
2.
5. Найпростіший градієнтний алгоритм.
,
.
6. Алгоритм крутого спуску.
,
де p – точка,
в якій обчислений градієнт. k
– номер кроку пошуку.
7. Алгоритм найшвидшого спуску.
.
8. Спосіб обчислення градієнта.
Градієнт обчислюється за допомогою різницевої апроксимації.