2. Градієнтні методи оптимізації

Як відомо, градієнт функції в деякій точці x_k спрямований в бік найшвидшого локального зростання функції й перпендикулярний лінії рівня (поверхня постійного значення функції f(x), що проходить через точку x_k). Вектор, протилежний градієнту , називається антиградієнтом, що спрямований убік найшвидшого спадання функції f(x). Вибираючи як напрямок спуска p_k антиградієнт - у точці x_k, ми приходимо до ітераційного процесу виду:

Усі ітераційні процеси, у яких напрямок руху на кожному кроці збігається з антиградієнтом функції, називаються градієнтними методами. Вони відрізняються один від одного тільки способом вибору кроку . Існує багато різних способів вибору , але найпоширенішими є: метод з постійним кроком, метод із дробленням кроку та метод найшвидшого спуску.

2.1 Градієнтний метод з постійним кроком

В загальному випадку, число у формулі (2) може на кожному кроці (тобто для кожного k) обиратися заново. Якщо ж при всіх k, то отриманий метод називається градієнтним методом з постійним кроком (з кроком ).

Подамо графічну інтерпретацію даного методу:

На кожному кроці ми зміщуємося за вектором антиградієнта, зменшеному в – разів.

Є функції, для яких даний метод не збігається навіть при якнайменшому можливому кроці, і є функції, для яких він збігається тільки при достатньо малих кроках.

Теорема про умовну збіжність градієнтного методу з постійним кроком. Нехай f(x)  min, де f: R^m  R таке, що починаючи з деякого x⁰  R^m будується послідовність {xⁿ}  R^m така, що f(xⁿ⁺¹) < f(xⁿ) при всіх n  N. І нехай функція f обмежена знизу, неперервно-диференційована і більше того, задовольняє умові Ліпшиця:

||f (x)  f (y)||   ||x  y|| при всіх x, y  R^m.

Тоді при   (0, 2/) градієнтний метод з постійним кроком умовно збігається.

Доведення. Нехай zⁿ = f (xⁿ) і позначимо f(xⁿ + tzⁿ) через (t). Тоді легко побачити, що (t) = (f (xⁿ + tzⁿ), zⁿ) і тому за формулою Ньютона-Лейбніца для функції 

f(xn+1)  f(xn) = f(xn + zn)  f(xn) = (1)  (0) =



1 0

(s) ds =



1 0

(f (xn+ szn), zn) ds.

Додавши і віднявши (f (xⁿ), zⁿ) = ₀¹(f (xⁿ), zⁿ) ds і використавши нерівність (x, y)  ||x|| · ||y||, отримаємо:

f(xn+1)  f(xn) = (f (xn), zn) +	1 0	(f (xn + szn)  f (xn), zn) ds 
 (f (xn), f (xn)) +		1 0	||f (xn + szn)  f (xn)|| · ||zn|| ds.

Враховуючи умову Ліпшиця для f  цю послідовність можна продовжити:

f(xn+1)  f(xn)  ||f (xn)||2 +  ||zn||2		1 0	s ds =
=  ||f (xn)||2 +	2 2	||f (xn)||2 = ||f (xn)||2	 	1 	 2	 	.

Оскільки, 1  /2 > 0, послідовність {f(xⁿ)} не зростає. А оскільки виходячи з умов теореми f ще й обмежена знизу, послідовність {f(xⁿ)} збігається. Тому, f(xⁿ⁺¹)  f(xⁿ)  0 при n  Звідси:

||f (xn)||2  1

 

1 –

 2

 

–1

[f(xn)  f(xn+1)]  0 при n .

Теорему доведено.