2.3. Градиентные методы

Градиент функции f (x) многих переменных в некоторой точке x - это вектор, координатами которого являются частные производные функции в этой точке:

f (x) (	f (x)	,	f (x)		,...,	f (x)		) .
	x		x
				2		x	n
	1

• малой окрестности точки x градиент указывает направление наискорейшего возрастания функции, а его норма характеризует скорость этого возрастания.

Вектор-антиградиент указывает направление наискорейшего убывания функции.

• любой точке поверхности целевой функции f (x) вектор-антиградиент перпендикулярен касательной к линии уровня f (x) const в этой точке.

Норма вектора-градиента

f (x) 2

f (x) 2

f (x)

2

f (x)

...

.

x

x

2

x

n

1

• точке, где имеет место экстремум функции, вектор-градиент и все его компоненты обращаются в ноль f (x^* ) (0;0;...; 0) .

Матрица Гессе функции f (x) многих переменных - это матрица вторых производных:

21

2 f (x)

2 f (x)

2 f (x)

...

x1 x1

x1 x2

x1 xn

2 f (x)

2 f (x)

2 f (x)

H (x)2 f (x)

...

.

x

2

x

x

2

x

2

x

2

x

1

n

...

...

...

...

2 f (x)

2 f (x)

2 f (x)

...

xn x1

xn x2

xn xn

Критерии останова алгоритмов, использующих градиенты, (наиболее употребительные).

Пусть 0 - заданная точность:

1)

3)

5)

f

n

f

2

max

;

2)

f

2

;

x

x

i

1,n

i

i 1

i

n

f

2

f (xk 1 ) f (xk )

;

4)

f

;

x

i 1

i

x x ^{k 1} x^k .

2.3.1 Метод градиентного спуска

Суть метода: происходит движение в направлении антиградиента с заданным параметром спуска.