1. Градиентный метод с постоянным шагом

Пусть t_k = t (т.е. не зависит от к-пост.)

x_k+1 = x_k - tf(x_k)

Видно, что останавливаемся в любой точке, где f(x_k)=0.

Пример:

f(x) = ax², a>0, x-скаляр

x_k+1=x_k - 2tax_k = (1- 2at)x_k

Отсюда

1-2at<1 at<1- необходимое и достаточное условие существования предела

Если 0<t_k<1/a - сходится,

t_k>1/a - расходится,

t_k=1/a - зацикливается.( t_k=1/a x₁=x₀-2x₀= -x₀ x₂=x₁-2x₁= -x₁=x₀ и т.д.)

Выбор постоянного шага приводит к осложнениям. Оценим сходимость этого метода в общем случае.

Теорема (о сходимости метода градиентов)

Пусть f(x)- дифференцируема на R_n, f(x) удовлетворяет условию Лифшица:

|| f(x)-f(y) || L ||x-y || (*)

(||x²|| = x_i² ), f(x)- ограничена снизу

f(x) f* >- (**) и 0< t< 2/L(***), L -const.

Тогда в методе x_k+1= x_k-tf(x_k), градиент стремится к нулю,

т.е. limf(x_k) =0, при k, а функция f(x) монотонно убывает f(x_k+1)f(x_k). Точнее f(x_k+1)  f(x_k)-t(1-tL/2)||f(x_k) ||²(градиент характеризует скорость убывания и множитель)

Доказательство

Известно из мат.анализа:

(1)

Пусть x=x_k, y= -tf(x_k) (2)

Подставим (2) в(1):

f(x_k+1)=f(x_k)-t||f(x_k) ||²-t-f(x_k),f(x_k))dT 

 f(x_k)-t+Lt²||f(x_k) ||² =f(x_k)-t(1-Lt/2) ||f(x_k) ||²

Обозначим a = t(1-Lt/2); a>0, так как (***)

Отсюда f(x_k+1) f(x_k)-a||f(x_k) ||²

Выразим f(x_k+1) через f(x₀)

Пусть k=0: f(x₁) f(x₀)- a||f(x₀) ||²

k=1: f(x₂) f(x₁)- a||f(x₁) ||² f(x₀)- a||f(x₀) ||² - a||f(x₁) ||².........

f(x_k+1) f(x₀)-a²

так как a>0, то ² a^-1(f(x₀)-f(x_s+1)) a^-1(f(x₀)-f*), для любого S

то есть < ( сумма ограничена) ||f(x_k) ||0, то есть теорема доказана.

Замечание:

Сходимость градиента к нулю не гарантирует сходимости к минимуму.

Пример:

, градиентсходится к нулю, но функция не имеет минимума.

Равенство градиента нулю- необходимое условие минимума, достаточное условие- положительность второй производной.

Таким образом доказана принципиальная сходимость метод при определенных условиях. Оценить скорость сходимости в общем случае можно для более узкого класса функции.

Выпуклые функции и множества

Определение

Множество X называется выпуклым, если x₁,x₂X, [0,1], выполняется

x₁+(1-)x₂X, то есть вместе с любыми двумя точками оно содержит и отрезок их соединяющий.

На рис 1 изображено выпуклое множество, на рис 2 - невыпуклое.

рис 1 рис2

Определение

Точка Z называется выпуклой комбинацией точек x₁,x₂,...,x_m, если

, ,,

Теорема (о выпуклом множестве)

Выпуклое множество X содержит все выпуклые комбинации своих точек.

Определение

Функция f(x) называется выпуклой если ее область определения выпукла и для любого x₁,x₂X, (0,1) выполняется f(x₁+(1-)x₂) f(x₁)+(1-)f(x₂)

(функция выпукла, если ее график под хордой )

Определение

Функция f(x), для которой -f(x) выпукла называется вогнутой.

Определение

Функция f(x) на R_n называется строго выпуклой, если xy, 0<<1 выполняется

f(x+(1-)y)<f(x)+(1-)f(y),

сильно выпуклой с константой l>0, если при 0  1 выполняется

f(x+(1-)y)f(x)+(1-)f(y)-l(1-)||x-y||²/2