5.Теорема:

Для дифференцируемой функции f (x) на выпуклом множестве X выпуклость

эквивалентна неравенству:

f (x +y)  f (x) + (f(x),y )

Строгая выпуклость эквивалентна неравенству:

f (x +y)  f (x) + (f(x),y )

Сильная выпуклость эквивалентна неравенству:

f (x +y)  f (x) + (f(x),y ) + l_*||y||²/2, где l=const

Без доказательства

6. Для сильно выпуклых функций справедливы соотношения:

1. f (x)  f (x^*) + l_*|| x - x^*||²/2

2. (f(x), x-x^*)  l_*|| x - x^*||²

3. ||f(x)||  l_* || x - x^* ||

Без доказательства

Градиентные методы (продолжение)

x_k+1 = x_k - _*f ( x _k )

Оценим скорость сходимости для выпуклых функций:

Теорема:

Пусть f (x) дваждыдифференцируема и l_*I  ²f (x)  L_*I, где l>0, L>0 x (*),

то есть f (x) – выпукла, тогда при 0   2/L выполняется неравенство:

|| x_k –x^*||  || x₀ –x^*||_*q^k – геометрическая сходимость,

где q = max {|1-_*l|,|1-_*L |}, при этом min q() = (L-l)/(L+l)<1 и достигается при

 = *=2/(L+l).

Доказательство: Применим формулу

f (x+y)= f (x)+(x+_*y)y d к производной:

f (x_k)= f (x^*) + ²f (x^*+_*(x_k-x^*))( x_k-x^*) d = A_k*( x_k-x^*),

где матрица A_k=²f(x^*+_*(x_k-x^*))d симметричная и неотрицательно определена.

Из (*) следует l_*I  A_k  L_*I,

|| x_k+1 –x^*|| = || x_k – _*f ( x _k ) - x^*|| = || x_k – x^* - _* A_k( x _k - x^*)|| =

= || (I- _*A_k)_*( x _k - x^*)||  || I- _*A_k ||_*|| x _k - x^*||

Для любой симметричной матрицы А выполняется:

|| I- A|| = max {|1-₁|,|1-_k|}, где ₁,_k ­– соответственно наименьшее и наибольшее собственные числа (значения) матрицы А.

Поэтому || x_k+1 –x^*||  || x_k –x^*||_*q, где q = max {|1-_*l|,|1-_*L |}

так как 0   2/L и 0< l <L, то |1-_*l| <1, |1-_*L |<1  q<1.

Найдем min q()

q()

max =q()

1-l

1-l

1

L^-1 * l^-1 

1-l_*^*= -(1-L^*)  *=2/(L+ l).

Тогда q(*) = (L-l) / (L+ l)

2. Градиентный метод с дроблением шага.

Как известно выбор постоянного шага может привести к осложнениям.

x_k+1 = x_k - t_k*f ( x _k )-градиентный метод. Если шаг выбрать с условием, что f(x_k+1) - f(x_k)  -_* t_{k *} || f(x_k)|| (*), где 0   < 1, то результат будет лучше значительно.

Иллюстрация:

Необходимо двигаться к х*. В начальной точке проводим касательную к линии уровня и делаем по перпендикуляру к касательной в этой точке, шаг соответствующей величины. Если оказываемся «далеко», то делим шаг пополам, проводим линию уровня, касательную и шагаем по перпендикуляру и т.д.

Алгоритм:

1.Выбираем t=const.

2.Проверяем выполнение соотношения (*).

3.Если выполняется, то вычисляем следующую точку; если не выполняется, тогда длину шага t делим на 2, проверяем (*) и так далее.

Там, где f ( x ) = 0- останавливаемся.

Теорема(о градиентном метоле с дроблением шага)

Градиентный метод с дроблением шага обеспечивает геометрическую скорость сходимости в точке минимума || x_k –x^*||  const._*q^k, где 0<q<1.

Без доказательства.

3.Метод наискорейшего спуска.

Определяет оптимальное значение шага на каждом такте.

Значение функции, полученное этим методом, меньше чем в предыдущем методе.

Характерная черта метода: градиенты функции в соседних точках ортогональны.

Графическая интерпретация:

В начальной точке проводим касательную к линии уровня и делаем шаг оптимальной величины в направлении перпендикуляра к касательной в данной точке. Получив новую точку, повторяем действия и так далее.

Теорема (о скорости сходимости метода наискорейшего спуска)

Скорость сходимости метода наискорейшего спуска - геометрическая.

, где (L,l -указаны ранее)

Без доказательства