Тема 3 Методы оптимизации первого порядка

Метод тяжелого шарикаМетод спуска по градиентуМетод сопряженных градиентов

Общая характеристика методов первого порядка

Чем больше информации о функции известно, тем более эффективно можно достичь минимума, если этой информацией правильно распорядиться

Методы нулевого порядка фактически не располагают никакой информацией о функции (это черный ящик). Правда в процессе спуска они ее накапливают и используют для очередного спуска (например метод Розенброка осуществляет поворот координат в зависимости от результатов предыдущего спуска)

В методах первого порядка при выборе следующего направления спуска используется градиент функции в текущей точке и в предыдущей

Как известно, направление градиента является направлением наискорейшего возрастания функции в данной точке. Следовательно, противоположное направление является направлением наискорейшего убывания функции.

Это свойство в основном и используется для построения методов минимизации первого порядка.

При этом направление наискорейшего убывания в данной точке не всегда оказывается наилучшим для спуска к минимуму.

Поэтому для повышения эффективности вводят различные поправки.

При выборе очередного направления используют накопленную информацию о функции из предыдущих спусков.

Множество возможностей введения таких поправок определяет многообразие различных методов первого порядка.

Метод тяжелого шарика

Уравнение траектории тяжелого шарика

f (x) - сила тяжести шарика

Вычисление градиента

• Если функция задана аналитически, например

f(x1, x2 ) (x1 x2 )2 2x12

•То просто пишем подпрограмму

•Procedure gradF(var x,dF:mas;n:byte);

•Begin

•df[1]:=6*x[1];

•df[2]:=-2*x[2];

•End;

Вычисление градиента

•Если функция задана в виде сложной программы, и производные невозможно просто вычислить

•Function F(var x:mas,n:byte):real;

•Begin

•f:=sqr(x[1]-x[2])+2*sqr(x[1])

•End;

•То пишем подпрограмму

•Procedure gradF(var x,dF:mas,n:byte,h:real);

•Begin

•df[1]:=(F(x[1]+h,x[2])-F(x[1]-h,x[2]))/(2*h);

•df[2]:=(F(x[1],x[2]+h)-F(x[1],x[2]-h))/(2*h);

Резюме

Если правильно подобрать управляющие параметры a, b, и метод решения задачи Коши то метод

шарика может конкурировать с методами нулевого порядка. Однако на настройку параметров уходит довольно много времени.

Метод тяжелого шарика имеет лишь методическое значение, в силу больших затрат на настройку и реализацию алгоритма

Однако он показывает, как можно систематически спускаться к минимуму если знать градиент функции

Более эффективны методы спуска, в которых очередное направление выбирается с использованием градиента

Ниже мы рассмотрим общий алгоритм таких методов

Общий алгоритм метода спуска по градиенту