140. Постановка задач безусловной оптимизации. Классификация задач безусловной оптимизации и методов их решения. Градиентные методы оптимизации.

Задача не имеющая ограничений называются задачей безусловной оптимизации. Рассмотрим задачу безусловной оптимизации:

f(x)=F(x1..xn) -> min x ,

Алгоритмы безусловной оптимизации представляют собой итерационные процедуры, реализующие последовательное приближение к искомому экстремуму. K – номер итерации; - направление поиска на к-ой итерации. - величина шага в данном направлении.

В координатной форме эта схема имеет вид:

Процесс поиска начинается с некоторой точки X⁰, которая называется начальным приближением и задается пользователем. По этой точке определяются точки X¹ , X² и т.д. Полученная последовательность точек называется траекторией поиска и сходится к оптимальной точке Х*. Методы безусловной оптимизации отличаются друг от друга способами выбора направления поиска и величиной шага .

В зависимости от способа выбора направления поиска различают методы нулевого порядка, методы первого порядка, методы второго порядка.

Методы нулевого порядка – это методы, в которых для определения направления поиска используется только значение целевой функции. Производные при этом не используются. Они называются методами прямого поиска или поисковыми методами оптимизации.

Методы первого порядка – методы, в которых для определения направления поиска используются первые производные целевой функции. Эти методы называются градиентными методами оптимизации.

Методы второго порядка – это методы, в которых для определения направления поиска используются вторые производные целевой функции. К этому классу относят метод Ньютона и его модификации.

Методы первого порядка. В методах первого порядка используются значения производных целевой функции. Вектор первых производных называется градиентом, поэтому эти методы называются градиентными методами.

В качестве направления поиска выбирается градиент целевой функции или антиградиент (в задачах на минимум.).

- градиент .

Градиентные методы различаются от способа выбора шага . Наиболее распространены 2 метода;

1. Градиентный метод с дроблением шага

2. Метод наискорейшего спуска

В градиентном методе с дроблением шага на начальной итерации задается величина шага α0. На каждой итерации выполняется проверка условия . Если это условие не выполняется, то происходит дробление шага и так до тех пор, пока условие не окажется истинным. Итерационный процесс заканчивается при выполнении условия : .

В Методе наискорейшего спуска на каждой итерации определяется оптимальная длина шага в результате решения вспомогательной задачи одномерной оптимизации:

Min f ( ) . Переход в следующую точку поиска чередуется с определением оптимальной длины шага.

Этот метод является более эффективным, чем метод дробления шага, но и более трудоемким..

Градиентные методы обладают более высокой скоростью сходимости, чем методы нулевого порядка