18. Методы прямого поиска экстремума.

Этот билет сделан на отъебись. Можно списать билеты 15 и из 16 17 кратко законспектировать основное.

К прямым методам поиска относят методы, в которых для отыскания экстремума не используются производные первого и высших порядков. В этих методах направления поиска определяются на основе последовательных вычислений значений функции

Как правило, при решении задач НП при отсутствии ограничений градиентные методы и методы, использующие вторые производные, сходятся быстрее, чем прямые методы. Тем не менее, применяя на практике методы, использующие производные, мы сталкиваемся со следующими трудностями. Во-первых, в задачах с большим числом переменных трудно или совсем невозможно получить производные в виде аналитических функций, необходимых для методов первого и второго порядков. Конечно, аналитические выражения для производных можно заменить вычислением их по разностным схемам, однако возникающие при этом погрешности (в особенности в окрестности экстремума), ограничивают возможности такой аппроксимации. Прямые методы не требуют выполнения условий регулярности и непрерывностии существования производных.

Во-вторых, градиентные методы оптимизации требуют довольно большого времени на подготовку задачи к решению по сравнению с прямыми методами.

Рассмотрим сначала задачу минимизации функции одной переменнойпри условии . Так как точное место нахождения локального минимума на интервале неизвестно, то целесообразно назвать этот интервал интервалом неопределенности.

Вообщеназывается интервалом неопределенности, если точка минимума , хотя ее точное значение неизвестно.

1

Если целевая функция непрерывна и дифф, то по сущ, опр как вектор-столбец из первых частных производных по , знание которых берутся в данной точке .

9. Градиентные методы поиска экстремума. Метод наискорейшего спуска (Метод Коши).

;

Известно, что grad скалярной функциинапр в сторону наискорейшего увеличения функции (скор подъема) и что он ортогонален: линии разного уровня проход через точку .Переход из одной точки в дрвыполн по выражнию:

Отрицатgrad дает только направл на min, но не величину шага. При этом можно исп различные методы процедуры наискорейшего спуска в зависимости от выбора λ и опр норм. При выборе размера шага обычно применяют один из двух подходов. В случаеиспольз первого подхода при переходе из вцелевая функц минимизируется по λ. При другом подходе вел λ может рассм как фиксированное или меняющееся от шага к шагу.

Пример:Треб минимизировать ф.

Результаты нескольких этапов поискаэкстремумов удобно представить в табличном виде:

Этап (k)						Величина ***
0	2	2	4	100	~100	-0,04	-1
1	1,96	1	3,92	50	50,1	-0,078	-1
2	1,88	0	3,76	0	3,76	-1	0
3	0,88	0	1,76	0	1,76	-1	0
4	-0,12	0	-0,24	0	0,24	+1	0

20. Градиентные методы поиска экстремума. Метод Ньютона.

В методе Коши применяется наилучшая локальная стратегия поиска точки с использованием градиента, однако движение в напр противоположном градиенту приводит в точку min, лишь в том случает, когда линии равного уровня функцf(x) представляет собой окружности. Т.о. напрпротивоположgrad не может служить приемлемым глобальным направлением поиска точек оптимума нелин функции.

Для того чтобы построить более общ стратегию поиска, необходимо привлечь инф не только о первых, но и о вторых переменных целевой функции. В методе Ньютона стратегия поиска строится на основе разложения целевой функции в ряд Тейлора, в котором все челены разложения выше второго порядка отбрасываются.

Н

а основе этой аппроксимациипостр последовательность итераций, чтобы во вновь полученной точке х(к+1)gradфункц обращался в ноль.

,

где

Пример: