Метод сопряженных градиентов.

Метод сопряженных градиентов является попыткой объединить достоинства методов первого и второго порядка с исключением их недостатков. На начальных этапах (вдали от оптимума) метод ведет себя как метод первого порядка, а в окрестностях оптимума приближается к методам второго порядка.

Первый шаг аналогичен первому шагу метода наискорейшего спуска, второй и следующий шаги выбираются каждый раз в направлении, образуемом в виде линейной комбинации векторов градиента в данной точке и предшествующего направления.

Алгоритм метода можно записать следующим образом (в векторной форме):

,

.

Величина может быть приближенно найдена из выражения

.

Алгоритм работает следующим образом. Из начальной точки ищут в направлении градиента (методом наискорейшего спуска), затем, начиная с найденной точки и далее, направление поиска min определяется по второму выражению. Поиск минимума по направлению может осуществляться любым способом. Поэтому точность достижения минимума по направлению зависит от величины шага h.

Многомерная условная оптимизация метод штрафов.

Метод штрафов позволяет перейти от исходной задачи с ограничениями к другой задаче без ограничений путем формирования новой структуры критерия оптимальности.

Формируется новый критерий, например с квадратичным «штрафом» для ограничений типа равенств:

,

с модульным «штрафом»:

,

с комбинированным «штрафом»:

(индексы суммирования для простоты опущения), где - коэффициент «штрафа». Он характеризует вклад в общий критерий оптимальности. - новый критерий, - срез функции F(x); он определяется по следующему правилу:

Если F(x)>0,

Отклонения от ограничений увеличивают критерий , т.е. как бы накладывают «штраф» H на . В точке минимума ограничения будут справедливы, т.е. равны нулю, и поэтому . Однако это соотношение будет справедливо только при коэффициенте «штрафа», стремящемся к бесконечности.

Поэтому целесообразно решать задачу сначала с маленьким значением , потом его увеличивать. Это будет способствовать более быстрому выходу в область условного оптимума и точному его определению.

Многомерная безградиентная оптимизация основные методы метод гаусса – зайделя

Метод Гаусса - Зайделя заключается в последовательном поиске оптимума R(x) поочередно по каждой переменной. Причем после завершения перебора всех переменных (т.е. после завершения одного цикла) опять в общем случае приходится перебирать все переменные до тех пор, пока не придем к оптимуму.

Метод обладает низкой эффективностью в овражных функциях, может застревать в «ловушках», особенно при сравнительно больших шагах h при поиске оптимума по каждой переменной, очень чувствителен и к выбору системы координат. Метод прост в реализации. На эффективность метода влияет порядок чередования переменных.

Условием окончания поиска является малость изменения критерия оптимальности за один цикл или невозможность улучшения критерия оптимальности ни по одной из переменных.

При нахождении оптимума по каждой переменной прекращают поиск не в точке оптимума, а несколько пройдя ее. При этом удается «выскочить из ловушек», за меньшее число циклов выйти в район оптимума. В районе оптимума наблюдается зацикливание, и в этом случае последовательно уменьшают величину последействия.