Метод Гаусса-Зайделя

Данный метод относится к многомерной безградиентной оптимизации, где величина и направление шага к оптимуму формируется однозначно по определенным детерминированным функциям в зависимости от свойств критерия оптимальности в окрестности текущей точки без использования производной, т.е. градиента. Все алгоритмы имеют итерарационный характер и выражаются формулой: x^j+1= x^j+f(R (x^j)).

Основная особенность рассматриваемого метода - отсутствие вычисления градиента критерия оптимальности. Ряд методов прямого поиска базируется на последовательном применении одномерного поиска по переменным или по другим задаваемым направлениям, что облегчает их алгоритмизацию и применение.

Метод Гаусса-Зайделя заключается в последовательном поиске оптимума R(x) поочередно по каждой переменной. Причем после завершения перебора всех переменных (т.е. после завершения одного цикла) опять в общем случае приходится перебирать все переменные до тех пор, пока не придем к оптимуму. В ряде случаев удается получить решение всего за один цикл (для сепарабельных функций). В случаи тесной нелинейной взаимосвязи переменных для получения решения приходится делать очень много циклов.

Метод обладает низкой эффективностью в овражных функциях, может застревать в «ловушках», особенно при сравнительно больших шагах h при поиске оптимума по каждой переменной, очень чувствителен и к выбору системы координат. Метод прост в реализации. На эффективность метода влияет порядок чередования переменных.

К достоинствам данного метода относят: 1) очевидная простота стратегии и наглядность; 2) высокая помехозащищенность в смысле выбора направления движения.

К недостаткам относят: 1) при большом числе влияющих n факторов путь к главному экстремуму оказывается обычно долгим; 2) в условиях крупного промышленного производства оказывается трудным застабилизировать n-1 факторов на длительное время; 3) если поверхность отклика имеет сложную форму (узкие гребни, овраги и т.п.), то использование метода может привести к ложному ответу на вопрос о месте расположения экстремума; 4) метод не дает информации о взаимодействиях факторов.

Условием окончания поиска является малость изменения критерия оптимальности за один цикл или невозможность улучшения критерия оптимальности ни по одной из переменных.

Метод поиска «с наказанием случайностью».

В методах случайного поиска величина шага ∆х при построении улучшающей последовательности x_j+1= x_j+∆х_j формируется случайным образом. Поэтому в одной и той же ситуации шаг может быть различен. Методы случайного поиска являются прямым развитием известного метода проб и ошибок, когда решение ищется случайно, и при удаче принимается а при неудаче отвергается.

Метод является аналогом метода наискорейшего спуска. В поиске с «наказанием случайностью» из текущей точки делают случайные шаги до тех пор пока не будет найдена точка с лучшим значением критерия оптимальности. Затем в этом направлении регулярным методом одномерного поиска ищут оптимум. В точке оптимума по направлению опять случайным образом ищут новое направление и т.д..

Условием окончания обычно является невозможность получения лучшей точки из текущей за N заданных попыток.

Этот метод прост в реализации (не требует вычисления градиента), позволяет быстро выходить в район оптимума. Эффективен при поиске глобального экстремума.