3. Метод Гаусса-Зейделя
Метод Гаусса-Зейделя (метод покоординатного спуска) – это регулярный неградиентный метод, который (и его разновидности) широко используют при оптимизации технологических процессов, когда число независимых переменных менее пяти. Иначе резко увеличивается число экспериментов.
В этом методе последовательное продвижение к экстремуму осуществляется путем поочередного варьирования каждой независимой переменной (фактором) до достижения частного экстремума параметра оптимизации. В каждой серии опытов меняется только одна переменная хi, а остальные остаются неизменными. Движение начинается с исходной точки, которая выбирается путем анализа исходных данных, например, ограничений, наложенных на независимые переменные, свойств изучаемого процесса и т.п. В исходной точке хо все координаты, кроме одной (например, х1), фиксируем. Затем осуществляем минимизацию целевой функции по х1:
В
результате минимизации целевой функции
по х1
любым методом получаем новое значение
координаты
.
В точке с координатами
имеем частный экстремум целевой функции.
Затем из новой точки целевую функцию
минимизируем пох2:
и т.д.
В
результате циклического перебора всех
координат получают новое приближение
параметров
и т.д. Алгоритм легко реализуется на
ЦВМ.
Таким
образом, изображающая точка попеременно
перемещается вдоль каждой из координатных
осей 
факторного пространства. Переход к
новой i
+ 1 координате осуществляется при
достижении частного экстремума целевой
функции 
по предыдущей координате, т.е. в точке
,
где
После достижения частного экстремума по последней переменной хп переходят снова к варьированию х1 и т.д. В результате изображающая точка приближается к экстремуму. Направления движения вдоль (i + 1)-й координатной оси выбирается обычно по результатам двух пробных экспериментов (шагов) в окрестностях точки частного экстремума по предыдущей переменной. Поиск экстремума прекращается в точке, движение из которой в любом направлении не приводит к уменьшению значения параметра оптимизации. Эта точка соответствует экстремуму функции и является искомым оптимумом.
Т
очность
определения оптимальной точки зависит
от шага варьирования переменной Δхi.
Иногда для увеличения точности уменьшают
величину шага при приближении к
экстремуму.
Поиски минимума и максимума функции идентичны по процедуре, меняется только знак.
На рис. 4.27 представлен поиск экстремума в двумерной системе координат y = F(х1, х2).
Точки частного экстремума h, h +1, h +2, …, в которых траектория движения по координате является касательной к линии равного значения. В этих точках осуществляется переход к другой координате после двух пробных шагов. Движение по координатной оси осуществляется шагами (точки между точками поворота).
В случае если имеется целевая функция в явном виде, то все координаты, кроме одной, принимаются постоянными. Целевая функция зависит от одной переменной, по которой берется частная производная, определяющая частный экстремум и точку поворота. Затем берется другая переменная и процедура повторяется. В этом случае мы движемся не шагами, а сразу определяем точки поворота.
К недостаткам метода следует отнести также то, что результаты поиска существенно зависят от выбора системы координат. Кроме того, при наличии ограничений он часто вообще не приводит к решению. Однако простота этого алгоритма и его аппаратурной реализации позволяет применять метод во многих практических случаях.