3.8.4. Метод Ньютона
Метод Ньютона применяется для отыскания нулей сложной функции. Геометрическая интерпретация этого метода состоит в том, что если к функции провести касательную, то она пересечет ось нулевого уровня в точке, более близкой к нулю функции, чем данная исходная точка. Поэтому после ряда таких шагов мы достигнем точки нулевого значения исследуемой функции.
Для вычисления направления и величины движения также необходимо знать значения частных производных этой функции по аргументам. Поэтому данный метод также не применим к задаче оптимизации регулятора.
3.8.5. Метод секущих
В отличие от метода Ньютона и градиентного метода, метод секущих не требует вычисления производных. Этот метод также применяется для отыскания нулей функций. Если известны значения аргументов, при которых целевая функция принимает положительное и отрицательное значения, то очередной поиск согласно методу секущих следует делать на точке пересечения линии, проходящей через эти точки и оси нулевых значений. Значение целевой функции в новой точке по абсолютной величине предположительно будет меньше того значения, которое принимала целевая функция в исходной паре и имело тот же знак. Например, если имелись значения 100 и -50, то новое значение будет лежать внутри этого интервала, то есть будет положительной величиной менее 100 или отрицательной величиной более -50. В первом случае следует отбросить точку 100, во втором – точку -50, и новый поиск осуществлять на этом новом отрезке опять по методу секущих. Этим методом можно найти нулевое значение целевой функции.
Для отыскания оптимальных значений параметров регулятора этот метод напрямую не пригоден.
3.8.6. Метод покоординатного спуска
Метод покоординатного спуска предполагает на первом шаге изменение только одного аргумента (одной координаты поверхности). При этом остальные параметры «замораживаются», то есть не изменяются. По этой первой координате осуществляется одномерный поиск, пока не будет достигнут минимум. Далее эта координата замораживается, и спуск идет по следующей координате. После отыскания минимума по второй координате она также «замораживается», и спуск идет по третьей координате и так далее. После того, как все координаты будут перебраны, требуется возвращение к первой координате и повторение спуска по ней, потом – по второй координате и так далее. Процесс повторяется до тех пор, пока приращение целевой функции не будет столь малым, что дальнейший поиск будет признан нецелесообразным, или после того, как лимит максимально допустимого количества экспериментов будет исчерпан.
Преимущество данного метода состоит в алгоритмической простоте. Независимо от количества аргументов, метод легко алгоритмически описывается и может быть реализован.
К недостаткам данного метода следует отнести возможность зависания на гребне оврага (см. рис. 7), а также зависимость результата от последовательности аргументов.
Рис. 7. Зависание на ложбине при методе покоординатного спуска
Проблема «зависания» показана на рис. 7. После достижения ложбины «оврага» (также как после попадания на гребень при отыскании максимума) любое движение вдоль осей приводит к увеличению целевой функции, поскольку сопряжено с подъемом из оврага. Однако истинный минимум лежит в направлении вдоль ложбины этого оврага, но движения в этом направлении не будет происходить, или оно будет крайне медленным.
Эта проблема исчезла бы, если бы ложбина оврага лежала по направлению одной из осей. Поскольку функцию повернуть трудно (или невозможно), можно повернуть оси поиска, то есть искать не вдоль осей X и Y, а по направлению ложбины оврага и (на всякий случай) в ортогональном направлении.