1.2.2.1.Метод координатного спуска

Метод координатного спуска [96-97]- простейший метод поиска экстремума функции.Он заключается в изменении каждый раз одной переменной,тогда как другие при этом остаются постоянными,пока не достигнут экстремум.Алгоритм состоит из следующих операций.Прежде всего,задаются начальные значения переменных ,а также начальные приращения и вычисляется значение функции в начальной точке .Затем в циклическом порядке изменяется каждая переменная(каждый раз только одна),на выбранные величины приравнений.В частности изменяется на величину ,так что .Если это изменение не улучшает целевую функцию ,то изменяется на и значение проверяется как и ранее.Если не улучшает ни ,ни ,то оставляют без изменений и переходят к изменению величины .Этот алгоритм сходится медленно если имеет место взаимодействие между переменными,т.е если выражение для целевой функции ыходят члены,содержащие .Алгоритм способен отыскать только локальный экстремум вблизи начальных значений аргументов.

1.2.2.2.Градиентный метод

Градиентный метод [96-98] реализует итерационную процедуру движения к максимуму на произвольно выбранной точки начального приближения в направлении наиболее сильного возрастания функции,определенном в окрестности текущего значения аргумента.Направление определяется вектором градиента .Направление определяется вектором градиента.Новое приближение аргумента по значению ,найденному на предыдущем шаге работы алгоритма наискорейшего спуска вычисляется по формуле , где - градиентный шаг.Значение градиента функции в данной точке оценивается с помощью разностной схемы.

При экспериментальной реализации в линейной системе возможно одновременно измерить отклики на приращения по различным координатам.Для этого по различным координатам приращения вводятся с различными частотами[97].Это позволяет с помощью синхронного детектора выделить отклики на приращения координат.

Вычисление всех компонент градиента возможно за один шаг в методе стохатической градиентной оптимизации[97].Для этого необходимо чтобы компоненты пробного шага были случайными числами со следующими характеристиками :

.Таким образом если приращение оптимизируемого критерия ,то произведение позволяет “в среднем” вычислить значения всех компонентов градиента за один шаг.

Геометрическая интерпретация алгоритма наискорейшего спуска траектория оригинальна линиям равного уровня минимизируемой функции.Поскольку шаг движения к экстремуму имеет конечную длину,по мере перемещения к точке ортогональность нарушается.В точке направление корректируется и снова становится ортогональным к линиям равного уровня.

В работах [56,91] рассматривается алгоритм последовательного градиента спуска.В простейшем случае по известному грапдиенту функционала ошибки вычисляются новое приближение комплексной амплитуды:

, где - длина шага градиентного метода, а - градиент среднеквадратической ошибки отклонения распределения интенсивности получаемого после итерации и истинного распределения в выходной плоскости.Для ускорения процесса сходимости приближенного решения к точному,иногда предлагается использовать на последнем шаге алгоритма дополнительную оптимизацию параметров,например,длины шага.

Преимущество градиентного метода - высокая скорость работы.Недостатками являются возможность отыскания лишь локального экстремума оптимизируемой функции,неустойчивость при наличии помех,зависимость от начальных условий.

Отсюда, переход к следующему приближению по методу Ньютона осуществляется по формуле:

, где - матрица , обратная матрице вторых частных производных по , взятая в точке . Направление и величина шага точно определены. Если - квадратичная функция, то для достижения экстремума достаточно одного шага. В случае общей нелинейности, экстремума за один шаг достичь нельзя.

Методы локального поиска эффективны при отыскании экстремума функции, которая не имеет большого количества экстремумов или отыскание именно глобального экстремума не является обязательным. В случае, если целевая функция является многоэкстремальной и отыскание глобального экстремума обязательно, необходимы алгоритмы, позволяющие оптимизировать многоэкстремальные функции. Одним из таких алгоритмов является симплекс-метод.