4.3 Градиентные методы поиска экстремума целевой ф-и.

Градиентом многомерной функции называют вектор, который аналитически выражается геометрической суммой частных производных по отдельным координатам. Градиент скалярной функции f(x) в некоторой точке xk направлен в сторону наискорейшего возрастания функции и ортогонален линии уровня (поверхности постоянного значения f(x), проходящей через точку xk. Вектор противоположный градиенту f(xk), антиградиент, направлен в сторону наискорейшего убывания функции f(x). Необходимые условия экстремума в общем случае представляют собой систему нелинейных алгебраических уравнений, решение которой аналитическими методами часто связано с большими трудностями. Сущность градиентных методов поиска экстремума заключается в следующем. Выбирая в качестве направления спуска антиградиент функции f(x) в точке xk, мы приходим к процессу вида или в общем виде . Все процессы, в которых направление движения на каждом шаге совпадает с антиградиентом (градиентом) функции, называют градиентными методами и отличают друг от друга способами выбора шага αk. Существует много различных способов выбора шага αk, но наиболее распространены три: с постоянным шагом, с дроблением шага и метод наискорейшего спуска.

М-ды с постоянным шагом. Первая проблема, с которой мы сталкиваемся при его реализации, - это выбор шага αk. Достаточно малый шаг, αk обеспечит убывание функции, но может привести к неприемлемо большому количеству итераций, необходимых для достижения точки минимума. С другой стороны, слишком большой шаг может вызвать неожиданный рост функции, либо привести к колебаниям около точки минимума.

Градиентные м-ды с дроблением шага. В методе градиентного спуска с дроблением шага величина αk выбирается так, чтобы было выполнено следующее неравенство: ,где 0<ε<1 - произвольно выбранная постоянная (одна и та же для всех итераций). Очевидно, что данное требование на выбор шага более жесткое, чем предыд. условие, но имеет тот же смысл: функция должна убывать от итерации к итерации. Процесс с выбором шага, протекает следующим образом. Выбираем число α > 0 , одно и то же для всех итераций. На k-ой итерации проверяем выполнение неравенства при αk=α. Если оно выполнено, полагаем αk=α и переходим к следующей итерации. Если нет, то шаг αk дробим до тех пор, пока оно не выполнится.М-д наискорейшего спуска. Можно выбрать постоянную для всех итераций величину шага, обеспечивающую убывание функции от итерации к итерации. Однако обычно шаг при этом оказываемся очень малым, что приводит к необходимости проводить большое количество итераций для достижения точки минимума. Поэтому методы спуска с переменным шагом являются более экономными. Процесс, на каждой итерации которого шаг αk выбирается из условия минимума функции f(x) в направлении движения, называют методом наискорейшего спуска. В этом варианте градиентного спуска на каждой итерации требуется решать задачу одномерной минимизации. М-д покоординатного спуска. Стремление уменьшить объем вычислительной работы, требуемой для осуществления одной итерации метода наискорейшего спуска, привело к созданию ряда других методов. Одним из них является метод покоординатного спуска. В этом м-де мы опускаемся по ломаной, состоящей из отрезков прямых, параллельных корд-м осям. Величина шага αk выбирается на каждой итерации аналогично тому, как это делалось в предыдущих случаях.Релаксационные методы. Если линии уровня сильно вытянуты вдоль одной из осей, то рассмотренные градиентные методы начинают сходиться плохо. Этот факт хорошо интерпретируется геометрически и известен под названием "эффекта оврагов". В этом случае при использовании градиентных методов наблюдается довольно быстрый спуск на "дно" оврага по наиболее чувствительным осям и затем медленное зигзагообразное движение в точку минимума. Одним из выходов в создавшейся ситуации является соответствующий выбор шага по каждой из осей.