3.3.3. Численные методы первого порядка (градиентные)

3.3.3.1. Постановка задачи.

Понятие градиента и его геометрическая интерпретация.

, V: , где = 1,2…n.

Градиентом функции называется вектор в пространстве варьируемых переменных, направление которого в данной точке соответствует наискорейшему возрастанию функции.

Построение вектора градиента производится по его проекциям на оси координат, которые равны частным производным целевой функции по соответствующим переменным.

, в max

В двумерном случае в любой точке на плоскости переменных градиент направлен перпендикулярно касательной, проведённой к линии равного уровня в данной точке (рис. 3.8).

Рис. 3.8

3.3.3.2. Метод градиента.

Метод градиента – это пошаговая процедура поиска max целевой функции , в которой каждый шаг поиска выполняется в направлении градиента, исходящего из предыдущей точки. Координата очередной точки после К-го шага поиска определяется по формуле:

(3.8),

где -const, определяющая величину К-го шага.

Выбор производится, исходя из компромисса между скоростью поиска (растет при больших) и точностью (растёт при малых). Правильным считается такой выбор, при котором уголмежду направлениями вектора градиента в двух последовательных точках находится в пределах от 15⁰ до 30⁰. О величине угла удобно судить поcos этого угла, который вычисляют как отношение скалярного произведения градиентов ик произведению их модулей.

(3.9)

При 15⁰ ≤ α ≤ 30⁰ 0,85 ≤ cos α ≤ 0,95 (3.10)

Расчет производится следующим образом:

1. Выбирается начальная точка (0)c координатами X_i(0), i=1,2…n.

2. Производится расчет проекций вектора градиента в начальной точке .

3. Выбирается γ и по формуле (3.8) определяются координаты следующей точки (1).

4. Производится расчет проекций вектора градиента в точке (1).

5. По формуле (3.9) определяется cos α.

6. Если условие (3.10) выполняется, то проводится расчет по пунктам 3-5 для точек (1) и(2) и т. д. Если (3.10) не выполняется, то величина γ корректируется и повторяется расчет по пунктам 3-5 для точек(0) и(1).

Остановка алгоритма производится при равенстве с заданной точностью нулю вектора градиента илиили задается количество шаговN и за решение принимается последняя полученная точка (N).

Как видно из изложенного алгоритма, расчет достаточно громоздкий, причем заранее неизвестно, сколько раз придется рассчитывать один и тот же шаг. Мало того, что не определены критерии первоначального выбора коэффициента шага , но и нет гарантии, что повторный расчет будет удачным и не придется пересчитывать тот же самый шаг еще несколько раз. Действительно, после первого неудачного расчета шага мы получаем информацию только о том нужно ли уменьшить шаг (в случае, т.е.) или увеличить (, т.е.), но насколько надо изменить шаг, чтобы второй расчет оказался стопроцентно удачным, неизвестно. Этих недостатков лишен метод крутого восхождения.