Лекция 8

Лекция 8

3.1.3 Градиентный метод с дроблением шага

Рассмотрим процесс, описываемый формулой (3.1.6). Выбор шага k

является довольно таки не простой задачей. Достаточно малый шаг k обеспечивает убывание функции

но может привести к неприемлемо большому количеству итераций. С другой стороны, слишком большой k может вызвать неожиданный рост функции (условие (3.1.8) не выполняется), либо привести к колебаниям около точки минимума.

расходящимся, но при этом значения аргумента, а значит, и значения функции повторяются. Расходимость такого рода называют зацикливанием

(рис. 3.1.3).

Рис.3.1.3

В методе градиентного спуска с дроблением шага k выбирается так, чтобы было выполнено неравенство

1

где 0 1 – любая константа (одна и та же для всех итераций). Очевидно, что условие (3.1.9) более жесткое, чем (3.1.8), но оно имеет

тот же смысл: функция должна убывать от итерации к итерации. Процесс

(3.1.6.) с выбором шага k , удовлетворяющего условию (3.1.9), протекает

следующим образом. Выбираем число 0, одно и то же для всех итераций.

k -ая итерация: проверяем (3.1.9) при k . Если оно выполняется,

полагаем k и переходим к следующей итерации, иначе k дробим до тех пор, пока не выполняется (3.1.9).

Геометрическая иллюстрация метода приведена на рисунке 3.1.4, на

зигзагообразная линия, ортогональная в каждой точке ломаной x0 , x1 ,...,xk

соответствующим линиям уровня и приводящая из начальной точки x0 в

точку минимума x* . Ломаная x0 x1 ...xk аппроксимирует так называемую

градиентную кривую, которая удовлетворяет уравнению dx f ( x) .

d

Рис. 3.1.4

Алгоритм основного варианта градиентного метода.

2

10 . Выбрать любые начальное приближение x0 Rn , константу

шагу 70 , иначе, положить и перейти к шагу 50 .

70 . Вычислить следующее приближение xk 1 xk k f ( xk ).

80 . Положить k k 1 и перейти к шагу 20 .

При практической реализации метода итерации прекращаются, если

3.1.4 Градиентный метод с постоянным шагом

Проверка условия (3.1.8) трудоемка, следовательно, если известны

Тогда достаточно взять k 1 .

R

2) Если известна равномерная по x оценка M сверху максимального собственного числа матрицы f ( x), то выполнение условия (3.1.9)

обеспечивается выбором шага по формуле k 2(1 ) .

M

В градиентном методе с постоянным шагом трудоемкость каждой итерации минимальна (нужно вычислять только градиент f ( xk ) ). Однако,

значения постоянных R и M обычно заранее неизвестны. Алгоритм градиентного метода с постоянным шагом:

10 . Выбрать любые начальное приближение

4