книги / Системы экстремального управления

Легко заметить, что значение знака cos ср можно исполь­ зовать для оценки знака (16.1.2), т. е.

выражение представляет co6oâ более «плавный» закон адаптации. Он получается путем снятия функции знака

тации становятся адап­ тивными законами дробления рабочего шага, что осо­ бенно ценно при выходе в малую окрестность экстремума.

§ 16.2. Метод иаискореишего спуска

Эта модификация градиентного метода заключается в определении минимума вдоль градиентного направ­ ления. Задача, по сути дела, сводится к одномерной оп­ тимизации.

Пусть dir grad Q (X) — направление градиента в точ­ ке X. Цель наискорейшего спуска заключается в отыска­ нии минимума однопараметрической функции

Q( S ) =Q[ X — S dir grad Q (X)] -> m in. s

Характер поведения функции Q (S) показан на рис. 16.2.1.

Отыскание положения экстремума S* заключается в пере­ воде системы из точки S = 0 в точку S — S*.

Задача, таким образом, сведена к однопараметриче­ скому поиску, т. е. к минимизации функции Q = Q (S). Этот процесс обычно называют спуском.

Алгоритм поиска методом наискорейшего спуска пока­

Покажем, что эта поверхность касательна направлению спуска X 0S.

Это положение для случая п = 2 легко доказывается от противного. Действительно, пусть линия равного уровня не касательна к траектории спуска, а пересе­ кает ее под острым углом. Ввиду того, что все линии рав­ ного уровня замкнуты, эта линия должна пересечь

направление спуска еще в одной точке (точка 2 на рис. 16.2.3, б). На траектории спуска между обеими точка­ ми (1 и 2) будет участок (он на рис. 16.2.3, б показан утолщенно), где функция качества меньше, чем в точках

1 и 2. Но по условию точка XÔ соответствует наимень­ шему значению показателя качества на траектории спуска.

Рис. 16.2.3. К определению точки экстремума при спуске.

Полученное противоречие доказывает невозможность ситуации, показанной на рис. 16.2.3, б. Следовательно,

в точке Х0 линия равного уровня касается траектории спуска X 0S.

Указанное свойство приводит к тому, что вектор

градиента в точке Х 0 оказывается ортогональным тра­ ектории спуска ввиду его ортогональности линии рав­ ного уровня. Это обстоятельство можно отразить в виде следующего выражения:

Но grad Q (XQ) является направлением следующего спуска. Таким образом, в процессе поиска по методу наи­ скорейшего спуска траектории очередных спусков орто­ гональны.

Это правило имеет естественное обоснование. Действи­

тельно, в точке Х0 спуск вдоль направления X 0S пол­ ностью «исчерпал» себя и, следовательно, это направление

Определим функцию качества как квадрат вектора не­ вязки

Эта величина не может быть отрицательной и равна нулю только при условии

т. е. когда X является решением X* системы уравнений (16.2.3):

Следовательно, решение X* является положением мини­ мума функции (16.2.7), которую удобно записать в форме скалярного произведения:

Q (X) = (АХ — В)2 = [(АХ — В), (АХ - В)]. (16.2.10)

Применим метод скорейшего спуска для минимизации этой функции. Прежде всего, определим градиент пока­ зателя качества. Частная производная по xt равна

Здесь выражение в круглых скобках соответствует пра­ вой части t-го уравнения (16.2.3) при замене X на В. Следовательно, для градиента получаем формулу

Пусть первый этап поиска начинается из состояния Х 0

где а — пока неизвестный параметр. Определим его. Для этого воспользуемся свойством ортогональности направлений спуска (16.2.2), которое в данном случае, с учетом (16.2.12), записывается в виде

Из этих двух выражений получаем

Теперь, подставляя сюда значение Хх — Х 0, из (16.2.13) получаем, с учетом (16.2.12),

где А а = I bij || — матрица п X п с коэффициентами вида

Подставим (16.2.17) в условие ортогональности (16.2.14):

В общем виде на ЛГ-м этапе наискорейшего спуска имеем

где Ru — AXif — Д.

Эта рекуррентная формула позволяет вычислять по­ следовательные приближения, которые всегда сходятся к решению, независимо от начальных условий- Х 0:

Заметим, что Я является, по сути дела, мерой «овражности», функции качества — чем больше Я, тем острее овраг. Следовательно, метод наискорейшего спуска рабо­ тает неэффективно в овражной обстановке.

Это обстоятельство сужает возможность метода наи­ скорейшего спуска, особенно при оптимизации слож­ ных многопараметрических объектов.

§ 16.3. Метод сопряженных градиентов

Метод сопряженных градиентов относится к так назы­ ваемым квадратичным методам оптимизации. Такое наз­ вание вызвано тем, что они строятся на основе квадратич­ ного приближения исходной функции. Наиболее обшир­ ный класс методов квадратичной оптимизации представ­ ляют многошаговые методы сопряженных направлений. Эти методы достаточно просты при реализации на ЭВМ и в то же время обладают очень высокой скоростью схо­ димости. При их применении необходимо только помнить, что используются они в основном для минимизации глад­ ких детерминированных функционалов, т. е. присутствие помехи недопустимо. При необходимости производить оптимизацию при наличии помех нужно сделать предва­ рительное тщательное сглаживание.

Самым простым из квадратичных методов сопряжен­ ных направлений является метод сопряженных градиен­ тов. Одновременно он обладает главным достоинством методов этого типа — высокой скоростью сходимости. Поэтому рассмотрим метод сопряженных градиентов более подробно.

Будем проводить поиск минимума функции Q = Q (X)

где GN — направление поиска, которое задается в методе сопряженных градиентов в виде линейной комбинации градиента grad Q (XN) и предыдущего направления поиска:

Коэффициент ÜN, определяющий величину шага в ме­ тоде сопряженных направлений, находится из условия

полной минимизации в данном направлении GN, т. е. про­ изводится полный спуск:

Отсюда следует справедливость соотношения

Из (16.3.2) видно, что метод сопряженных градиентов является двушаговым. В частности, при Gw = grad Q (X N) метод сопряженных градиентов вырождается в обычный метод наискорейшего спуска (см. § 16.2).

Основная трудность метода сопряженных градиентов заключается в определении коэффициентов ац. Формулы для вычисления этих коэффициентов выводятся исходя из одношаговой стратегии получения максимальной ве­ личины разности Q (XN) — Q (XN+I) на данном (N + 1)-м шаге поиска. При этом используется квадратичное при­ ближение минимизируемого функционала

Q {XN+I) = Q (Хц — O,NGN) =

= Q (XN ) — O,N [Gw, grad Q (Xw)] 4- -|-aiv (ENGN , GW],

(16.3.5)

где E N — гессиан — матрица вторых производных функции Q (X) в точке X N -

Для квадратичной модели объекта (11.4.20) гессиан с точ­ ностью до коэффициента совпадает с матрицей квадра­ тичной формы

В этом случав гессиан не зависит от номера шага.

Дифференцируя (16.3.5) по ам и приравнивая резуль­ тат нулю, получаем

__ [gw, gradQ (X N)]

aN IZNGn>GN1

(16.3.8)

Подставляя (16.3.8) в (16.3.5) и используя (16.3.2), ч16.3.4), можно получить величину изменения показа­ теля качества за один шаг спуска:

Отсюда следует, что для получения максимального значения этой величины необходимо минимизировать квадратичную форму [НмGW, GjvJЕсли гессиан положи­ тельно определенный, то минимизация этого функционала по «w приводит к следующему выражению для этого коэф­ фициента:

Такой способ вычисления aм и связанная с ним моди­ фикация метода сопряженных градиентов впервые были предложены в работе [16.5]. Однако пользоваться выра­ жением (16.3.10) неудобно, потому что на каждом шаге необходимо вычислять гессиан Нм, что, как известно, связано с определенными вычислительными трудностями.

Укажем другие способы вычисления коэффициентов <XjV, в которых не требуется оценивать гессиан. Если пред­ положить, что на отрезке ХмХм-% гессиан Нм изменяется мало, то можно [16.6] для с% получить следующее при­ ближенное выражение:

[grad Q (XN), grad Q (XN) — grad Q (Z w+1)]

Если метод сопряженных градиентов применять для минимизации квадратичных моделей, то можно показать, что градиенты в точках Хм и Хм-i ортогональны. Поэтому из (16.3.11) получаем окончательно очень простую фор­ мулу

[grad Q (X N)]a