Исследование операций безусловная оптимизация. Курс лекций

y = x(k ) , z = A(k ) g(k ) ,

тогда формулу (2.27) можно записать в виде

Подставляя значение Ac(k ) в формулу (2.27), находим следующее приближение для A(k +1) :

Теперь можно определить направление S(k+1) и, решая задачу одно- мерной оптимизации, найти α(k) и следующую точку приближения x(k+1).

Формулу (2.29) называют DFP-формулой по именам ее авторов Дэвидона, Флетчера и Пауэлла. В работе [2] приводится другой неза- висимый подход к определению переменных метрик, из которого также выводится DFP-формула. Этот подход может быть рекомендо- ван для самостоятельного ознакомления. Существуют другие методы [2, 5], предлагающие иначе вычислять A(k+1), но по сути работающие с переменными метриками. Например, метод Бройдена – Флетчера – Гольдфарба – Шенно, или BFGS-метод, в котором используется ап- проксимация самого гессиана исследуемой функции. Формула, реа- лизующая данный метод, выглядит следующим образом:

Для квадратичных функций квазиньютоновские методы конечны, а для не квадратичных функций они имеют сверхлинейную сходимость. Окончание поиска в данных методах определяется по градиенту.

Разберем описанные методы на данных примера 2.5.

Пример 2.7. В качестве начального направления поиска исполь- зуем направление, противоположное градиенту функции:

S(0) = − f (x(0) ) = −(1; 0) .

Первая точка приближения определяется так же, как и в методе Флетчера – Ривса: x(1) = (−1/8; 0) . Согласно формуле (2.24) имеем

A(1) = A(0) + Ac(0). В качестве A(0) возьмем единичную матрицу:

61

Найдем разность значений двух точек x(0), x(1) и разность градиентов, вычисленных в этих точках:

Вычислим корректирующую матрицу Ac(0) по формуле (2.28):

Согласно формуле (2.8)

x(2) = x(1) + α(1)S(1) .

Подставляя это выражение переменной x(2)в целевую функцию и решая задачу одномерной оптимизации функции относительно α(1), находим α(1) = 5/16. Тогда

x(2) = (−1/8; 0)T − 5/16(1/5; 2/5)T = (−3/16; − 1/8) .

Полученная точка совпадает с точками, рассчитанными предыду- щими методами. Градиент функции в этой точке равен нулю, реше- ние найдено.

Контрольные вопросы

1. Какой из прямых методов поиска наиболее эффективен, если исследуемая функция квадратична?

62

2.Какие действия необходимо предпринять, если возникло цик- лическое движение по симплексу?

3.Используется ли в методе Хука – Дживса информация о функ- ции, полученная на предыдущем шаге?

4.Как проводится исследующий поиск в методе Хука – Дживса?

5.В каких случаях метод Нелдера – Мида более предпочтителен, чем метод поиска по симплексу?

6.Что необходимо сделать, если произошло «накрытие» точки оптимума при поиске по симплексу?

7.Какие условия окончания поиска вы знаете?

8.Почему методом Коши называется метод наискорейшего спуска?

9.Когда предпочтительней использовать метод Ньютона при по- иске оптимума?

10.Назовите недостатки метода Коши.

11.В каких случаях метод Ньютона сходится в один шаг?

12.Какой метод оказывается предпочтительней при поиске мини- мума квадратичной функции?

13.Известно, что исследуемая функция дифференцируема и на- чальная точка находится в окрестности оптимума. Какой из методов будет наиболее эффективен в данном случае?

14.Какие условия окончания поиска градиентных методов вы знаете?

15.Почему квадратичные функции используются как основа для построения алгоритмов нелинейной оптимизации?

16.Что такое «переменная метрика»? В каких методах использу- ется данное понятие?

17.Поясните связь метода Марквардта с методами Коши и Нью- тона? В чем его преимущество?

18.Какие идеи положены в алгоритмы квазиньютоновских методов?

63

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

1.Хемди А. Таха. Введение в исследование операций. 7-е изд. М.: Изд. дом «Вильямс», 2007.

2.Деннис Дж., Шнабель Р. Численные методы безусловной опти- мизации и решения нелинейных уравнений. М.: Мир, 1988.

3.Банди Б. Методы оптимизации. Вводный курс. М.: Радио и связь, 1988.

4.Реклейтис Г., Рейвиндран А., Рэгсдел К. Оптимизация в технике:

В2 т. М.: Мир, 1986.

5.Химмельблау Д. Прикладное нелинейное программирование.

М.: Мир, 1975.

64