Раздел 5: Нелинейное программирование

Тема 5.1. Методы нелинейного программирования без ограничений

Содержание вопросов

Методы минимизации без ограничений, использующие и не использующие производные. Градиентные методы. Метод Ньютона. Сопряженность и сопряженные направления. Прямой поиск. Методы Розенброка, Дэвиса, Свенна, Кемпи, Пауэлла. Методы случайного поиска.

Вопросы и задания для самостоятельной работы:

1. Подготовить ответы на контрольные вопросы по теме 5.1.:

1.1. Методы минимизации без ограничений?

1.2. Методы минимизации, использующие и не использующие производные?

1.3. Градиентные методы?

1.4. Метод Ньютона?

1.5. Сопряженность и сопряженные направления?

1.6. Прямой поиск?

1.7. Методы Розенброка, Дэвиса, Свенна, Кемпи, Пауэлла?

1.8. Методы случайного поиска?

2. Тестовые задания для самостоятельного контроля уровня подготовки студентами вопросов темы 5.1.

2.1. Методы минимизации без ограничений:

А. общая задача нелинейного программирования без ограничений сводится к следующей: минимизировать где является целевой функцией. При решении этой задачи мы используем методы минимизации, которые приводят к стационарной точке уравнением определяемой уравнением

;

Б. задача где является целевой функцией, решается с помощью алгоритмов, использующих первую и вторую частные производные ;

В. сначала описывается поиск методом наискорейшего спуска, затем излагаются метод Ньютона, метод сопряженных направлений и, некоторые из методов, аппроксимирующих (путем использования только первых производных) направления, определяемые методом Ньютона;

Г. градиент целевой функции в любой точке есть вектор в направлении наибольшего локального увеличения . Следовательно, нужно двигаться в направлении, противоположном градиенту , т.е. в направлении наискорейшего спуска, поскольку отрицательный градиент в точке

направлен в сторону наибольшего уменьшения по всем компонентам и ортогонален линии уровня в точке .

2.2. Методы минимизации, использующие и не использующие производные:

А. введение направления, противоположного нормированному (единичному) градиенту , т.е. направления наискорейшего спуска, определяемого в точке по формуле , дает следующую формулу перехода из в : ;

Б. отрицательный градиент дает только направление оптимизации, но не величину шага. При этом можно использовать различные процедуры метода наискорейшего спуска в зависимости от выбора и определения выражения ;

В. Поскольку один шаг в направлении наискорейшего спуска в общем случае не приводит в точку минимума , формула должна применяться несколько раз, до тех пор пока минимум не будет достигнут;

Г. В точке минимума все составляющие вектора градиента равны нулю. В случае когда целевая функция выражение может быть непосредственно подставлено в формулу для .

2.3. Градиентные методы:

А. в вычислительном аспекте методы оптимизации без ограничений используют только первые производные целевой функции;

Б. На этапе переход из точки в точку описывается следующим соотношением:

где - вектор перехода из точки в точку ;

- единичный вектор в направлении ;

- любой вектор в направлении ;

, -скаляры, определяемые соотношениями ;

В. Градиентные методы в лучшем случае обычно сходятся лишь к локальному экстремуму. Бывает так, что и такого рода сходимость отсутствует. Только в том случае, когда задача обладает подходящими свойствами выпуклости или вогнутости, можно быть уверенным, что процесс сходится к глобальному экстремуму;

Г. Для достижения решения требуется бесконечное число итераций, и лишь в некоторых специальных случаях, таких как задачи линейного программирования, решение достигается за конечное число шагов.

2.4. Метод Ньютона:

А. направление поиска, соответствующее наискорейшему спуску, можно интерпретировать как следствие линейной аппроксимации целевой функции;

Б. методы вторых производных, среди которых лучше всего известен метод Ньютона, возникли из квадратичной аппроксимации , определяемой уравнением

где - матрица Гессе представляющая собой квадратную матрицу вторых частных производных , взятых в точке :

.

Они используют информацию второго порядка, содержащуюся во вторых частных производных целевой функции по независимым переменным;

В. Если - квадратичная функция, то для достижения минимума достаточно только одного шага;

Г. Минимум функции в направлении определяется дифференцированием по каждой из компонент и приравниванием нулю полученных выражений. Последнее приводит к где - матрица, обратная матрице Гессе (матрица вторых частных производных по , взятая в точке ). Подстановка выражения в определит переход из в по методу Ньютона:

Здесь и направление и величина шага точно определены. Если - квадратичная функция, то для достижения минимума достаточно только одного шага. Но в случае общей нелинейной целевой функции минимума нельзя достичь за один шаг. Поэтому это уравнение приводят к его первоначальному виду путем введения специального параметра длины шага :

2.5. Сопряженность и сопряженные направления:

А. квадратичная целевая функция независимых переменных, имеющая минимум, может быть минимизирована за шагов (или менее), если шаги предпринимаются в так называемых сопряженных направлениях;

Б. целевая функция квадратична и имеет вид:

где - положительно определенная матрица;

В. пусть процесс минимизации начинается в с начальным направлением , выбранным произвольно или по какому-либо определенному правилу. Для удобства возьмем его в виде единичного вектора, т.е. ;

Г. тогда вектор будет равен где длина шага определяется из условия минимума по , как это следует из уравнения:

Таким образом,

После того как будет вычислен , для продолжения процесса минимизации

должно быть выбрано новое направление , которое называется сопряженным к старому направлению , если….?

2.6. Прямой поиск:

А. методы оптимизации, не использующие производные, называют методами поиска;

Б. в типичном методе поиска направления минимизации полностью определяются на основании последовательных вычислений целевой функции ;

В. при решении задач нелинейного программирования при отсутствии ограничений градиентные методы и методы, использующие вторые производные, сходятся быстрее, чем прямые методы поиска;

Г. методы поиска простейшего типа заключаются в изменении каждый раз одной переменной, тогда как другие остаются постоянными, пока не будет достигнут минимум. В одном из таких методов переменная устанавливается постоянной, а изменяют до тех пор, пока не будет получен минимум. Затем, сохраняя новое значение постоянным, изменяют , пока не будет достигнут оптимум при выбранном значении и т.д.

2.7. Методы Розенброка, Дэвиса, Свенна, Кемпи, Пауэлла:

А. метод Розенброка является итерационной процедурой, при которой предпринимаются малые шаги во время поиска в ортогональных направлениях;

Б. метод Розенброка определяет местонахождение , используя последовательные одномерные поиски, начиная с исходной точки , вдоль системы ортонормированных направлений полученных при помощи процедуры Грама-Шмидта, так что направления поиска вытягиваются вдоль главных осей квадратичной аппроксимации целевой функции;

В. эти оси являются собственными векторами и представляют собой особый случай сопряженных направлений;

Г. этот метод в некоторой степени аналогичен методу сопряженных направлений в смысле сходимости, если применяется в квадратичной аппроксимации целевой функции. Дэвис, Свенн и Кэмпи модифицировали поиск Розенброка в направлениях путем отыскания минимума в каждом из направлений способом, напоминающим поиск Дэвидона-Флетчера-Пауэлла.

2.8. Методы случайного поиска:

А. методы случайного поиска менее изящны и эффективны по сравнению с другими алгоритмами поиска, однако они стали полезны и эффективны благодаря применению цифровых и гибридных ЭВМ;

Б. комплексный метод разработан применительно к задачам нелинейного программирования с ограничениями в виде неравенств и основывается на использовании случайных направлений поиска;

В. затруднение, встречающееся при использовании метода Спендли и Нелдера-Мида при часто повторяющемся ограничении, состоит в том, что необходимо удалять каждый раз недопустимую вершину многогранника, пока не будет получена допустимая вершина;

Г. после ряда таких операций многогранник становится размерности _,

или меньшей, и процедура поиска значительно замедляется.