1. Общие сведения

   1. Постановка задачи безусловной оптимизации функции многих переменных

Постановка задачи поиска минимума функции содержит:

1. целевую функцию где, определенную наn-мерном евклидовом пространстве.

2. множество допустимых решений , среди элементов которого осуществляется поиск.

Требуется найти такой вектор из множества допустимых решений, которому соответствует минимальное значение целевой функции на этом множестве:

Если множество допустимых решений задается ограничениями, накладываемыми на вектор, то решается задач условного экстремума. Если, т.е. ограничения на векторотсутствуют, то решается задача поиска безусловного экстремума.

Введем обозначения:

• вектор-градиент функции

• симметричная матрица вторых частных производных (Гессиан)

1. Глобальный оптимум функции

Точка называется точкой глобального минимума функциина множестве, если функция достигает в этой точке своего наименьшего значения, т.е.:

,

2. Локальный оптимум функции

Точка называется точкой локального минимума функциина множестве, если существует, такое, что еслии, то.

3. Выпуклость множеств и функций

Множество называется выпуклым, если оно содержит всякий отрезок, концы которого принадлежат, т.е. если для любых,исправедливо.

Функция , определенная на выпуклом множестве, называется выпуклой, если,,.

Функция , определенная на выпуклом множестве, называется строго выпуклой, если,,.

Функцию называют выпуклой (строго выпуклой), если она целиком лежит не выше (ниже) отрезка, соединяющего две ее произвольные точки.

Если выпуклая функция на выпуклом множестве, то всякая точка локального минимума является точкой ее глобального минимума на. Если выпуклая функция достигает своего минимума в двух различных точках, то она достигает минимума во всех точках отрезка, соединяющего эти две точки.

2. Методы прямого поиска безусловного оптимума функции многих переменных

Методы прямого поиска являются методами, в которых используются только значения функции.

Методы прямого поиска наиболее эффективно используются если функция и/или ее градиент разрывны в точке оптимума, аналитическое выражение градиента невозможно или затруднено, а численное дифференцирование требует больших вычислительных ресурсов.

С общих позиций их можно разделить на эвристические (метод покоординатного спуска, метод Нелдера-Мида) и теоретические (метод сопряженных направлений). Эвристические методы реализуют процедуру поиска с помощью интуитивных геометрических представлений. Теоретические методы – с помощью фундаментальных математических теорем.

1. Эвристические методы

   1. Метод Хука-Дживса (метод прямого поиска)

Хук и Дживс предложили логически простую стратегию поиска, использующую априорные сведения и в то же время отвергающую устаревшую информацию относительно характера топологии целевой функции в . Этот алгоритм включает два основных этапа: «исследующий поиск» вокруг базисной точки и «поиск по образцу», т.е. в направлении, выбранном для минимизации. На рис. 1 представлена упрощенная информационная блок-схема этого алгоритма.

Рассматриваемый алгоритм состоит из следующих операций. Прежде всего задаются начальные значения элементов x, а также начальное приращение. Чтобы начать «исследующий поиск», следует вычислить значение функциив базисной точке (базисная точка представляет собой начальный вектор предполагаемых искомых значений независимых переменных на первом цикле). Затем в циклическом порядке изменяется каждая переменная (каждый раз только одна) на выбранные величины приращений, пока все параметры не будут таким образом изменены. В частности,изменяется на величину, так что. Если приращение не улучшает целевую функцию,изменяется наи значениепроверяется как и ранее. Если значениене улучшают ни, ни, тооставляют без изменений. Затемизменяют на величинуи т.д., пока не будут изменены все независимые переменные, что завершает один исследующий поиск. На каждом шаге или сдвиге по независимой переменной значение целевой функции сравнивается с ее значением в предыдущей точке. Если целевая функция улучшается на данном шаге, то ее старое значение заменяется на новое при последующих сравнениях. Однако если произведенное возмущение поxнеудачно, то сохраняется прежнее значение.

После проведения одного (или более) исследующего поиска применяется стратегия поиска по образцу. Удачные изменения переменных в исследующим поиске (т.е. те изменения переменных, которые уменьшили ) определяют вектор, указывающий некоторое направление минимизации, которое может привести к успеху. Серия ускоряющихся шагов, или поиск по образцу, проводится вдоль этого вектора до тех пор, покауменьшается при каждом таком поиске. Длина шага при поиске по образцу в данном координатном направлении приблизительно пропорциональна числу удачных шагов, имевших место ранее в этом координатном направлении во время исследующих поисков за несколько предыдущих циклов. Для ускорения процесса оптимизации изменение размера шага в поиске по образцу осуществляется путем введения некоторого множителя при величине_, используемой в исследующих поисках. Исследующий поиск, проводимый после поиска по образцу, называется исследующим поиском типа II; успех или неудачу по данному образцу нельзя установить до завершения исследующего поиска типаII.

Если не уменьшается в процессе исследующего поиска типаII, то говорят, что данный поиск по образцу неудачен, и проводится новый исследующий поиск типаIдля определения нового удачного направления. Если исследующий поиск типаIне дает нового удачного направления, то последовательно уменьшают, пока либо можно будет определить новое удачное направление, либоне станет меньше, чем некоторая заранее заданная величина. Невозможность уменьшить, когдадостаточно мала, указывает на то, что достигнут локальный оптимум. Описанная последовательность поисков заканчивается, если оказываются удовлетворенными условия трех основных тестов. Первый тест проводится после каждого исследующего поиска и поиска по образцу: изменение целевой функции сравнивается с заранее малой величиной. Если значение целевой функции не отличается на величину, большую, чем это число, от предыдущего основного значения целевой функции, исследующий поиск или поиск по образцу считается неудачным. В противном случае проводится тест для определения, увеличилась ли целевая функция (неудача) или уменьшилась (удачный поиск) этот второй тест нужен для того, чтобы быть уверенным, что значение целевой функции все время улучшается. Третий тест проводится после неудачи в исследующем поиске на стадии уменьшения изменения. Поиск может быть закончен, если на данном шаге изменение каждой переменнойоказывается меньше, чем некоторое заранее определенное число.

Рис. 1. Информационная блок-схема минимизации прямым поиском