Нелинейная оптимизация.

В общем виде задача нелинейной оптимизации может быть сформулирована следующим образом:

(1)

Задача (1) называется нелинейной, если хоть одна их функций f(x) или будет нелинейной. В ЗНП могут присутствовать также ограничения типа равенств.

ЗНП без ограничений.

(2) - задача безусловной оптимизации.

ЗНП, в которой присутствуют ограничения только в виде равенств и отсутствует условие неистинности переменных, называется задачей на условный экстремум или классической задачей оптимизации.

. (3)

Область допустимых решений в ЗПН может быть выпуклой или невыпуклой.

ЗНП, связанная с минимизацией (максимизацией) вогнутой (выпуклой) функции f(x), которая задана на выпуклой области D, называется задачей выпуклого программирования.

Функция f(x) называется вогнутой (выпуклой), если ее график нигде не лежит под (над) касательной к нему.

Условия:

(для выпуклой функции)

(для вогнутой функции) или

Условия оптимальности для ЗНП.

1. Условие оптимальности для задачи безусловного оптимизации функции одной переменной:

Необходимое условие:

.

Достаточное условие:

.

Больше нуля - для минимума, меньше - для максимума.

(Если равно 0 продолжать брать производную до тех пор, пока не будет . Если к нечетное, экстремума нет. Если к четное, то аналогично второй производной.)

2. Условие оптимальности для задачи оптимизации функции одной переменной при дополнительном условии неотрицательности этой переменной .

Необходимое условие .

Достаточное условие .

3. Для задачи безусловной оптимизации функции нескольких переменных .

Необходимое условие .

Достаточное условие: в точке X* матрица вторых производных (матрица Гессе) должна быть положительно определена (для минимума) или отрицательно ( для максимума).

Условие минимума , - для отрицательно определенной матрицы.

4. Если к задаче (3) добавить условия неотрицательности всех переменных , то необходимое условие экстремума:

для минимума и меньше нуля - для максимума;

.

5. Условие оптимальности для задачи на условный экстремум.

Условие может быть получено с помощью метода множителей Лагранжа. Введем набор переменных , называемых множителями Лагранжа и составляющих функцию Лагранжа:

, где - произвольные действительные числа. Затем находятся частные производные и , и рассматривается система n+m уравнений с n+m неизвестными, в которых каждая производная приравнивается нулю.

Решив систему, получим точки, которые могут быть оптимальны. Дальнейшее исследование осуществляется также, как и в случае безусловного экстремума.

6. Условие оптимальности для задачи выпуклого программирования.

Рассмотрим задачу выпуклого программирования:

.

Определение. Множество дополнительных решений задачи ЗВП удовлетворяет условиям регулярности, если для любой i . Каждый локальный минимум или максимум ЗВП является и глобальным.

Для учета ограничений ЗВП осуществляется переход к задаче без этих ограничений путем введения штрафа за их нарушение. Для этого на множестве вводится штрафная функция Лагранжа:

, где y_i называются штрафными множителями Лагранжа.

Таким образом при нарушении ограничения осуществляется увеличение целевой функции, т.е. производится штраф за нарушение ограничения. Величина штрафа определяется переменными y_i.

В терминах функции Лагранжа исходную задачу можно записать:

.

Задачу называется двойственной задачей к исходной задаче.

Точка (X*,Y*) называется седловой точкой функции Лагранжа, если выполняется следующее условие:

или

Теорема Куна-Таккера.

Для задачи выпуклого программирования, множество допустимых решений которой обладает свойством регулярности, точка X* является оптимальной тогда и только тогда, когда существует такая ,что пара (X*,Y*) является седловой точкой функции Лагранжа.

Дифференциальный вариант теоремы Куна-Таккера (необходимое и достаточное условие экстремума для ЗВП).

Для того, чтобы пара (X*,Y*) была седловой точкой функции Лагранжа, необходимо и достаточно выполнение следующих условий:

Условия теоремы не дают вычислительного алгоритма для определения оптимального решения. Они могут быть использованы для проверки точек, подозреваемых на экстремум. Иногда возможно исключение из допустимой области тех множеств точек, для которых удается показать, что ни один их элемент не может удовлетворять условию оптимальности.

Пример:

проверить, являются ли точки и оптимальным решением заданной задачи.

а) Составим функцию Лагранжа

.

Т. е. X₁*=(2,1) не является решением, а X₂*=(1,1) - является.

Cведение задач с ограничениями к задачам безусловной оптимизации.

Одним из наиболее распространенных приемов решения нелинейных задач с ограничениями является их сведение к задачам безусловной оптимизации. При этом учет прямых и функциональных ограничений моет осуществляться по разному.

1. Учет прямых ограничений

Исключение прямых ограничений на варьируемые параметры может быть осуществлено с использованием замены переменных.

, где n - число варьируемых параметров, на которые наложены прямые ограничения. Z_i - новые варьируемые параметры.

Тогда задача с прямыми ограничениями и целевой функцией f(x) сводится к задаче безусловной оптимизации следующего вида:

, где .

Примеры:

1) тогда может быть использована замена переменной .

2) , тогда

3)

2. Учет функциональных ограничений.

Для учета функциональных ограничений обычно используется метод штрафных функций. При этом решение задач с ограничениями сводится к решению последовательностей задач безусловной оптимизации. В общем виде такое преобразование осуществляется при помощи специальным образом сконструированной функции H(X), называемой штрафной функцией или функцией штрафа. В результате мы переходим к следующей целевой функции: Ф(X)=f(x)+H(x).

Существует два подхода к построению штрафных функций:

1. Методы внутренних штрафных функций (барьерных функций).

2. Методы вешних штрафных функций.

2.1.Методы внутренних штрафных функций.

Эти методы арактеризуются следующими функциями штрафа:

(1)

(2)

где альфа - параметр штрафа, значение параметра может быть постоянным (случай 1) или меняться на различных итерациях (случай 2).

В случае 2 выбирается таким образом, чтобы его значения стремилось к нулю при .

В данном случае поиск минимума следует начинать с внутренней точки допустимой области, то есть с точки, в которой все ограничения выполнены, как строгие неравенства. При выходе на границу допустимой области штраф будет бесконечным, следовательно, оптимизационный процесс никогда не выйдет за пределы допустимой области.

Недостатком таких штрафных функций является то, что они требуют существования внутренних точек дополнительной области D, т.е. не позволяют решать ЗНП с ограничениями типа равенств. Кроме того, для их использования необходимо знать начальную допустимую точку.

2. Метод внешних штрафных функций.

Функции штрафа при этом может иметь следующий вид:

В первом случае параметр  одинаков на всех итерациях.

Во втором случае изменяется в процессе поиска таким образом, чтобы при приближении к оптимальной точке влияние функции штрафа постепенно ослабевало, а может иметь следующий вид:

Таким образом, если ограничение не нарушается, т.е. , то  H(X)=0.

Если ограничение нарушается, то величина штрафа зависит от степени нарушаемого ограничения. Таким образом, ЗНП с ограничениями могут быть сведены к задачам безусловной оптимизации, следовательно, алгоритмы безусловной оптимизации составляют инвариантную часть алгоритмического обеспечения, предназначенного для решения оптимизационных задач. При этом учет ограничений осуществляется на внешнем уровне и не затрагивает инвариантное алгоритмическое ядро.

Алгоритмы безусловной оптимизации.

Рассмотрим задачу безусловной оптимизации вида

В общем виде алгоритмы безусловной оптимизации являются итерационными процедурами, реализующими последовательное приближение к данному экстремуму.

,

где k - номер итерации, H^К - направление движения на k-й итерации, - величина шага в этом направлении. При этом:

Получаемая последовательность точек называется траекторией поиска и должна сходиться к оптимальной точке X*. Таким образом, алгоритмы безусловной оптимизации различаются по способам выбора направлений поиска и величины шага, причем способ выбора направления поиска является определяющим.

В зависимости от способа выбора направления поиска h методы безусловной оптимизации делятся на методы 0-го, 1-го и 2-го порядка.

а) Методы 0-го порядка - методы, в которых для определения направления поиска используются только значения целевой функции. Производные в данном случае не вычисляются.

Эти методы также называют поисковыми методами оптимизации. К ним относятся методы переменного многогранника и различные методы покоординатного поиска.

Особенностью методов поисковой оптимизации является то, что они могут быть использованы при алгоритмическом задании критериев оптимальности и ограниченности.

б) Методы первого порядка - методы, в которых для определения направления поиска используются 1-е производные целевой функции по параметру. Эти методы называют также градиентными.

в) Методы 2-го порядка - это методы, в которых для определения направления поиска используются 2-е производные целевой функции. К этому классу относят метод Ньютона и его модификации.

Важной характеристикой методов является их скорость сходимости. Скорость сходимости линейна:

, где X* - точка минимума.

Скорость сходимости сверхлинейна, если при .

Скорость сходимости квадратична, если

Точность результата может оцениваться величиной , где – решение задачи.

Рассмотрим методы 1-го и 2-го порядка. Для формирования правила перехода из одной точки траектории поиска в другую воспользуемся аппроксимацией целевой функции в окрестности точки Х^К с использованием формулы Тейлора

В векторной форме:

Градиентные методы оптимизации

Воспользовавшись линейной аппроксимацией целевой функции, получим

Это неравенство всегда выполняется, если в качестве направления можно выбрать антиградиент . Известно, что градиент функции является направлением ее наискорейшего возрастания, а антиградиент - направлением наискорейшего убывания. Таким образом, получим следующую итерационную процедуру поиска:

В координатной форме:

Итерационные процедуры, в которых направление движения на каждой итерации совпадает с антиградиентом (градиентом) целевой функции, называются градиентными методами и отличаются друг от друга способами выбора шага _k .

1. Градиентные методы с постоянным шагом. При этом величина шага задается на начальной итерации и в процессе поиска не меняется.

2. Градиентные методы с дроблением шага. В этих методах выбирается на начальном этапе поиска произвольное значение шага _о . На каждой последующей итерации проверяется выполнение неравенства

.

Если неравенство не выполняется, то осуществляется дробление шага _k до тех пор, пока оно не станет истинным.

Может быть использовано более жесткое условие:

,

где 0 <  < 1 - константа, неизменяемая на всех итерациях.

Смысл этих условий : функция должна убывать от итерации к итерации.

Г еометрическая интерпретация градиентных методов:

Градиент направлен перпендикулярно касательной к линии уровня целевой функции в каждой точке. Очевидно, что сходимость градиентных методов наиболее высока, когда ЛУЦФ имеют вид концентрических окружностей.

3. Метод наискорейшего спуска

В этом методе на каждой итерации определяется оптимальная длина шага в результате решения вспомогательной задачи одномерной оптимизации.

Т аким образом, шаг градиентного метода(переход на новую точку поиска) чередуется с этапом определения оптимальной длины шага. Как правило, этот метод более эффективен, чем предыдущий, так как обеспечивает движение с самым выгодным шагом, однако его трудоемкость выше, чем в рассматриваемых ранее методах.

В этом методе, в отличие от обычного градиентного спуска, направление движения из точки Х ^k касается линии уровня в точке Х ^k+1 . Последовательность точек Х ⁰ ,Х ¹ … Х ^k ,…зигзагообразно приближается к точке минимума, причем звенья этого зигзага ортогональны между собой.

Действительно, шаг  выбирается из условия минимизации по  функции

, поэтому

Градиентные методы обладают линейной скоростью сходимости

Достоинства: простота и широта использования (универсальность).

Недостатки: если линии уровня имеют овражный характер, то эти методы плохо сходятся. Это бывает, если матрица двух производных (матрица Гессе) плохо обусловлена, то есть ее максимальное М и минимальное m собственные числа сильно отличаются друг от друга.

В этом случае необходимо использовать вторые производные целевой функции для построения методов, которые не реагируют на овражную структуру f(X).

Методы второго порядка.

Для определения направления поиска H^k воспользуемся квадратной аппроксимацией целевой функции в окрестности точки x_k, получим:

Используем необходимое условие экстремума

Отсюда

- направление поиска.

,

где

Процедуры такого типа называют процедурами Ньютона.

Различают:

1. Стандартный, классический метод Ньютона (длина шага на всех итерациях равна единице)

2. Метод Ньютона с регулировкой шага. ( меняется на каждой итерации).

Метод Ньютона без регулировки шага сходится лишь при удачном выборе начального приближения. Методы с регулировкой шага сходятся независимо от начальной точки и обладают либо сверхлинейной, либо квадратичной скоростью сходимости.

Рассмотрим два способа выбора длинны шага _k . Первый связан с проверкой неравенства, аналогичного тому, что рассматривалось в градиентном методе:

,

где и 0< <1/2

Второй способ определения шага аналогичен методу наискорейшего спуска и состоит в минимизации функции по  в направлении движения.

(*) Целевая функция F(x) непосредственно или косвенно связана с выходными параметрами проецируемого объекта. Рассмотрим основные виды критерием оптимизации.

1. Самый простой случай – когда в качестве критерия оптимальности выбирается сами выходные параметры. или

,

где n – число выходных параметров, _i - весовой коэффициент, задающий относительную важность выходного параметра y_i (x) по сравнению с другими.

2. Критерий оптимальности связан с выходными характеристиками функциональной зависимостью:

3. Для отображения степени близости оптимизируемых параметров желаемых или нежелаемых значениям часто используются критерии вида:

или

или

Замечание. Разнообразие и сложность реальных практических задач оптимизации не позволяет ограничиваться одним критерием оптимальности. Обычно реальные практические задачи многокритериальны, т.е. имеется целый набор показателей, характеризующий тот или иной вариант объекта. Часто эти критерии бывают противоречивыми.

Существует большое число методов и алгоритмов многокритериальной (векторной) оптимизации, однако все они в конечном итоге сводятся к оптимизации по одному критерию.

Рассмотрим некоторые такие подзадачи.

а) Вычисление наиболее приемлемого критерия с номером m и перевод остальных критериев в систему ограничений: , где

- некоторое устанавливаемое разработчиком пороговое

значение критерия.

б) Составление некоторого обобщенного критерия, включающего в себя все частные критерии (аддитивная свертка)

где - нормированные частные критерии оптимальности, приведенные к безразмерному виду.

, где  - константа, равная единице измерения величины F_i

или

- некоторое min значение критерия в области компромисса

- max значение в области компромисса.

Методы решения задач многокритериальной оптимизации будут рассматриваться в следующем семестре. Но так как любую многокритериальную задачу можно свести к однокритериальной, мы будем в дальнейшем рассматривать задачи с одним критерием оптимальности.

1