2. Нелинейное программирование

Рассмотрим задачу

(3.5)

Перейдем от неравенств к равенствам, применив прием Валлентайна:

Рассмотрим обобщенную функцию Лагранжа

(3.6)

(3.7)

(3.8)

Из последнего соотношения, имеем

(3.9)

Из 3.8 и 3.9 получаем так называемые условия дополняющей нежесткости:

(3.10)

Теорема 17.( Каруша-Джона) Пусть точка - точка условного локального минимума задачи 3.5. и функции , непрерывно дифференцируемы в окрестности точки . Тогда существует нетривиальный набор для которых выполняются условия.

(3.11)

Система 3.11 вместе с условием позволяют найти одну или несколько стационарных условных точек, так как система дает необходимые условия существования минимума.

Дальнейшее исследование, так же как и ранее проводится с помощью дифференциала второго порядка для функции Лагранжа. Так же как и в классическом случае в нелинейном программировании важно рассмотрение регулярного и нерегулярного случаев.

3. Классификация численных методов многомерной оптимизации при наличии ограничений

Снова рассмотрим задачу

(3.5)

Применение классического подхода в подобных задачах, как правило, ограничено простейшими случаями для небольших размерностей. Для решения большинства практических задач используются различные численные методы. Эти методы можно разделить на две большие группы.

1. Методы, использующие преобразование задачи условной оптимизации в последовательность задач безусловной оптимизации путем введения вспомогательных функций (чаще всего штрафных функций).

2. Методы непосредственного решения задачи условной оптимизации, основанные на движении из одной допустимой точки, где выполнены все ограничения, к другой допустимой точке с лучшим значением целевой функции. Эти методы часто называют методами возможных направлений.

Основная идея методов первой группы состоит в том, чтобы аппроксимировать исходную задачу условной оптимизации некоторой вспомогательной задачей, решение которой менее сложно, чем решение исходной. Если ограничиться одной вспомогательной задачей, можно получить лишь приближенное решение, причем иногда приближение не слишком хорошее. Если же использовать последовательность задач, в определенном смысле «сходящихся» к исходной, то искомое решение в большинстве случаев окажется пределом соответствующей последовательности приближенных решений. Идея преобразования задачи с ограничением в последовательность задач без ограничений связана с наличием эффективных и надежных численных методов безусловной оптимизации.

В рамках единой методологии можно выделить несколько подходов.

Первый – так называемый метод штрафов или метод внешних штрафных функций. В этом методе к целевой функции добавляется функция, интерпретируемая как штраф за нарушение каждого из ограничений.

Определение 19. Последовательность называется последовательностью внешних штрафных функций, если:

1.

2.

3.

4.

Второй подход называется методом барьерных функций или методом внутренних штрафных функций. В этом методе к целевой функции добавляется слагаемые, которые не позволяют генерируемым точкам выходить за пределы допустимой области.

Определение 20. Последовательность называется последовательностью внутренних штрафных функций(барьерных функций), если:

1.

2.

3.

Где - все внутренние точки множества , а - граница множества .

Мы будем предполагать, что множество ‑ замкнуто и Ø .

Третий подход связан с добавлением штрафов не к целевой функции, а к ее функции Лагранжа. Такие методы называют методами множителей Лагранжа.

Четвертый подход базируется на введении так называемых точных штрафных функций, позволяющих ограничится лишь одной- двумя задачами безусловной оптимизации.

Вернемся к группе методов II – методов непосредственного решения задач условной минимизации. Эти методы связаны с нахождением предела последовательности допустимых точек , при этом .

Последовательность точек строится так:

/

К данной группе методов относятся метод проекции градиента и метод возможных направлений.

Определение 21. Ненулевой вектор называется возможным направлением в точке Ошибка! Объект не может быть создан из кодов полей редактирования. , если .