Ограничения в виде равенств.

1. Метод Якоби (приведённого градиента).

Данный метод является обобщенный симплекс метод линейного программирования. Рассмотрим задачу минимизирования z=при ограниченияхгде, а функцияидважды не прерывно дифференцируемы.

Идея заключается в том, чтобы найти аналитическое выражение для первых частных производных функций , во всех точках удовлетворяющих.

Из теоремы Тейлора следует, что для точки можно записать:

При ∆x_j→0 имеем:

т.к. , то, значит

(1)

Пусть , гдеявляются зависимыми и независимыми переменными (m<n), образующими вектор. Градиенты имеют вид:

Введём определение двух матрицу:

(2)

(3)

Матрицу называют матрицей Якоби, аматрицей управления.

Перепишем (1):

(4)

Далее: т.к. , то(5)

, (6)

где - проведенный градиент. Вектордолжен обратятся в нуль в стационарных точках. При этом элементы матрицы Гессе соответствуют компонентам вектора независимых переменных. Векторзадаётi-ю строку матрице Гессе Н_с.

2. Метод множителей Лагранжа

Пусть .

Функция Lназывается функцией Лагранжа, а параметрымножителями Лагранжа. Без доказательства приведем утверждение, что в стационарной точкеY₀верно равенство:

Пусть , откуда. Это уравнение выражает условие стационарности точек. В более удобном виде

.

Применительно к функциям Лагранжа эти условия стационарности имеют вид

и .

Это означает, что задача оптимизации приэквивалентна задаче нахождения безусловного экстремума функции Лагранжа.

Ограничения в виде не равенств.

1. Обобщённый метод множителей Лагранжа.

Пусть дана задача максимизировать при ограничениях.

1. Решить задачу без учёта ограничений. Если полученная точка удовлетворяет все ограничения, то прекратить вычисления, иначе - положить k=1 и продолжить.

2. Сделать любые kограничений активными (превратить в равенства) и найти оптимум при этих ограничениях. Если найденная точка удовлетворяет оставшимся ограничениям, то локальный оптимум найден. Иначе, увеличимkи повторяем 2). Если всеkограничений были активными, то переходим к 3).

3. Допустимых решений не существует.

2. Условия Кука – Таккера.

Рассмотрим ту же задачу. Ограничения – неравенство можно преобразовать к виду равенств, введя соответствующие неотрицательные переменные , которые прибавили к левым частямi-xограничений.

. Пусть.

При этом функция Лагранжа записывается в виде .

В задаче максимизации (минимизации) необходимым условием оптимальности является неотрицательность (неположительность) .

Прировняем частные производные Lк 0:

Из этих уравнений следует необходимые условия Кука – Таккера, которые должны удовлетворять и, определяющие стационарную точку в задаче оптимизации

Для минимизации . Если ограничения заданы в виде равенств, то на знакограничения не накладываются.

3. Достаточность условий Кука – Таккера.

Необходимые условия Кука – Таккера являются также достаточными, если целевая функция и область допустимых значений обладают определенными свойствами:

Типы оптимизации			λi
Максимизация	Вогнутая		≥0 1 ≤ i ≤ r ≤0 r+1 ≤ i ≤ p без огр. p+1 ≤ i ≤ m
Минимизация	Выпуклая		≤0 1 ≤ i ≤ r ≥0 r+1 ≤ i ≤ p без огр. p+1 ≤ i ≤ m

Ограничения задаются в виде:

i = 1,…, r,

i=r+1,…,p,

i=p+1,…,m.

Функция Лагранжа:

4.Квадратичное программирование.

Модель квадратичного программирования определяется, как максимизировать (минимизировать) при ограничениях, где,,,,.

Матрица Dквадратичной формы предполагается отрицательно (положительно) определённой в задаче максимизации (минимизации). Решение получается путём применения условий Кука – Таккера:и- множители Лагранжа:

,

где - вектор дополнительных переменных.