lec_opt1

n =1

а) выбор направления (gradf , n) < 0 ;

б) движение вдоль выбранного направления X K +1 = X K + S K * nK

Задачи оптимизации с ограничениями – разностями (ЗОР)

21

Метод исключения

Численное решение:

f (x1 , x2 ) → min

a1 x1 + a2 x2 = b

[g(x1 , x2 ) = a1 x1 + a2 x2 −b] точка min должна лежать на прямой.

x2

g(x)

x1

В каждый момент линия уровня будет касаться прямой эта точка и является точкой

условного локального min. Если в окрестности заданной точки, удовлетворяющей всем значениям равенства, значение функции больше, чем в точке, то эта точка – есть точка условного локального min.

Пример:

a1 x1 + a2 x2 = 0

(a,x)=0 a x

x2

x1

Если (a1x)=b

x2

x1

22

Рассмотрим опять случай 3-х переменных:

Точка минимума должна принадлежать пересечению плоскостей. Необходимое условие – вектор антиградиента должен составлять угол 90 градусов с прямой пересечения плоскостей.

Для п-мерного случая имеется п переменных следовательно рассматривая каждое ограничение, получаем п-1 гиперплоскость следовательно рассмотрев т ограничений получим п-т гиперплоскость (т<п).

Т.о. вектора a1 , a2 ,K, am

могут быть выбраны в качестве базиса ортогонального дополнения следовательно градиент принадлежит ортогональному дополнению:

− gradf = λ1 a1 + λ2 a2 +K+ λm am

т.е. линейная комбинация базисных векторов.

v

V = λ1 a1 + λ2 a2

a1

a2

24

λ1 + λ2 +K+ λm - множители Лагранжа. Рассмотрим матрицу АТ , в ней а1 ,K, аm - столбцы.

− gradf = AT λ

это условие может быть использовано для численного решения задачи оптимизации с ограничивающими уравнениями.

Ax = b

AT λ = −gradf

Если найдем такие вектора х и λ , для которых эти условия выполняются то точка может быть точкой локального минимума.

Рассмотрим случай когда система ограничений – равенств нелинейная:

Если функции дифференцируемы, то в окрестности точки минимума они будут вести себя как линейные.

А = ∂gi

∂x j

следовательно необходимое условие локального минимума: xn

n-m

− gradf = λ1 gradg1 + λ2 gradg2 +K+ λm gradgm

25

λ1 + λ2 +K+ λm - множители Лагранжа.

f (x)→ min

g(x)= 0

− gradf = λ1 gradg 1 + λ2 gradg 2 +K + λm gradg m

х* - точка может быть искомой в задаче

λ1 + λ2 +K+ λm - множители Лагранжа.

Обозначения для скалярного произведения (x, y)= xT y ;

L(x, y )= f (x )+ λT g (x )= f (x )+ λ1 g1 (x )+ K + λm g m (x )

Необходимое условие точки локального минимума исходное задание с ограничениями представляет собой необходимое условие точки локального экстремума для функции Лагранжа.

∂∂L = gi (x)= 0,i =1,K, m x j

Метод множителей Лагранжа.

Применяется для нахождения точки локального минимума для точек исходной задачи h(x, λ)= f (x)+ λT g(x). Экстремальными точками локального минимума являются седловые.

Пример:

Найти расстояние от точки до прямой в 3-х мерном пространстве.

Плоскость : а11 x1 + a12 x2 +K+ a1n = b1

a21 x1 + a22 x2 +K+ a2n = b2

y

26

Z = (x1 − y1 )2 + (x2 − y2 )2 + (x3 − y3 )2 → min

а11 x1 + a12 x2 +K+ a1n −b1 = 0 a21 x1 + a22 x2 +K+ a2n −b2 = 0

L(x1 , x2 , x3 , λ1 , λ2 )= ∑j3=1 (x j − y j )2 +λ ∑j3=1 a1 j x j −b1 + λ2 ∑j3=1 a2 j x j −b2

Нелинейное программирование (НЛП).

x1

27

В случае системы неравенств пересечение всех областей. Если g > 0, то ограничение неравенства – неактивно (точку можно смещать).

Если точка точно на границе, то говорят, что ограничение активно.

Рассмотрим случай:

Если аТ х ≥ b , то граница проходит не через начало координат. Необходимые условия:

f (x1 , x2 )→ min a1 x1 + a2 x2 ≥ b

a

1.Если локальный минимум внутри допустимой области, то gradf = 0 ;

2.Если точка локального минимума точно на границе, то gradf = λa , точка является точкой локального, если gradf = λa и λ ≥ 0

λ1 , λ2 ≥ 0

В общем случае:

28

а) gradf (x)= h1 gradg1 (x)+K+ hm gradgm (x)+ λ1 gradh1 (x)+K+ λp gradhp (x);

λ1 ≥ 0

б) λ2 M≥ 0 ;

λp ≥ 0

в) Если hк = 0 , то λк > 0 . Если hк ≥ 0 , то λк = 0 . Т.е. λк + hк = 0, к =1,K, р. Условие дополняющей нежесткости.

Все 3 условия в совокупности называются условиями Куна-Таккера (условия оптимальности первого порядка).

Поскольку постановка задачи h(x)≥ 0

Основные результаты:

Область п-мерного пространства называется выпуклой если вместе с 2-ми точками, она содержит весь отрезок, соединяющий эти 2 точки.

29

Пример:

Функция нескольких переменных f (x) называется выпуклой если ее матрица Гесса положительно определена.

определяет выпуклую область.

область будет выпуклой

Th: Пусть дана задача НЛП, если целевая функция этой задачи – выпуклая, и область целевых решений так же выпукла, то локальный оптимум совпадает с ее глобальным оптимумом задачи (задачи выпуклого программирования).

1случай – когда все ограничительные неравенства являются не активными.

2случай – когда точка лежит на границе.

xK

(**)

1случай – вектор grad направлен по нормали;

2случай – идет под углом (надо спроецировать поверхность следовательно она будет показывать направление)

Если мы внутри, двигаемся как в (*), а далее (**). Это более эффективный метод.

30