§4. Задача нелинейного программирования с ограничениями типа равенств.

Рассмотрим n-мерную задачу нелинейного программирования

, (1)

где

- (2)

не пустое, ограниченное замкнутое множество.

Нам понадобятся далее понятия множителей Лагранжа и функции Лагранжа. Функция Лагранжадля задачи (1) с ограничениями (2) определяется формулой

(3)

где - (l*1)-вектормножителей Лагранжа.

Нам понадобится также понятие условия регулярности. Если точка , то условие линейной независимости векторовназываетсяусловием регулярности системы функцийв точке. Данное условие означает, в частности, что количество ограничивающих функций, проходящих через точку, не может быть больше размерности вектора варьируемых параметров, т.е. должно быть выполнено неравенство(рисунок 1).

Рисунок 1 - Ситуации, в которых в двумерном случае (n=2) не выполняется условие регулярности системы функцийв точке. а) Количество ограничивающих функций, проходящих через точку, не может быть больше размерности вектора варьируемых параметров. б) В точкеградиенты,ограничивающих функций не должны быть коллениарны.

Исключительно важное место в теории и практике нелинейного программирования с ограничениями типа равенств занимает следующая теорема.

Теорема 1 (правило множителей Лагранжа). Пусть функцияФ(Х) и функцииимеют непрерывные частные производные в некоторой окрестности точкии пусть эта точка является точкой локального минимума функцииФ(Х). Пусть, кроме того, выполняется условие регулярности системы функцийв точке.Тогда существуют такие множители Лагранжа,не все из которых равные нулю одновременно, что для функции Лагранжаточкаявляется стационарной, т.е.

. (4)

Доказательство теоремы приведем для одного частного случая. Пустьn=3, т.е. минимизируемая функция, и пусть заданы два ограничения типа равенств

, . (5)

Ограничения (5) определяют область допустимых значений D, которая представляет собой некоторую кривую в пространстве, являющуюся результатом пересечения поверхностей,. Допустим, что функцияФ(X)имеет точку локального минимумав областиD. Допустим также, что выполнены условия теоремы 1, т.е. функцииФ(Х),имеют непрерывные частные производные в некоторой окрестности точкии градиенты функцийв этой точке линейно независимы.Положим, кроме того, что из равенств (5) переменныеможно выразить через переменнуюв виде

. (6)

Подставив выражения (6) в выражение для функции Ф(X), преобразуем исходную задачу к следующей задаче без ограничений, которая содержит только одну переменную:

. (7)

Поскольку функция Ф(X)имеет точку минимума, производная пофункциив точкеравна нулю:

. (8)

Дифференцируя по выражения (5), получим

, . (9)

Запишем уравнения (8), (9) в виде матричного уравнения

, . (10)

Поскольку вектор не нулевой, то равенство (10) возможно лишь в том случае, когда. Но это возможно лишь в том случае, когда вектора-строки матрицыAлинейно зависимы. Значит, существуют такие скаляры, не все равные нулю, что

. (11)

В выражении (11) следует, что скаляр aне может быть равен нулю, поскольку противное означало бы линейную зависимость векторов, что противоречит условию теоремы. Поэтому после деления наaиз (11) получим

.

Таким образом, для рассматриваемого частного случая справедливость теоремы доказана●

Отметим, что теорема 1 не требует знакоопределенности (т.е. положительности или отрицательности) множителей Лагранжа . Теорема требуется лишь того, чтобы не все из этих множителей равнялись нулю одновременно.

Пример 1.Рассмотрим в качестве минимизируемой функцииФ(Х) функцию Розенброка, (n=2). Положим, что имеется только одно ограничение типа равенств, которое задается с помощью функции. Легко видеть, что градиенты функций Ф(Х),равны, соответственно

,

.

Задачу иллюстрирует рисунок 2, линии уровня функции Розенброка на котором получены с помощью следующей MATLAB-программы:

x=-2:0.06:0;

y=x;

[X,Y]=meshgrid(x);

Z=100.*(Y-X.^2).^2+(1-X).^2;

V=[2,8,32,125,250,500,1000,2000];

contour(X,Y,Z,V);

[C,h]=contour(X,Y,Z,V);

clabel(C,h);

В точках векторы градиента функцийФ(Х),не коллениарны. Поэтому для этих точек не существует не равный нулю множитель Лагранжа, при котором функция Лагранжа равна нулю:. И поэтому точкине могут быть точками локального минимума для рассматриваемой задачи. Наоборот, в точкевекторы градиента функцийФ(Х),коллениарны и поэтому существует не равный нулю множитель, при котором справедливо равенство. Отметим, что, например в точке (-1 -1)^T, градиент функции Розенброка равен (-402 -400)^T●

Рисунок 2 - К примеру 1

Теорема 1 означает, что в ее условиях вместо задачи условной оптимизации (1), (2) можно решать задачу безусловной оптимизации

.

Необходимым условием существования локального минимума этой задачи в некоторой точке является как раз условие (4).

Широко известна другая форма теоремы 1, которую мы сформулируем в виде следствия этой теоремы.

Следствие. В условиях теоремы 1 существуют такие множители Лагранжа,не все из которых равные нулю одновременно, что имеют место следующие равенства:

; (12)

. (13)

Здесь равенство (12) повторяет равенство (4), а справедливость равенства (13) следует из того факта, что по условиям теоремы точка удовлетворяет всем ограничениям, т.е.●

Заметим, что из (13) следует справедливость еще одного полезного равенства

.

Замечание (геометрическая интерпретация минимума функции вдоль прямой). Рассмотрим двумерную задачу оптимизации, в которой функциядважды непрерывно дифференцируемаво всех точках области определенияD. Пусть локальный минимум этой функции вдоль некоторой прямойL, лежащей в областиD,достигается в точке. Тогда прямаяLкасается линии уровня функции, проходящей через точку.

Отметим, что здесь требование дважды непрерывной дифференцируемости обеспечивает гладкость линий уровня, так что в каждой точке любой линии уровня определена касательная к ней.

Входные термины:

• многомерная задача условной оптимизации;

• задача нелинейного программирования с ограничениями типа неравенств.

Выходные термины:

• условие регулярности для задачи нелинейного программирования с ограничениями типа равенств;

• множители Лагранжа для задачи нелинейного программирования с ограничениями типа неравенств;

• функция Лагранжа для задачи нелинейного программирования с ограничениями типа неравенств;

• активные ограничения;

• неактивные ограничения;

• теорема Куна-Таккера для задачи нелинейного программирования с ограничениями типа неравенств.