Opt_book_1

Задачу (3.3.23) принято называть прямой задачей, порождаемой функцией Лагранжа. Как следует из (3.3.24), по существу она является исходной общей задачей математического программирования (3.3.20).

Двойственная задача. Воспользуемся опять функцией Лагранжа (3.3.21). Пусть

x2¦

Данная функция, называемая двойственной, определена на множестве W , хотя, быть может, в некоторых точках и принимает бесконечные значения, равные ¡1. Поэтому мы вправе поставить задачу

Задача (3.3.26) в отличие от (3.3.23) называется двойственной задачей, порождаемой функцией Лагранжа L(x; u; v). О переменных u и v, от которых зависит целевая функция в (3.3.26), принято говорить как о двойственных переменных.

Приведем ряд результатов, касающийся свойств функции Á(u; v). Положим

W0 = f[u; v] 2 W : Á(u; v) > ¡1g :

Лемма 3.3.1. В двойственной задаче (3.3.26) множество W0 выпукло, а функция Á(u; v) вогнута на W0.

Доказательство. Объединим для сокращения записи пару переменных u и v в единую переменную w = [u; v]. Пусть w1 2 W0, w2 2 W0 и 0 · ¸ · 1. Имеем согласно определению функции Á(w) и линейности функции Лагранжа L(x; w) по переменной w:

Таким образом, Á(w) вогнутая функция. Отсюда также следует, что множество W0 должно быть выпуклым, поскольку из Á(w1) > ¡1 и Á(w2) > ¡1 следует, что Á (¸w1 + (1 ¡ ¸w2)) > ¡1. ¥

Лемма 3.3.2. Для любых x 2 X и любых [u; v] 2 W0 имеет место неравенство Ã(x) = f(x) ¸

Á(u; v).

Доказательство. Для любых x 2 X и [u; v] 2 W0 выполняется: hu; g(x)i = 0 и hv; h(x)i · 0. Поэтому

Ã(x) = f(x) ¸ f(x) + hu; g(x)i + hv; h(x)i = L(x; u; v) ¸ inf L(x; u; v) = Á(u; v):

x2¦

¥

Лемма 3.3.3. Если x¤ решение прямой задачи, [u¤; v¤] решение двойственной задачи, то

ä = f(x¤) ¸ Á(u¤; v¤) = Á¤.

Доказательство. Данный результат следует из утверждения предыдущей леммы. ¥

Результат леммы 3.3.2 позволяет получать нижние оценки для значений целевой функции f(x) в исходной задаче (3.3.20) на допустимом множестве X через значения двойственной функции. Если

ограничения в (3.3.20) линейные, то двойственная функция выражается явным образом с помощью сопряженной функции к функции f(x). В самом деле, пусть имеется задача

где A1 и A2 матрицы размером соответственно m1 £ n и m2 £ n. Составим для (3.3.27) Функцию Лагранжа

L(x; u; v) = f(x) + hu; b1 ¡ A1xi + hv; b2 ¡ A2xi; x 2 ¦; u 2 Rm1 ; v 2 Rm+2 :

На основании определения (3.3.25) двойственной функции получаем

для любых x 2 X и любых [u; v] 2 Rm1 £ Rm+2 таких, что AT1 u + AT2 v 2 Y , где Y область определения функции f¦¤(y).

Упражнение. Выпишите нижнюю оценку (3.3.28) для задачи о наименьших квадратах

где A m £ n матрица, b 2 Rm.

Упражнение. Найдите нижнюю оценку (3.3.28) для задачи максимизации энтропии

где, по прежнему, A m £ n матрица, b 2 Rm. Постройте для (3.3.29) двойственную задачу.

Согласно лемме 3.3.3 всегда оптимальное значение двойственной задачи не превосходит оптимального значения прямой задачи, т.е. f¤ ¸ Á¤. Это свойство пары двойственных задач называется слабой двойственностью. Если f¤ = Á¤, то говорят, что прямая и двойственная задачи связаны соотношением совершенной двойственности. Совершенную двойственность называют также строгой двойственностью, когда существуют решения прямой и двойственных задач (соответствующие инфинум и супремум достигаются). Возникает вопрос, в каких случаях строгая двойственность обязательно имеет место. Оказывается, что для задач выпуклого программирования для этого достаточно потребовать, чтобы выполнялось условие регулярности ограничений Слейтера.

Рассмотрим для простоты задачу выпуклого программирования (3.3.6), содержащую только ограничения типа неравенства. В такой задаче функция Лагранжа имеет вид (3.3.8) и Á(v) = infx2¦L(x; v).

Теорема 3.3.5. Для того чтобы точка x¤ 2 X была решением (3.3.6), достаточно, а при выполнении условия регулярности ограничений Слейтера и необходимо, чтобы нашелся вектор v¤ 2 Rk, для которого имеет место соотношение двойственности

При этом вектор v¤ является решением двойственной задачи (3.3.6).

Доказательство. Необходимость. При сделанных предположениях по теореме 3.3.2 у функции Лагранжа существует седловая точка, т.е. для x¤ 2 X вместе с некоторым вектором v¤ 2 Rk+ выполняются неравенства

Более того, при доказательстве упомянутой теоремы было установлено, что имеет место условие дополняющей нежесткости: v¤jhj(x¤) = 0, j 2 [1 : k]. Поэтому правое неравенство в (3.3.31) на самом деле записывается как

причем v¤ 2 W0 = fv 2 Rk+ : Á(v) > ¡1g. Но по лемме 3.3.2 f(x¤) ¸ Á(v) для любого v 2 W0. Сравнивая это неравенство с (3.3.32), приходим к выводу, что имеет место равенство (3.3.30). При

этом v¤ действительно является решением двойственной задачи, поскольку Á(v) · Á¤ · f(x¤) = Á(v¤) для любого v 2 Rk+. Следовательно, Á(v¤) = Á¤.

Достаточность. Пусть существуют точки x¤ 2 X и v¤ 2 Rk+ такие, что выполнено равенство (3.3.30). Имеем в силу определений функций Ã(x), Á(v) и (3.3.22):

Сравнивая с (3.3.30), приходим к выводу, что

Данные соотношения означают, что пара [x¤; v¤] является седловой точкой функции Лагранжа на

¦ £ Rk+. Поэтому по теореме 3.3.1 точка x¤ есть решение задачи выпуклого программирования (3.3.6). ¥

Результат леммы 3.3.1, несмотря на свою простоту, представляется весьма замечательным. Действительно, при ее доказательстве не использовались никакие предположения о множестве ¦ и вообще об допустимом множестве X в прямой задаче. Это означает, что оно, в принципе, может иметь любой вид быть несвязным, невыпуклым и т.д. Более того, сама исходная задача (3.3.20) может даже быть задачей дискретной оптимизации, например, задачей булевого программирования, в которой от переменных требуется, чтобы они принимали значения либо ноль, либо единица. Формально ее можно записать как задачу (3.3.20), добавив ограничения типа равенства xi(1 ¡ xi) = 0, 1 · i · n. Лемма 3.3.1 утверждает, что даже для такой задачи двойственная к ней задача имеет

весьма хороший вид, а именно, является задачей максимизации вогнутой функции на выпуклом множестве. Лемма 3.3.3 говорит, что, решив эту сравнительно несложную двойственную задачу, мы можем получить оценку снизу на оптимальное значение в исходной задаче булевого программирования. Разумеется все трудности решения задач дискретной оптимизации путем перехода к решению непрерывной двойственной задачи никуда не пропадают, они просто переходят в проблему вычисления значений двойственной функции.

В заключение данного раздела отметим, что наряду с двойственной задачей (3.3.26) рассматривают и другие типы двойственных задач. Например, предположим, что у нас есть задача: найти

x¸ 0n;

где f(x) выпуклая дифференцируемая функция и A (m£n)-матрица с m · n. Про ограничения задачи (3.3.33) говорят, что они заданы в стандартной форме.

Составим для задачи (3.3.33) функцию Лагранжа (регулярную)

где u 2 Rm, v 2 Rn+. Так как L(x; u; v) выпукла относительно первой переменной x, то в точках ее минимума по x в силу необходимых условий должно выполняться

Проводя теперь максимизацию функции Лагранжа (3.3.34) при “двойственном ограничении” (3.3.35), приходим к задаче

Такая задача называется двойственной по Вулфу для задачи (3.3.33).

3.3.3. Несобственные задачи математического программирования

Практика решения прикладных оптимизационных задач, особенно экономических, показывает, что многие из них в своей первоначальной постановке не обладают решением. Причинами этого могут служить разные факторы. Это и сложность модели, и неточность данных, и упрощение связей, и абсолютизация некоторых требований и т.д. Все это приводит к тому, что задача становится противоречивой, т.е. допустимое множество оказывается пустым, либо целевая функция может принимать бесконечные значения. Таким образом, чтобы добиться реального результата, процесс построения оптимизационной модели должен быть многошаговым с постепенным уточнением ряда параметров и ограничений. Теория решения несобственных задач призвана помочь в этом процессе.

Вообще говоря, под несобственными задачами понимаются задачи, которые в силу тех или иных причин не имеют решениий. В случае несобственных задач математического программирования можно уточнить данное общее понятие это задачи, которые не обладают одновременной разрешимостью прямой и двойственной задачи, или отсутствует совпадение их оптимальных значений.

Среди несобственных задач математического программирования различают задачи с различными типами несобственности. Поясним это на примере задачи выпуклого программирования: найти

где Y множество значений параметра y, при которых задача (3.3.38) разрешима. Пусть y¹ есть решение (3.3.39). Тогда задачей, которая аппроксимирует исходную несобственную задачу (3.3.37) по критерию качества p(y) является следующая задача:

min f(x; y¹0); X = ©x 2 Rn+ : gi(x; y¹i) · 0; 1 · i · mª: (3.3.40)

x2X

Обычно объединяют решение задачи (3.3.39) с решением аппроксимационной задачи. Поясним вышесказанное на простейшем примере аппроксимирующей задачи

Здесь y 2 Rm. Если компоненты вектора y интерпретировать как затрачиваемые ресурсы, то целесообразно брать их неотрицательными. При y = 0m задача (3.3.41) совпадает с исходной задачей выпуклого программирования (3.3.37). В этом случае X(0) = X.

Предположим, что задача (3.3.37) является несобственной 1-го рода, т.е. X = ;, U 6= ;. Если при некотором y ¸ 0m получаем, что X(y) 6= ;, то обязательно f¤(y) > ¡1. Действительно, двойственная функция для задачи (3.3.41) имеет вид

а допустимое множество U(y) = fu 2 Rm+ : Á(u; y) > ¡1g. Отсюда видно, что при U = U(0m) 6= ; выполняется: U(y) 6= ;. Поэтому из двойственного соотношения f¤(y) ¸ Á¤(u; y) ¸ Á(u; y) для некоторого u 2 U(y) следует, что f¤(y) > ¡1.

Верно и обратное, если X 6= ; и для некоторого y получаем, что X(y) 6= ; и f¤(y) > ¡1, то обязательно U 6= ;. Это следует из того, что если для некоторого y > 0m система ограничений g(x) · y удовлетворяет условию Слейтера и при этом f¤(y) > ¡1, то в задаче (3.3.41) существует седловая точка функции Лагранжа

Но левая часть соотношения (3.3.42) равна f¤(u) > ¡1. Поэтому функция Á(u; y) = infx2R+n L(x; u; y) не может равняться тождественно ¡1. Отсюда заключаем, что U(y) =6 ;. Кроме того, поскольку

U= U(0) = U(y), приходим к выводу, что U 6= ;.

Вкачестве критериальной функции p(y) можно взять какую-либо норму вектора y, например,

p(y) = kyk1 или p(y) = kyk2.

Если функции f(x) и g(x) линейные, т.е.

где A (m £ n)-матрица, c 2 Rn, b 2 Rm, то появляется возможность варьировать не только правую часть в ограничениях, а также матрицу коэффициентов A и вектор c, задающий целевую функцию. Другими словами, можно взять

y = [¢c; ¢A; ¢b]

или, в более простом варианте, когда нет варьирования матрицы коэффициентов A, y = [¢c; ¢b] : Аппроксимирующая задача в последнем случае принимает следующий вид: найти

где ¢c ¸ 0n, ¢b ¸ 0m. Теперь в качестве критериальной функции p(y) целесообразно взять, например, функцию

Наша цель, как и ранее, сделать задачу (3.3.44) разрешимой, т.е. добиться, чтобы множество X(¢b) было непустым, а оптимальное значение целевой функции f¤(y) конечным, причем, чтобы при этом параметр y минимизировал функцию (3.3.45). Из-за линейности целевой функции hc + ¢c; xi на полиэдральном допустимом множестве X(¢b) следует, что ее оптимальное значение конечно в том и только в том случае, когда hc + ¢c; zi ¸ 0 для любого z 2 Rn+ такого, что Az · 0b. Обозначим

K = Rn+ \ K1; K1 = fz 2 Rn : Az · 0mg:

Множество K есть не что иное, как рецессивный конус для допустимого множества X(¢b). Неравенство hc + ¢c; zi ¸ 0 для любого z 2 K означает, что c + ¢c 2 K¤. Имеем согласно утверждению 2.1.11: K¤ = Rn+ + K1¤. Но, как было показано ранее, K1¤ = ¡posAT . Поэтому приходим к выводу, что должно выполняться неравенство:

c + ¢c + AT u ¸ 0n

для некоторого u ¸ 0m. Таким образом, задача минимизации функции (3.3.45) сводится к следующей: найти

Из-за того, что условия на пары переменных не зависят друг от друга, задача (3.3.46), (3.3.47)

Если исходная задача (3.3.37), (3.3.43) является несобственной задачей 1-го рода, то в задаче (3.3.49) минимум равен нулю. Напротив, если задача (3.3.37), (3.3.43) есть несобственная задача 2-го рода, то равен нулю минимум в задаче (3.3.48). В случае несобственной задачи 3-го рода оба минимума положительны.

Приведенный подход к аппроксимации несобственной задачи принято называть моделью прямой аппроксимации. Возможны также и другие подходы, например, использование ранжирования ограничений по важности, т.е. разбиение ограничений на две группы, обязательные и необязательные для выполнения. При этом коррекции подвергаются только необязательные ограничения.

Найдем минимум функцию Лагранжа по переменной x при фиксированных u и v, т.е. вычислим двойственную функцию Á(u; v):

В силу линейности функции L(x; u; v) по x конечный минимум может достигаться в том и только в том случае, когда

при этом двойственная функция фактически не зависит от переменной v, называемой иногда слабой двойственной переменной или двойственной невязкой. Сама двойственная задача заключается в максимизации функции (3.4.7) при дополнительном учете равенства (3.4.6) и требования неотрицательности всех компонент вектора v. Другими словами, она имеет вид

v¸ 0n:

Таким образом, двойственная задача опять является задачей ЛП. Ее можно представить в более простом виде, если исключить переменную v:

Задача (3.4.9) является задачей ЛП в основной форме. Если построить двойственную задачу к ней (как, впрочем и к задаче (3.4.8)), то придем к исходной задаче ЛП (3.4.1).

Аналогичным образом можно получить (проделайте это!), что двойственная задача для ЛП в стандартной форме (3.4.2) имеет вид:

Опять подчеркнем, что если построить двойственные задачи к двойственным задачам (3.4.10), (3.4.11), то получим соответственно исходные задачи (3.4.2), (3.4.3). Поэтому о таких задачах говорят как о парах взаимодвойственных задач. Кроме того, пары взаимодвойственных задач всегда

150 ГЛАВА 3. ОПТИМИЗАЦИОННЫЕ ЗАДАЧИ

можно представить в симметричном виде, т.е. сделать так, чтобы исходная и двойственная задачи имели одинаковую форму. Поясним это на примере пары взаимодвойственных задач (3.4.1) и (3.4.8). Одна из них имеет каноническую форму, другая стандартную.

Предположим, что матрица A имеет полный ранг, равный m. Возьмем произвольный вектор

Обозначим через L пространство строк матрицы A, через L? его ортогональное дополнение.

? ¹

Так как A матрица полного ранга, то размерность L равна d = n ¡ m. Пусть A произвольная

Переходя теперь в двойственной задаче от максимизации к минимизации и опуская в целевой

Задача (3.4.12) полностью эквивалентна двойственной задаче (3.4.8) в том смысле, что их решения (в данном случае оптимальный вектор v¤) совпадают. Оптимальный вектор u¤ может быть восстановлен по v¤ помощью связи AT u¤ = c ¡ v¤. Оптимальные значения целевых функций в (3.4.8) и (3.4.12) конечно не совпадают, но отличаются на константу hc;¹ ci.

Обратим также внимание на геометрическую взаимосвязь допустимых множеств в исходной задаче (3.4.1) и в задаче (3.4.12. Допустимое множество в исходной задаче есть пересечение ортанта Rn+ с аффинным множеством, задаваемым через множество решений системы линейных алгебраических уравнений Ax = b. R+n . Линейным подпространством, параллельным этому аффинному множеству, является подпространство L?. В задаче (3.4.12) допустимое множество также образуется путем пересечения ортанта Rn+ с аффинным множеством, но которое уже задается множеством ре-

¹ ¹

шений системы Av = b с. У данного аффинного множества параллельное линейное подпространство теперь L. Таким образом, несущие линейные подпространства у аффинных множеств оказываются взаимно ортогональными.

Сформулируем далее необходимые и достаточные условия оптимальности, а также теорему двойственности, для задач линейного программирования на примере прямой задачи в канонической форме (3.4.1) и двойственной к ней задачи (3.4.9). Обозначим через X и U допустимые множества

в этих задачах: © ª © ª

X = x 2 Rn+ : Ax = b ; U = u 2 Rm : AT u · c :

Прежде всего, установим следующий важный результат, касающийся существования решения у задачи (3.4.1).

Теорема 3.4.1. Пусть допустимое множество X в прямой задаче линейного программирования (3.4.1) не пусто. Пусть, кроме того, целевая функция f(x) = hc; xi ограничена снизу на X. Тогда решение задачи (3.4.1) существует.

Доказательство. Так как целевая функция ограничена снизу на X, то

inf hc; xi = f¤ > ¡1:

x2X