Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Специальные методы исследования операций и математические модели. Курс лекций
.pdf
2.3.4. Учет прямых ограничений
n,1
n,1
n,1
),,(
0
yyx
x
L
j
=
0
y
)(
x
x
f
j
–
)(
1
x
x
g
y
m
i
j
i
i
.βесли,0
,αесли,0
,βαесли,0
jj
jj
jjj
x
x
x
(2.14)
1m
y
= |
0
y
)(
x
x
f
s
–
m
i
s
i
i
x
x
g
y
1
)(
|.
(2.15)
15
16
В экономических приложениях обычно возникают ограничения вида s ≤ xs ≤ s
(например, условия неотрицательности переменных). Их называют прямыми
ограничениями. Можно считать на все переменные наложены двусторонние
прямые ограничения: j ≤ xj ≤ j для всех j, где j R {} и j R {+}
(если переменная xj не ограничена снизу, то положим j = , если она не огра-
ничена сверху, то положим j = +). Прямые ограничения удобно включить в
множество M.
Теорема 2.915. Если для задачи (2.2) – (2.5) выполнены условия гладкости
теоремы 2.7 и M = {x = (x, ..., xn)T | αj ≤ xj ≤ βj для j
j R {+} для всех j
условию: для всех j
, то неравенство (2.6) эквивалентно следующему
}, где j R {} и
Условия (2.14) – это условия первого порядка для задачи (2.2) – (2.5), в
которой множество M имеет вид, указанный в теореме 2.9. Понятно, что в правой части условия (2.14) с номером j отсутствует вторая строка, если переменная j не ограничена снизу, и третья строка, если переменная j не ограничена
сверху.
Множители Лагранжа имеют важный экономический смысл (см. разд.
3.4). Чтобы найти множитель Лагранжа для прямого ограничения, нужно считать условие xs ≥ s > или xs ≤ s < + не частью описания множества M в
задаче (2.2) – (2.5), а ограничением-неравенством (с номером m + 1).
Теорема 2.10 (о множителе Лагранжа для прямого ограничения)16. Пред-
положим, что в задачу (2.2) (2.5) при M = Rn введено дополнительное (с номером m + 1) прямое ограничение xs ≥ s > (или xs ≤ s < +). Множитель Ла-
гранжа для этого ограничения, записанного в виде –xs –s (или xs s), можно
вычислить по формуле
Выясним смысл условий (2.14) на примере простейшей задачи (рис. 5):
f (x) → max при x M = [a, b] R.
Эквивалентна утверждению 2 леммы 2.1 книги: Сухарев А. Г. Курс методов оптимизации. – 2-е изд. /
А. Г. Сухарев, А. В. Тимохов, В. В. Федоров. – М.: ФИЗМАТЛИТ, 2005. – С. 150.
Доказательство: Хуторецкий А. Б. Модели исследования операций: введение в предмет, нелинейное
программирование, выпуклое программирование, линейное программирование. Новосибирск: Изд-во СО РАН,
2006 (§ 2.4.4, утверждение 3).
21
.если,0
,если,0
),,(если,0
bx
ax
bax
n
R
0
y
)(
x
x
f
j
–
)(
1
x
x
g
y
m
i
j
i
i
≤ 0 с равенством при
j
x
> 0.
(2.16)
),,(
0
yyx
x
L
j
j
x
),,(
0
yyx
x
L
j
17
x
0
y
b
a
x
y = f (x)
Рис. 5. Иллюстрация к условию (2.14)
Будем считать, что функция f (x) дважды дифференцируема, тогда в точ-
ках локальных максимумов должны выполняться условия Каруша–Джона. Но в
задаче есть только двустороннее прямое ограничение, поэтому нужен лишь
один множитель Лагранжа, y0. Среди множителей Лагранжа должен быть хотя
бы один, не равный нулю, поэтому y0 ≠ 0 и y0 = 1 по условию (2.8). Следовательно, в точке максимума должно выполняться условие (2.14), которое принимает вид
f '(x)
На рис. 5 видны локальные максимумы в точках a, x0 и b. Условие перво-
го порядка утверждает, что внутреннее локальное решение x0 должно быть стационарной точкой функции f, в точке a локальный максимум достигается, только если функция в этой точке не возрастает, а в точке b – только если функция в
этой точке не убывает.
Следствие 2.217. Если в задаче (2.2) – (2.5) M =
(условие неотрица-
тельности всех переменных, x 0n), то условия (2.14) принимают вид:
Соотношения (2.16) можно записать следующим образом:
≤ 0 и
= 0.
Теорема 2.9 и следствие 2.2 позволяют учесть в необходимых условиях
локального решения прямые ограничения (в частности, условия неотрицательности) как «дополнительные», не вводя для них множители Лагранжа, которые,
тем не менее, можно вычислить по формуле (2.15).
Частный случай теоремы 2.10.
22
2.3.5. Регулярные решения, условия Куна–Таккера
0
y
0
y
n,1
0
y
)(
xg
i
0
y
m
i
ii
xgy
1
)(
i
y
0
y
)()(xIi
ii
xgy
)(
xg
i
18
При
= 0 необходимые условия первого порядка не содержат никакой
информации о целевой функции. Поэтому нет оснований предполагать, что
точка x*, удовлетворяющая этим условиям, окажется локальным решением задачи. В связи с этим полезны следующие определения.
Определения
Точка x* является регулярной точкой задачи (2.2) – (2.5), если она допустима и существует вектор y Rm, который при
= 1 удовлетворяет условиям
Куна–Таккера: (2.6), (2.7) и (2.9).
Задача (2.2) – (2.5) регулярна, если хотя бы одно из ее оптимальных решений является регулярной точкой.
Вспомним, что условие первого порядка (2.6) эквивалентно (2.11), если
M = Rn, и (2.14), – если M = {x = (x, ..., xn)T | αj ≤ xj ≤ βj для j
Условия (2.8) и (2.10) при
= 1 с очевидностью выполняются. Следова-
}.
тельно, если точка x* регулярна, то набор (x*, 1, у*) удовлетворяет необходимым
условиям локального экстремума, которые в этом случае являются условиями
Куна–Таккера. Поскольку для регулярной точки необходимые условияо экстремума упрощаются, полезны достаточные признаки регулярности18. Самый
употребительный из таких признаков дает теорема 2.11.
Обозначение. I(x) = {i | gi(x) = bi} – множество номеров всех ограничений
задачи (2.2) – (2.5), активных в точке x.
Теорема 2.11 (признак регулярности локального решения). Если точка x*
является локальным решением задачи (2.2) – (2.5) при M = Rn и векторы
для i I(x*) (вычисленные в точке x* градиенты ограничений, активных в этой
точке) линейно независимы, то x* – регулярная точка задачи.
Доказательство. Предположим, что точка x* удовлетворяет условия теоремы. Тогда
f '(x*)
= 0n
по теореме Каруша–Джона (2.12). Из условий дополняющей нежесткости (2.7)
следует, что
= 0, если i I(x*). Если
= 0, то у* ≠ 0m по условию (2.10) и
= 0n.
Но это означает линейную зависимость векторов
для i I(x*), про-
тиворечие. #
Применяя это условие регулярности, нужно учитывать все активные
ограничения, включая ограничения вида a xj b (в частности, условия неотрицательности), если они входят в задачу.
Обзор признаков регулярности локального решения: Базара М. Нелинейное программирование. Теория
и алгоритмы / М. Базара, К. Шетти. – М.: Мир, 1982. Разд. 5.2. См. также достаточное условие регулярности в
книге: Поляк Б. Т. Введение в оптимизацию. – М.: Наука, 1983. – С. 242.
23
Определение. Если F(x) – дифференцируемая функция n переменных и
0
y
0
y
0
y
y
0
)(x
x
f
j
–
)(1x
x
g
y
m
i
j
i
i
= 0
для всех j;
(2.17)
yi (gi(x) – bi) = 0
для i ≤ m1;
(2.18)
gi(x) = bi
для i > m1,
(2.19)
F'(x0) = 0n, то x0 – стационарная точка функции.
Следствие 2.3. Пусть X – множество допустимых решений задачи (2.2) –
(2.5), в которой нет ограничений-равенств и M = Rn. Если функции gi(x) диффе-
ренцируемы на X и определены в окрестности любой допустимой точки, то все
локальные решения задачи содержатся среди стационарных точек ЦФ и точек,
в которых хотя бы одно ограничение обращается в равенство.
Доказательство. Рассмотрим локальное решение x* задачи (2.2) – (2.5)
при M = Rn. По условию для него выполнены условия гладкости теоремы 2.7,
поэтому существует вектор множителей Лагранжа (
, у*), удовлетворяющий
условиям Каруша–Джона. Допустим, что I(x*) = . Тогда разность gi(x) – bi не
равна нулю в x* и сохраняет знак в окрестности этой точки (по непрерывности).
Из условий дополняющей нежесткости (2.7) следует, что y* = 0m. В соответствии с (2.10) и (2.8) можно считать, что
= 1, поэтому x* – регулярная точка
задачи. Тогда условия (2.9) сводятся к f '(x*) = 0, то есть к требованию стационарности точки x* для ЦФ. #
2.4. Метод множителей Лагранжа
2.4.1. Общий случай
Необходимые условия локального экстремума являются основой метода
множителей Лагранжа, который можно использовать для решения ЗНП (2.2) –
(2.5) при M = Rn. Он заключается в следующем. Сначала проверяем разрешимость задачи. Если она разрешима, то составляем систему уравнений для определения x*,
и у*:
где y0 является параметром, принимающим значения из множества {0, 1}. В системе (2.17) (2.19) m + n неизвестных и столько же уравнений. Если удастся
решить ее при y0 = 0 и y0 = 1, то найдем некоторое множество пар (x*, y*); из них
выберем те, для которых выполняются условия (2.4), (2.5), (2.9), (2.10). Получим множество точек Лагранжа. Добавим к этому множеству точки, в которых
нарушаются условия гладкости теоремы 2.7. Построенное множество обозначим K. Оно наверняка содержит все оптимальные решения задачи. Это те точки, в которых достигается максимум f (x) на K, и выявить их (зная множество K)
обычно гораздо легче, чем решить исходную задачу. Часто удается ограничиться вычислением f (x) в конечном числе точек.
К сожалению, метод множителей Лагранжа не позволяет построить алгоритм решения общей задачи нелинейного программирования, так как нет уни-
версального подхода к решению системы уравнений (2.17) (2.19). Необходи-
24
мые условия первого порядка чаще применяют не для решения прикладных за-
gi(x) + s
2
i
= 0
(2.20)
2
i
0
y
0
y
дач, а для теоретического анализа моделей и обоснования численных методов
нелинейного программирования.
2.4.2. Классическая задача условной оптимизации
Если в задаче (2.2) – (2.5) при M = Rn положить m1 = 0, то получим клас-
сическую задачу условной оптимизации, в которой все ограничения являются
равенствами.
Заметим, что неравенство (2.5) с номером i эквивалентно уравнению
в следующем смысле: если x Rn является решением неравенства, то значение [bi
gi(x)]
1/2
определено, так как bi gi(x) ≥ 0, поэтому набор (x, si) при si = [bi gi(x)]
1/2
есть решение уравнения (2.18); если же (x, si) – решение уравнения, то bi gi(x) =
= s
≥ 0 и x – решение неравенства. Следовательно, заменив неравенства (2.4)
равенствами (2.20) для всех i ≤ m1, получим классическую задачу условной оптимизации, эквивалентную исходной общей задаче нелинейного программирования. Заметим, что описанное сведение к классической задаче условной оптимизации, как правило, не упрощает решение исходной ЗНП.
Условия гладкости теоремы 2.7 для классической задачи условной оптимизации адаптируются следующим образом:
функция f дифференцируема в окрестности точки x*;
функции gi непрерывно дифференцируемы в окрестности точки x*.
Необходимые условия первого порядка для классической задачи условной оптимизации включают только (2.11), (2.8) и (2.10).
Метод множителей Лагранжа для такой задачи предполагает решение системы уравнений (2.17), (2.19) при m1 = 0 и y
0
{0, 1}.
Для классической задачи условной оптимизации второе из условий (2.13)
должно выполняться при всех i {1, … ,m}. Понятно, что решение системы
уравнений (2.13) при m1 = 0 эквивалентно поиску стационарных точек функции
L(x, y0, y) при y0 = 0 и y0 = 1. Следовательно, если x* – локальное решение классической задачи условной оптимизации, удовлетворяющее условиям гладкости
теоремы 2.7, а (
набор (x*, y*) – стационарная точка функции L(x*,
, y*) – соответствующий вектор множителей Лагранжа, то
, y*).
2.5. Интерпретации
2.5.1. Геометрические интерпретации
Определения. Пусть функция F определена на множестве M Rn.
Множество всех решений уравнения F(x) = c (c R) называется поверхно-
стью уровня (в двухмерном случае – линией уровня) c для функции F.
Поверхность уровня c для функции F проходит через точку x (точка ле-
жит на поверхности уровня), если F(x) = c.
25
Понятно, что через каждую точку x, в которой функция F определена,
)(x
hf
)0,(
λ
φ
x
,
λ
)()λ(
lim
0λ
xfhxf
19
проходит единственная поверхность уровня c = F(x) для этой функции. Точки,
удовлетворяющие неравенству F(x) c, образуют замкнутую область, которая
ограничена поверхностью уровня c для функции F и лежит «по одну сторону»
от нее. Следовательно, множество допустимых решений задачи (2.2) – (2.5) является пересечением поверхностей уровня, определенных ограничениями (2.4),
и областей, определенных ограничениями (2.5).
Определения
Любой вектор a при λ 0 называется нормалью (к) гиперплоскости a, x = b.
Пусть функция F: Rn → R дифференцируема в точке x0 и F'(x0) ≠ 0n. Тогда
уравнение F'(x0), x = F'(x0), x0 определяет касательную гиперплоскость к
проходящей через точку x0 поверхности уровня функции F.
Понятно, что гиперплоскостями в R2 и R3 являются соответственно прямые и плоскости. Из определения касательной гиперплоскости следует, что
градиент функции F в точке x0 является нормалью гиперплоскости, касательной
к проходящей через эту точку поверхности уровня функции F.
Определения и обозначения
Направление h Rn \ {0n} является возможным направлением в точке x
относительно множества M Rn, если (x + δh) M для всех δ [0, ε) при некотором ε > 0.
D(x, M)19 – множество всех возможных направлений в точке x относитель-
но множества M.
Лемма 2.2. Если M Rn – выпуклое множество и x0 M, то
D(x0, M) = {δ(x – x0) | x M, δ R+}.
Доказательство. Пусть x M, δ0 R+, h = δ0(x – x0). Тогда
x0 + δh = x0 + δδ0(x – x0) = x0(1 – δδ0) + x(δδ0).
Если δ [0, 1 / δ0], то δδ0 [0, 1], точка x0 + δh является выпуклой линейной комбинацией точек x и x0. Но M – выпуклое множество, поэтому x0 + δh
M для всех δ [0, 1 / δ0]. Тогда h D(x0, M). Обратно, если h D(x0, M), то x =
= (x0 + δ0h) M для некоторого δ0 > 0, откуда h = (x – x0)/δ0. #
Определения и обозначения
Пусть функция f : Rn → R определена на множестве M, h D(x, M) и
(x, ) = f(x + h).
Производной функции f по направлению h в точке x называют величину
=
=
если указанный предел существует и конечен.
Direction (англ.).
26
Следствие 2.4 (о производной по направлению). Пусть функция f : Rn → R
n,1
n,1
)(x
hf
n,1
)(x
hf
)0,(x
0
)(
))((
j
j
j
d
dx
x
x
f
j
j
j
hx
x
f
)(
20
x
)(2af
g
(x)
)(13ag
)(1af
)(12ag
)(21ag
)(22ag
x
дифференцируема в точке x = (xj | j
)T M, h = (hj | j
)T D(x, M). То-
гда
= f '(x), h.
Доказательство. Положим x() = (xj() | j
)T = x + h, (x, ) = f x()).
Используя правило дифференцирования сложной функции и учитывая, что
xj() = xj + hj, получим
=
=
=
= f '(x), h. #
Таким образом, производная функции по направлению равна скалярному
произведению ее градиента на направляющий вектор. Модуль направляющего
вектора можно считать фиксированным. Тогда из | f '(x), h| ≤ | f '(x)| |h|20 следует, что производная по направлению h максимальна и неотрицательна, если
вектор h коллинеарен градиенту: h = λf '(x), 0. Это значит, что градиент указывает направление наискорейшего роста функции f при движении из точки x0.
Если f (x0) = c, то при малых положительных поверхности уровней c + расположены «со стороны» вектора f '(x0) от поверхности уровня c.
На рис. 6 изображено множество допустимых решений задачи нелинейного
программирования с тремя ограничениями-неравенствами (m1 = m = 3) : f (x) max
при условиях gi(x) ≤ bi для i {1, 2, 3}.
Рис. 6. Геометрическая интерпретация условий Куна–Таккера
Области, соответствующие ограничениям gi(x) ≤ bi, i {1, 2, 3}, указаны
штриховкой; пересечение этих областей есть множество допустимых решений задачи. Пунктиром изображены линии уровней с, c1 и с2 для целевой функции f (x).
Предположим, что с2 < с < c1, то есть, функция растет «вправо вверх».
Двигая линию уровня в сторону роста функции (в направлении градиента),
найдем решение задачи в точке a1, которая лежит на пересечении кривых g3(x) = b3
и g2(x) = b2. Соответствующие ограничения активны в точке a1: I(a1) = {2, 3}. Через
эту точку проходит линия уровня c1 для целевой функции. Проведя мысленно
Неравенство Коши–Шварца, см.: Кудрявцев Л. Д. Курс математического анализа: в 3 т. – Т.2. – М.:
Дрофа, 20. – С. 207.
27
касательные к указанным трем кривым, можем примерно изобразить направле-
)(12ag
)(13ag
0
y
)(
x
x
f
j
=
m
i
j
i
i
x
x
g
y
1
).(
(2.20)
i
y
y
x
x
x + y
y
ния градиентов
,
и f '(a1).
Определения
Конической линейной комбинацией векторов x1, ..., xk называется линейная
комбинация этих векторов с неотрицательными коэффициентами.
Конус, натянутый на векторы x1, ..., xk, есть множество всех конических
линейных комбинаций этих векторов.
Геометрический смысл предшествующих определений иллюстрирует рис. 7.
На нем изображена коническая линейная комбинация двухмерных векторов x и
y с коэффициентами α > 1 и (0, 1). Дуга указывает конус, натянутый на векторы x и y.
Рис. 7. Коническая линейная комбинация
Пусть x* – регулярная точка задачи (2.2) – (2.5), M = Rn и m1 = m (нет
ограничений-равенств). Тогда
= 1, поэтому условие (2.11) принимает вид
Предположим, что все функции gi непрерывны в точке x*. Если ни одно
ограничение не активно в точке x* (I(x*) = , gi(x*) < bi для всех i), то
= 0 для
всех i по условиям дополняющей нежесткости (2.7). Тогда из (2.20) следует, что
x* – стационарная точка функции f (x) (все частные производные равны нулю).
Если же I(x*) , то условия (2.20), (2.7) и (2.10) требуют, чтобы градиент f '(x*)
лежал в конусе, натянутом на градиенты активных в точке x* ограничений.
На рис. 6 видно, что в точке максимума a1 градиент целевой функции лежит в конусе, образованном градиентами активных ограничений. Но этим свойством не обладает точка a2, которая не является локальным решением задачи.
2.5.2. Экономические интерпретации
Многие и разнообразные задачи принятия решений допускают формализацию в виде модели нелинейного программирования. Мы опишем стандартную экономическую интерпретацию задачи нелинейного программирования –
задачу планирования.
Предположим, что объект управления в течение планового периода может
в различных сочетаниях применять n технологических способов (или просто
способов). Предположим также, что в реализации технологических способов
участвуют ингредиенты (материальные и трудовые ресурсы, оборудование,
другие факторы производства, полуфабрикаты, конечные продукты, полезно-
28
сти) с номерами 1, ..., m. Каждый ингредиент рассматриваемая система может
f (x) max при условиях:
gi(x) bi для i
m,1
,
(2.21)
x 0n.
производить и (или) потреблять.
Мерой использования технологического способа в плановом периоде является его интенсивность, определенная в соответствии с содержанием способа и принимающая неотрицательные действительные значения. Обычно интенсивность использования способа можно измерить объемом производства или
потребления (за рассматриваемый период) какого-то (основного для данного
способа) ингредиента. Пусть xj 0 – интенсивность использования способа j
(xj = 0 означает, что способ не применяется). Тогда вектор x = (x1, ..., xn)T естественно назвать планом деятельности объекта управления. Выбор плана – задача ЛПР.
Пусть gi(x) – чистое потребление ингредиента i за плановый период при
плане x (разность потребления и производства); gi(x) < 0 означает, что в системе
к концу периода образуется избыток ингредиента i, равный |gi(x)|.
В начале периода система имеет запас bi ингредиента i; если bi < 0, то |bi|
мы интерпретируем как обязательство: внешнее (по поставке ингредиента i во
внешнюю для системы среду) или внутреннее (по накоплению ингредиента i в
системе).
Допустим, что план x дает системе (в течение планового периода) полезность (например, прибыль или условно чистый доход) f (x).
Модель для выбора оптимального плана запишем следующим образом:
Это задача нелинейного программирования. Смысл ограничения (2.21)
зависит от знака bi. Неотрицательное bi – это исходный запас ингредиента i, потребление не должно его превышать. Если же bi < 0, то и левая часть неравенства должна быть отрицательной. Условие (2.21) в этом случае удобно записать
в виде –gi(x) |bi|: чистое производство ингредиента должно покрывать обязательство (внешнее или внутреннее).
Экономическую интерпретацию множителей Лагранжа и условий Куна–
Таккера мы отложим до раздела 3.4, так как она опирается на теорему об
устойчивости оптимального значения ЦФ (см. следствие 3.11).
Дополнительная литература к разделу 2
1. Конюховский, П. В. Математические методы исследования операций в
экономике. – СПб.: Питер, 2000. Гл. 2.
2. Поляк, Б. Т. Введение в оптимизацию. – М.: Наука, 1983. Гл. 9. § 2, 4.
29
3. Элементы выпуклого программирования
i j
jiij
xxa
21
Если в задаче (2.2) – (2.5) функции f и gi для всех i линейны, то она относится к классу задач линейного программирования (ЗЛП), которые хорошо решаются и имеют обширные приложения. Нас сейчас интересует более широкий
класс задач выпуклого программирования (ЗВП, определение см. в разд. 3.2).
Существуют весьма эффективные методы решения таких задач. Например, ме-
тоды внутренней точки позволяют за конечное число шагов найти решение
ЗВП с любой заданной точностью. Если прикладную задачу удалось свести к
ЗВП, то, с некоторой натяжкой, можно считать, что она уже решена.
Однако распознать ЗВП гораздо труднее, чем ЗЛП. Чтобы обосновать
принадлежность задачи к классу ЗВП, необходимо проверить некоторые неочевидные свойства участвующих в задаче функций. Об этих свойствах функций
мы будем говорить в разд. 3.1.
3.1. Выпуклые и вогнутые функции
3.1.1. Предварительные сведения
Определения
m n
R
– множество всех матриц размерности m п с элементами из R.
Минором порядка k матрицы A называют определитель матрицы, находя-
щейся на пересечении строк матрицы A с номерами i1, …, ik и столбцов с номерами j1, …, jk.
Минор называют главным, если (i1, …, ik) = ( j1, …, jk).
Минор называют ведущим главным, если (i1, …, ik) = ( j1, …, jk) = (1, …, k).
Симметричная матрица A R
n n
и соответствующая квадратичная форма
Q(x) = xT A x =
положительно определены (положительно полуопределены, отрицательно полуопределены, отрицательно определены), если Q(x) > (≥, ≤, <) 0 для всех x Rn.
Теорема 3.1 (критерии Сильвестра)21. Пусть A R
nn
– симметричная
матрица.
(а) Матрица A положительно определена тогда и только тогда, когда все
ее ведущие главные миноры положительны.
(б) Матрица A положительно полуопределена тогда и только тогда, когда
все ее главные миноры неотрицательны.
(в) Матрица A отрицательно полуопределена тогда и только тогда, когда
все ее главные миноры нечетных порядков неположительны, а все главные миноры четных порядков неотрицательны.
(г) Матрица A отрицательно определена тогда и только тогда, когда все ее
ведущие главные миноры нечетных порядков отрицательны, а все ведущие
главные миноры четных порядков положительны.
Доказательство: Гантмахер Ф. Р. Теория матриц. – М.: Наука, 1988. С. 261–263.
30
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]