- •Тезисы лекций и лабороторных занятий (на основе книги Пантелеева)
- •1 История развития методов оптимизации и обзор курса
- •Основные этапы развития теории оптимизации
- •3.1. История математического программирования
- •Обзор курса
- •Алгоритмы методов поиска экстремумов
- •Классификация методов программирования
- •Необходимые и достаточные условия безусловного экстремума (§ 20)
- •Глава 2. Численные методы поиска безусловного экстремума
- •§4. Принципы построения численных методов поиска безусловного экстремума.
- •§5.1. Методы нулевого порядка в одномерном случае.
- •Глава 3. Численные методы поиска условного экстремума
- •Глава 4. Задачи линейного программирования
- •§ 11. «Методы решения задач линейного программирования»
- •Теорема куна-таккера
- •Предыстория: линейное программирование и принцип и метод Лагранжа
- •Классификация задач нелинейного программирования
- •Метод Лагранжа
- •Банаховы и гильбертовы пространства
- •Роль выпуклости
- •– Выпуклая, для . (3.2.4)
- •Формулировка и доказательство теоремы Куна-Таккера
- •Б) Задача на условный экстремум
- •Минимаксная трактовка задачи на условный экстремум
- •Минимаксная трактовка задачи на условный экстремум
- •3.9. Теорема Куна-Таккера
- •3.10. Связь теоремы Куна-Таккера с теорией игр и седловыми точками
- •Литература
- •Приложение
Минимаксная трактовка задачи на условный экстремум
Интенсивное развитие нелинейного программирования в значительной степени вызвано доказанной в 1951 г. фундаментальной теоремой Куна и Таккера о седловой точке в задачах выпуклого программирования. Эта теорема распространяет результаты о минимаксе, полученные в предыдущем параграфе применительно к классическому варианту для задач на условный экстремум, на случай задания ограничений в виде неравенств. Особый интерес представляет эта теорема для недифференцируемых функций, о чем вообще не говорилось в классических методах.
Вначале получим условия существования седловой точки у непрерывной функции двух векторных переменных. Затем покажем, что эти условия удовлетворяются для оптимальной точки задачи нелинейного программирования.
Условия существования седловой точки. По определению функция Φ (х, λ) двух векторных переменных х = || x1,...,xn || и λ = || λ1,...,λn|| имеет в точке (хопт, λопт) седловую точку, если выполняются соотношения
. (3.8.1)
для всех х и λ из ε-окрестности (хопт, λопт). Будем считать, что х≥0 и λ≥0. Геометрически соотношение (3.8.1) интерпретируется с помощью рисунков 3.8.1 и 3.8.2. При этом допускается и вырожденный случай, когда в левой или правой части стоит знак равенства.
Рисунок
3.8.1 - Седловая точка
Рисунок
3.8.2 - Пояснение к седловой точке функции
двух переменных
Докажем, что необходимыми и достаточными условиями существования седловой точки для функции двух векторных переменных являются соотношения
(3.8.2-7)
т.е. требуется доказать, что из условий (3.8.1) следуют условию (3.8.2)-(3.8.7) (необходимость) и из условий (3.8.2)-(3.8.7) следует условие (3.8.1) (достаточность). Действительно, если при xj≥0 предположить соотношения, обратные (3.8.2) и (3.8.3), т. е.
(3.8.8)
то это означало бы, что точка хопт при λ = λопт не является максимумом, так как для внутренних точек, где xj > 0, в точке максимума должна равняться нулю первая производная
(3.8.9)
а на границе области, где xj = 0, первая производная для случая максимума должна быть не положительна, т. е.
(3.8.10)
При этом подразумевается, что для внутренних точек, где xj>0, соотношение (3.8.2) носит характер строгого равенства, а для граничных точек, где xj = 0, - характер неравенства. Соотношение (3.8.3) выполняется для внутренних точек за счет равенства нулю производной, а для граничных точек - за счет равенства нулю координаты.
Аналогично доказывается необходимость условий (3.8.4) и (3.8.5) при 0, т. е. они следуют из условия минимизации функции Φ (х, λ) относительно λ. А именно, так как функция Φ (х, λ) при фиксированном хопт имеет минимум по λ, в точке λ = λопт, то для внутренних точек λ > 0 dΦ/dλi = 0, а для граничных λ = 0 dΦ/dλi ≥ 0.
Другой способ доказательства справедливости соотношений (3.8.4) и (3.8.5) можно получить, если учесть, что при фиксированном х эта функция линейная относительно λi. Действительно, если учесть, что
(3.8.11)
то соотношение (3.8.4) является просто другой записью исходных ограничений
φi(x)≤bi
(3.8.12)
так как
(3.8.13)
Как было показано ранее [формулы (3.8…..) и (3.8…..)], если в окрестности точки экстремума bi - φi(х)≥0 и в точке экстремума bi - φi(хопт) > 0, то соответствующие λiопт = 0. Для тех индексов i, при которых в точке экстремума (и малой окрестности ее) bi - φi(х) = 0, Φ (х, λ) = F (х), λiопт ≠0 (а именно λi>0). Поэтому всегда или λi= 0, или dΦ/dλi = 0 и соотношение (3.8…..) выполняется.
Тем самым доказано, что из условий существования седловой точки (3.8…..) следуют соотношения (3.8.2) - (3.8.7). Чтобы доказать их достаточность для существования седловой точки, предположим вогнутость (для максимума) функции Φ(х, λ) по х и, разложив ее в ряд Тейлора, получим:
(3.8.14)
В формуле (3.8.14) под производной dΦ(x,λ)/dx, понимается градиент функции Φ по х, т. е.
(3.8.15)
Очевидно, что для вогнутой функции в соответствии с рисунком 3.8.1 значение ординаты, касательной вблизи точки вогнутости (хопт, λопт), не менее значения самой функции. Кроме того, если сложить все равенства (3.8.3) по j, получим:
(3.8.16)
В соответствии с этой формулой в соотношении (3.8.7) справедлив знак равенства.
Рисунок
3.8.2 - Пояснение к разложению вогнутой
функции в ряд Тейлора
И, наконец, если сложить по j все соотношения (3.8.3), получим:
(3.8.17)
Поэтому в соотношении (3.8.7) при х≥0 справедлив последний знак неравенства. Тем самым доказана левая часть соотношения (3.8.1), т.е. условие максимума функции Φ(х, λ) по х в точке (хопт, λопт). Доказательство правой части этой формулы может выполняться двумя путями. Для любой выпуклой по к функции Φ (х,λ) аналогично соотношению (3.8.7) можно написать:
(3.8.18)
или, учитывая линейность Φ (х, λ) по λ,
(3.8.20)
(и не предполагая выпуклости ее по λ), получаем)
(3.8.21)
Первый знак равенства справедлив в силу линейности функции L(хопт,λ) относительно λ. Второй знак равенства справедлив или в силу соотношений (17-24), если их просуммировать по i, или в силу уже применявшихся рассуждений о том, что или dΦ(х, λ)/dλi = 0, или λiопт = 0. Тем самым доказана правая часть соотношения (17-19) и достаточность условий (17-20)-(17-25) для существования седловой точки.
Если имеется в виду седловая точка с минимумом по х и максимумом по λ, то соотношения (17-19) - (17-25) перепишутся в виде
(3.8.22)-(3.8.28)
